夙昔两天，内行爆火的 Agent 私东谈主助手 OpenClaw，接连更新了两个版块，让东谈主直呼「开发团队是不寝息了吗？」
之是以如斯爆火，很大程度上归功于 OpenClaw 的遥远缅想智商，它简略记取用户的对话历史、偏好配置、任务转折文、个性化调整、常用信息和数据、交互偏好，等等。更新之后，OpenClaw 扫尾了转折文管制（缅想）的解放插拔。
缅想机制是大模子处理复杂任务的蹙迫智商之一。在聊天对话、自动化责任流等场景中，模子需要通过缅想保捏遥远转折文。而在 3D 重建领域，尤其是大范围场景或长序列视频重建，跨帧信息的捏续传播雷同至关蹙迫，缅想机制恰是扫尾这一智商的蹙迫妙技。
现存的前馈 3D 重建模子经常依赖短时转折文窗口，难以有用建模长序列中的依赖关系。跟着几何基础模子（如 DUSt3R、MonST3R、VGGT）的出现，不错从大限制数据中索要复杂的几何先验，使得即便在传统方法较难处理的场景中，仍能扫尾安谧的前馈推理。不外，刻下模子仍然存在一个重要空缺：尽管经典处理经由不错彭胀到城市级别，但现存的前馈模子在处理更大限制的场景时，仍然受到甘休。
主要遮盖源自两个方面，即刻下架构中固有的转折文壁垒和老成过程中严重的数据壁垒。从架构角度看，自然双向厚爱力关于学习复杂的几何先验至关蹙迫，但其二次复杂度使得它只可应用于短时转折文窗口。而从数据角度看，刻下的模子主要在短时转折文「气泡」（几十到一百多帧）上进行老成，这使得它们在推理时无法有用整合长距离依赖（数千到数万帧）。因此，像 FastVGGT 这么的推理时启发式方法，自然顺利缓解了内存瓶颈，但仍无法在大限制 VBR 数据集上进行泛化。
针对这一痛点，近日，谷歌 DeepMind 聚会加州大学伯克利分校坑诰了 LoGeR（万古转折文几何重建）。这是一种新颖的架构，在无需后期优化的情况下将密集的 3D 重建彭胀到极长的序列。过程中，LoGeR 通过将视频流分块处理，行使深广的双向先验进行高保真度的块内推理。
为了支吾跨块界限一致性的挑战，商榷者坑诰了一种基于学习的夹杂缅想模块。这个双组件系统逢迎了参数化的测试时老成（TTT）缅想模块，用于锚定全局坐标框架并谨防程序漂移，同期使用非参数化的滑动窗口厚爱力（SWA）机制来保捏未压缩的转折文，从而扫尾高精度的相邻块对王人。
论文标题：LoGeR: Long-Context Geometric Reconstruction with Hybrid MemoryarXiv 不断：https://arxiv.org/pdf/2603.03269名目地址：https://loger-project.github.io/
值得厚爱的是，这种缅想架构使得 LoGeR 简略在 128 帧的序列上进行老成，并在推理过程中泛化到数千帧。
在方法基准测试和再行想象的 VBR 数据集（包含最多 19000 帧的序列）上进行评估时，LoGeR 彰着罕见了先前的前馈方法，在 KITTI 数据集上将鼓胀轨迹差错（ATE）裁减了跨越 74%，而况在前所未有的工夫跨度上扫尾了安谧、内行一致的重建。
视觉展示，在大限制真正场景（in-the-wild）以及 VBR 序列上的定性遣散。本文的全前馈方法简略在数千帧的长序列中准确保捏大程序结构，并扫尾褂讪的回文闭合。
为了将前馈密集型 3D 重建彭胀到分钟级视频，必须克服全局厚爱力的二次复杂度和万迂腐成数据的稀缺问题。端到端的分块处理成为自然的处理有磋商，它严格甘休了计较资本，并确保局部推理保捏在现存短时转折文老成数据的散布范围内。关系词，零丁处理每个块会导致全局一致性的丧失。
因而需要这么一种前馈架构，它简略同期提供： (i) 深广的局部双向推贤慧商，以保捏密集的几何保真度；(ii) 无损的短程信息传递通谈，以保捏跨相邻块界限的高精度几何对王人；(iii) 一个线性工夫、固定大小的缅想机制，用于在数千帧的长距离内传播全局信息。
商榷者通过分块划定处理输入视频流，如图 1 和图 2 所示。
为了在块之间传播信息，商榷者引入了两种互补的机制：
一是：通过分块 TTT 扫尾万古、有损压缩
通过插入 TTT 层，保捏跨多个块的快速权重集 W。与分块处理方式一致，商榷者行使大块测试时老成（LaCT），并诠释它比喻法 TTT 更高效。在推理过程中，权重会对每个块进行更新和应用操作。在应用操作中，TTT 层行使存储在权重中的历史信息来赞助收集处理刻下块的方式。
在更新操作中，权重会被剪辑，存储来自刻下块的信息，365投注app官方版从主张层面压缩蹙迫但冗余的几何信息，举例粗陋的几何局势和场景的程序。自然这些快速权重表面上提供了无尽的吸完毕，但它们的履行容量内容上受到老成转折文长度的甘休。
二是：通过滑动窗口厚爱力（SWA）扫尾短时、无损传递
单纯依赖 TTT 花样的现象传递内容上是有损的，这关于密集型 3D 重建尤其组成问题，因为在相邻帧之间保捏几何一致性至关蹙迫。为此，商榷者以稀罕方式插入滑动窗口厚爱力层，善良来自前一个和刻下块的帧厚爱力层输出的 tokens，即 C^m−1 ∪ C^m。
这开采了一个无损的信息传递通谈，径直传播来自前一个块的高保真特征。值得厚爱的是，这一操作保捏了有限的计较和内存效能，因为滑动窗口厚爱力仅应用于相邻块之间，而况只插入在收集的部分深度（仅四层）。
以上两种跨块旅途是互补的：TTT 提供了可彭胀的长距离缅想，而 SWA 确保了相邻块之间的细粒度几何一致性
接下来的重心是LoGeR 前馈对王人。尽管引入了 TTT 和 SWA，但在处理极度长的流时，仍可能蕴蓄展望差错。
为了处理这一问题，商榷者坑诰了 LoGeR，它是一个变种模子，在原始展望中加入了纯前馈对王人门径，以确保展望遣散与一致的全局坐标系统对王人。
终末还要靠近「数据壁垒」和「课程学习」的挑战。
商榷者以为，仅靠架构上的矫正不及以扫尾无尽转折文的重建。如图 3 所示，像 VGGT 这么的强基线方法，即使配备了推理时的架构效能进步（如 FastVGGT），在仅使用短时转折文或小限制场景数据进行老成时，如故无法很好地泛化到大限制场景。为了克服这个「数据壁垒」，商榷者构建了一个老成数据集，重心加多大限制场景数据集的比例，举例 TartanAirV2，它为学习有用的几何压缩提供了必要的万古信号。
为了褂讪优化递归 TTT 层的老成，商榷者剿袭了渐进式课程计谋。通过简略单序列运转，并渐渐加多复杂度，迫使模子从局部的滑动窗口厚爱力（SWA）转向全局的 TTT 遮蔽现象。老成程度分为三个阶段： (1) 领先从 48 帧的序列运转，分红 4 个块；(2) 然后慢慢加多块的密度，达到 12 个块，同期保捏序列长度不变；(3) 终末，行使 H200 GPU，将转折文长度彭胀到 128 帧，并慢慢加多到 20 个块。
开云体育官方网站 - KAIYUN关于 LoGeR，商榷者从第一阶段的模子运转，集成前馈对王人门径，并在接下来的课程中进行微调。
领先，从定量遣散来看，LoGeR 以及本文坑诰的基线方法 Pi3-Chunk，在 KITTI 基准测试上均显贵优于现存的前馈式方法（见表 2）。
值得厚爱的是，LoGeR 的平均性能甚而跨越了刻下最强的基于优化的方法 VGGT-Long，上风达到 32.5%。这一上风在开环场景中尤为彰着（如序列 01、03、04、08 和 10）。在这些场景下，LoGeR 无需依赖回文检测，就简略有用禁锢长序列中不断累积的漂移差错。
在 VBR 基准上，LoGeR 雷同推崇出褂讪的性能进步。定量遣散如图 4 所示，定性遣散如图 5 所示。与基线方法比较，LoGeR 中的 TTT 模块简略自然锚定全局程序，从而保捏全局一致性。
从可视化遣散不错看到，在长达 2 万帧的超长序列中，LoGeR 如故简略保捏褂讪的全局程序，而基线方法在如斯长的序列中会出现彰着的程序漂移问题。
其次是短序列评测
在 TTT3R 的实验配置基础上，商榷者进一步将评测彭胀到较短视频序列（最长约 1000 帧）。领先，在 7-Scenes 数据集上评估 3D 点云重建效能，序列长度在 50 到 500 帧之间。
商榷者将 LoGeR 与多种学习式的亚二次复杂度方法进行对比，包括显式现象方法 Point3R、隐式现象空间模子 CUT3R、TTT3R、StreamVGGT 以及双向厚爱力基线模子 VGGT 与 π^3。在 7-Scenes 数据集上的遣散如图 6 和图 7 所示：
在 ScanNetV2 和 TUM-Dynamics 数据集上的相机位姿评估遣散，永诀展示在图 8 和图 9 中：
举座来看，不管是在 3D 重建质地如故位姿臆测精度方面，LoGeR 偏激坑诰的基线方法均显贵优于现存方法。
更多实验遣散请参阅原论文。
备案号: