精读笔记

Problem Setting

《GeoProp: Grounding Robot State in Vision for Generalist Manipulation》（arXiv preprint / 2026）处理的不是一个新的 manipulation task，而是一个表征接口问题：机器人 policy 如何把低维 proprioception 有效并入高维视觉表征。

主流做法把 proprioception 编码成全局 state token 或 MLP embedding，再与 image token concat 或 attention fusion。这个设定隐含假设是：模型能自己学会“这个 3D 末端位姿对应图像里的哪个区域”。但在操作任务里，真正关键的控制信息往往就在 gripper、目标物、接触区域附近；如果 state token 没有空间落点，它既不能直接携带局部视觉语义，也可能在训练中形成 trajectory-specific shortcut。

因此这篇论文的核心矛盾是：proprioception 对精细操作必需，但未空间化的 proprioception 会破坏视觉策略学习。以前方法卡住的地方不是缺少更大的 fusion module，而是把一个本来具有几何位置的量压成了无位置向量，让模型用数据重新恢复本可解析得到的 correspondence。

Motivation

作者的关键观察很直接：vanilla proprioception fusion 经常不稳定，甚至低于 No-Proprio。这个现象很重要，因为它否定了一个常见默认假设：给策略更多状态信息总会更好。实际情况是，如果状态信息与视觉 token 没有显式对齐，它可能成为 spurious correlation 的入口。

已有路线不够的原因在于，它们主要在 fusion capacity 上加码：concat、MLP、cross-attention、更大的 VLA backbone。但这些方法没有改变状态信息的空间属性。它们把 hand-eye geometry 留给网络隐式学习，而不是作为先验写入模型。

这篇论文想到的方向不是“让状态编码更强”，而是“让状态落到图像里”。缺口在于：机器人系统天然拥有相机标定和末端执行器 3D pose，但 policy 表征没有利用这个解析几何关系。

Core Idea

GeoProp 的核心思想是把 proprioception 从一个 disembodied global vector 变成 image-grounded local visual evidence。具体说，它把末端执行器 3D 坐标投影到 2D feature map，在对应位置采样视觉特征，形成 grounded state token。这个 token 的语义不再只是“当前位置数值”，而是“当前位置附近看到了什么”。

这改变了建模方式：state 不再作为与视觉并列的模态输入，而是被嵌入到视觉 token 空间中的一个几何位置。它引入的 inductive bias 是 co-location：机器人在哪里，模型就从哪里取视觉证据，并且只在这个局部区域注入状态条件。

和 prior 的本质区别在于，GeoProp 不是仅仅提供坐标提示，也不是把 robot-centric positional encoding 扩散到全图；它把 proprioception 与局部视觉 feature 绑定，让状态 token 继承局部场景语义。这个信息流更 scalable 的原因是它减少了模型需要从数据中学习的 correspondence，把确定的投影几何外包给解析计算。

Method

方法层面只需要抓住三个机制。

第一，几何投影与特征采样。它解决的是 state token 没有视觉落点的问题。通过相机内外参把 end-effector 位置投到 feature grid，再在该位置双线性采样视觉特征，GeoProp 把 proprioception 变成视觉流形中的 token。核心变化是 state representation 从 numeric vector 变成 localized visual token。

第二，局部状态调制。FiLM 不是全局调制整张图，而是只作用在投影位置对应的 feature cell。它解决的是 state conditioning 过度扩散的问题：状态应该影响与机器人身体相关的局部区域，而不是给所有视觉 token 一个无差别 bias。这个设计比 dense coordinate injection 更克制，也更符合 manipulation 的接触局部性。

第三，短时预测采样。它用最近几帧运动学外推出一个下一步 waypoint，并在该图像位置采样未调制视觉特征。它解决的是当前 pose 只能表达静态位置、不能表达运动趋势的问题。这个机制可能有用，但更像辅助 motion prior；论文消融也显示 grounding 本身才是主要来源。

FPN、多尺度聚合、两层 MLP、14×14 feature map、训练 schedule 等主要是工程适配，保证不同 backbone 都能暴露 spatial feature，不构成核心贡献。

Key Insight / Why It Works

这篇最重要的 insight 是：proprioception 的价值不在于多给 policy 一个状态向量，而在于告诉 policy 应该从视觉场中哪里读取与身体相关的证据。换句话说，GeoProp 本质上是 representation alignment，不是 scaling、不是 retrieval、不是 test-time compute，也不是更复杂的 planning。

最可能的核心贡献是 geometric grounding。消融里仅替换为 spatial grounding 就带来主要提升，而 motion sampling 和 FiLM 只是补充。Heatmap 和 RC-PE 的对比也说明，简单告诉模型“末端在哪里”不够；关键是把该位置的 visual feature 作为 state-conditioned representation 使用。

为什么有效：机器人操作中的很多失败来自局部 hand-object alignment 错误，而视觉 backbone 的全局 token 或 pooled feature 会稀释小物体、gripper、接触边界等信息。GeoProp 强制策略读取末端附近的局部 feature，相当于给 policy 一个结构化注意力先验。对于数据量有限的 imitation learning，这比让 transformer 从头学 hand-eye correspondence 更稳。

哪些部分可能只是 engineering：FPN 统一 feature map、ViT token reshape、多层 FiLM、参数量增加都不是关键。参数匹配控制显示额外容量几乎不能解释增益。Predictive sampling 的收益存在，但文中未充分说明它在接触丰富任务中的稳定性；它更像利用轨迹平滑性的局部 extrapolation，而不是形成真正的 motion reasoning。

需要直接说的是：这篇没有证明模型具备更强长期规划或抽象推理。所谓 generalist improvement 更准确地归因于更好的 hand-eye inductive bias。它把一个本来应该由几何解决的问题从神经网络学习负担中拿出来，因此在中小数据、固定相机、局部接触任务上收益明显。

Relation To Prior Work

GeoProp 属于 proprioception-vision alignment 和 geometry-aware visuomotor policy 这条谱系，位置介于轻量 2D 几何先验和重型 3D 表征之间。

最接近的是 RC-PE 和输入级 spatial cue 方法。RC-PE 同样把末端投影到图像，但它将相对坐标编码扩散到所有视觉 token；GeoProp 的不同点是 co-located feature grounding，即只在几何对应位置把视觉证据和状态绑定起来。Heatmap / AimBot 一类方法把投影点作为图像输入提示，属于 input-level cue；GeoProp 则在 feature stack 内部操作，不改变原始图像，也不依赖 VLM planner。

和 3D policy、point cloud、voxel、Gaussian-based 方法相比，GeoProp 不试图构建完整 3D scene substrate。它牺牲了全局 3D 几何表达能力，换来轻量、plug-and-play、对现有 2D vision backbone 友好的接口。

看似新的部分有不少是已有思想重组：投影几何、bilinear sampling、FiLM、look-ahead waypoint 都不是新技术。实质创新在于把它们组合成一个明确的状态-视觉接口，并证明这个接口比常规 proprioception fusion 更可靠。真正新增的信息不是模块，而是“proprioception 应该以局部视觉 token 的形式进入策略”。

Dataset / Evaluation

评估覆盖了 63 个仿真任务和 4 个真实世界任务，包含单臂、双臂、DP 和 π0 两类 policy family。这个设计能支持一个有限但重要的 claim：GeoProp 不是某个 backbone 或某个 fusion style 的偶然 trick，而是对常见 visuomotor policy 都有帮助的几何先验。

实验最有说服力的部分不是平均成功率，而是三点：第一，Vanilla proprioception 经常接近或低于 No-Proprio，说明问题真实存在；第二，几何 grounding 的消融贡献最大，说明增益不是单纯参数量；第三，真实世界 Mobile ALOHA 上趋势一致，说明它没有完全依赖仿真环境。

但 evaluation 也有明显边界。所有设置基本是固定主相机，且任务多为局部接触和末端执行器可见程度较高的操作。真实世界任务数量少，每个任务 trial 数有限，不能支撑强泛化结论。π0 上的增益较小，且随着数据规模变化边际收益没有单调增强，这暗示当 backbone 和数据足够强时，显式 grounding 的优势可能收窄。

benchmark 证明了“几何对齐能提升中小数据 imitation policy”，但没有证明“generalist manipulation 的状态 grounding 问题已经解决”。

Limitation

最根本的前提是相机-机器人标定可靠。GeoProp 把 fusion 问题部分转移成 calibration 和 projection 问题；当外参漂移、移动相机、手眼同步误差或深度不确定性变大时，grounded token 会系统性采错位置。论文做了扰动测试，但只说明 mild drift 下还能工作，不能覆盖真实部署中的长期漂移和动态相机。

第二个上限是只 ground end-effector point。很多操作的控制相关区域不是末端中心，而是指尖、夹爪内侧、接触 patch、工具端点、被操作物体的可动部件，甚至是不可见的 force/contact state。对灵巧手、工具使用、whole-body manipulation，这种单点 grounding 会明显不够。

第三，方法依赖“投影点附近视觉信息有用”这一假设。遮挡、物体覆盖 gripper、透明物体、细长工具、任务目标不在手附近时，GeoProp 可能采到错误或无关 feature。文中已经出现一些低增益或负增益 case，这不是偶然噪声，而是机制边界。

第四，泛化能力需要谨慎解读。GeoProp 提升的可能是固定相机固定 embodiment 下的 spatial correspondence，而不是跨相机、跨机器人、跨任务结构的泛化。核心能力可能主要来自数据覆盖加上一个合适的 inductive bias。所谓 motion intent 也更像短时轨迹平滑 extrapolation，不是 planner，也没有形成长期状态建模。

第五，增益归因仍有未充分说明的部分：FiLM 调制和 grounded token 的相对作用、不同 feature layer 的敏感性、projection error 与 feature resolution 的关系、以及多视角下是否会出现 conflicting grounding，都还没有被系统拆开。

Takeaway

• 1. 对 visuomotor policy 来说，proprioception 不应默认作为全局向量处理；只要有相机几何，state-vision correspondence 应该显式写进表征。
• 2. 这篇真正推动的是接口设计，而不是 backbone 设计：它说明在 VLA / diffusion policy 之外，还有一类高价值问题是如何把机器人自身状态组织成可被视觉模型消费的 token。
• 3. 可迁移的 insight 是 co-located conditioning：当一个低维传感器量天然对应图像中的某个空间位置时，应该优先把它转成局部视觉证据，而不是交给 attention 隐式学习。
• 4. 后续更值得做的不是继续加 FiLM 或更复杂 MLP，而是多点 kinematic grounding、contact-aware grounding、calibration-aware learning、多视角选择，以及在大规模 VLA 预训练中把这种几何接口作为标准输入协议。

一句话总结

GeoProp 是一篇把 proprioception fusion 从“全局状态拼接”推进到“解析几何驱动的局部视觉 grounding”的工作，贡献不在模型复杂度，而在为通用操作策略加入了简单但有效的 hand-eye alignment inductive bias。