精读笔记

Problem Setting

这篇论文实际处理的是 WAM 控制中的 inference-time decision allocation：在每个控制步，机器人是否应该额外采样多个 imagined futures，以及如果采样了，如何在没有 task reward、没有真实未来、没有训练 verifier 的情况下选一个更可信的 action chunk。

真正困难点不在 Best-of-N 本身，而在机器人闭环控制的成本结构：每一步都要在执行前做选择，固定预算多采样会显著增加 latency；但不多采样又浪费了 WAM 暴露 future observation 这一信息通道。以前方法要么依赖 learned verifier/value head，要么依赖模型内部 confidence，要么总是使用固定采样预算。这些方案的问题是 selection signal 和 policy/backbone/task 分布绑定太紧，且没有解决“什么时候值得花 compute”。

关键矛盾是：WAM 的 imagined future 可能包含选择 action 的证据，但这个证据本身也是模型生成的、可能幻觉的；因此不能简单信它，只能检查它是否满足某些低层物理一致性约束。

Motivation

已有路线缺的是一个不依赖监督、不依赖任务语义、也不依赖 WAM 内部接口的 inference-time verification signal。对于机器人操作，任务成功标签太贵，reward/verifier 训练又会引入新的数据和泛化问题；而模型置信度通常不校准，尤其在生成式 future 上未必对应控制质量。

作者的核心观察是：WAM rollout 同时给出 action 和 future frames，这比 action-only policy 多暴露了一层可检查结构。一个 rollout 如果连 action 所诱导的末端运动和 predicted image motion 都对不上，或者不同相机视角下的 predicted future 不能组成同一个几何场景，那么它很可能不是一个可靠控制候选。

所以论文的动机不是“几何模型能做 verifier”这么简单，而是将 WAM 的生成中间产物变成 test-time compute routing 的依据：先用便宜的一致性信号判断是否需要更多候选，再用更重的几何一致性信号排序候选。

Core Idea

核心思想是把每个 WAM rollout 看成一个关于未来世界状态的多模态声明：它声称执行某段 action 后，primary view 和 wrist view 会看到某些 future frames。这个声明可以被物理一致性约束审计。GeoBoN 的做法就是选择那个跨视角重投影最一致的 future，而不是选择 reward 最高、置信度最高或与其他候选最相似的 action。

这引入了一个新的 inductive bias：好的控制候选至少应该对应一个几何上自洽的 3D future。这个 bias 和任务标签弱相关但可迁移，因为它不关心任务具体是开门、拿杯子还是做咖啡，只关心 predicted world 是否像一个物理世界。Gated GeoBoN 进一步改变了信息流：不是所有控制步都走 expensive reranking，而是让初始 rollout 的 action-future disagreement 决定是否触发额外采样。

和 prior 的本质区别在于，它没有再训练一个评价器去学“成功”，而是用 frozen geometry foundation model 提供一个 task-agnostic verifier；同时它从 fixed-budget test-time scaling 走向 selective test-time scaling。这比单纯 Best-of-N 更 scalable，因为 compute 和模型不确定性相关，而不是和时间步数线性绑定。

Method

方法层面最重要的不是公式，而是两个一致性检查承担不同角色。

第一，action-future gate 解决“是否值得多采样”。它检查 projected end-effector displacement 和 predicted optical flow 是否方向一致。这个信号很粗，但成本低，适合作为 compute allocation 的触发器。它带来的核心变化是：系统不再默认每一步都 expensive sampling，而是只在初始 rollout 内部矛盾时追加候选。

第二，cross-view geometric evaluator 解决“采样后选谁”。它用 frozen VGGT-Ω 或 WAM 自带深度，把 wrist-view predicted geometry 投到 primary view，并计算与 primary depth 的 log-depth inconsistency。这个机制需要多视角 predicted future，因此更适合 WAM 而非普通 action-only policy。它带来的核心变化是：候选排序基于生成 future 的 3D coherence，而不是 action likelihood 或 learned value。

第三，Best-of-N 在这里不是主要创新，而是载体。真正的新意在于 Best-of-N 的评分函数是 zero-shot geometry consistency，并且是否使用 Best-of-N 由 cheap consistency gate 决定。N 太大时性能不单调也说明 scaling 本身不是无脑有效，selector noise 会被放大。

Key Insight / Why It Works

最核心的 insight 是：在 WAM 中，future prediction 的价值不只在于 planning，而在于提供了可审计的中间表征。很多错误 action 在 action space 中看不出来，但会在 action-future 或 cross-view future consistency 上暴露出来。换句话说，论文把 WAM 的 imagined future 从“辅助生成 action 的 latent artifact”提升为“test-time verification substrate”。

它有效的主要原因不是模型学会了更强 reasoning，而是更好的 inductive bias 加上 test-time compute。Best-of-N 提供候选覆盖，geometry consistency 提供低层物理过滤，gate 提供成本控制。这里的能力更接近 test-time scaling + representation alignment，而不是长期规划或显式推理。

最可能的核心贡献是 cross-view reprojection 作为 task-label-free selector。它比 confidence-only 更稳，因为 confidence 往往只反映 geometry model 自己的可见性/纹理确定性，不一定反映 rollout 的控制合理性；也可能比 future consensus 更强，因为 consensus 容易奖励模式平均或高频候选，而不是物理正确候选。

辅助部分是 action-future gate。它证明了 selective compute 有信号，但 gate 本身相当粗糙：光流与末端运动方向一致只能发现一类错误，不能判断抓取接触、物体状态变化、任务语义进展。它更像一个低成本 rejection heuristic，而不是完整 uncertainty estimator。

需要直接指出的是，增益很可能有相当部分来自 scaling：多采样提高了候选中出现可执行 action 的概率。GeoBoN 的贡献在于比若干 training-free selector 更会挑，但文中没有完全分离“候选覆盖提升”和“几何评分质量”的贡献。N 增大后 false low-score selection 上升也说明 selector 本身未校准，Best-of-N 会主动寻找 evaluator 的漏洞。

Relation To Prior Work

这篇属于机器人 test-time scaling / verifier-free selection / WAM inference optimization 这条技术谱系，而不是 WAM 训练方法。和 RoboMonkey、RoVer 这类 learned verifier 最大区别是它不训练 reward/verifier，不试图学习任务成功，而是用几何一致性作为外部先验。和 MG-Select 这类 model-internal signal 的区别是它不依赖某个 policy 的 logits、mask distribution 或 value head，因此理论上更容易跨 backbone。

和 WAV 或 future-consensus selection 更接近。共同点是都利用 world model 暴露的 future 做 selection；不同点是本文选择的是跨视角 3D consistency，而不是 forward-inverse asymmetry 或候选间一致性。这里真正新增的信息是“多视角 predicted future 是否能组成同一个几何世界”，这比单视角视觉相似或模型内部置信度多了一个物理约束。

看似新的部分中，Best-of-N 本身不是新东西，gating 作为 adaptive compute 也不是新概念；实质创新在于把二者接到 WAM 特有的信息结构上：action-future consistency 用于是否采样，cross-view geometry 用于采样后排序。这是已有 test-time scaling 思想在 WAM 场景下的一次比较干净的重组。

Dataset / Evaluation

评估覆盖多个模拟 manipulation benchmark 和多个 WAM backbone，任务类型包括厨房操作、长程指令、多任务/双臂设置，能够一定程度验证方法不是只对单一模型或单一任务有效。跨 backbone 的结果尤其重要，因为论文 claim 是 training-free、model-agnostic selector，而不是某个 WAM 的插件调参。

但 evaluation 仍主要支持一个有限 claim：在这些 benchmark 的 predicted future 分布上，几何一致性是有用的候选排序信号，gate 是有信息量的 compute trigger。它不能充分支持真实世界 deployment robustness，也不能证明方法解决了长期规划或语义 grounding。

实验没有大段真实机器人结果，至少从给定文本看，真实世界、传感器噪声、标定误差、遮挡和接触动力学没有被充分检验。LIBERO Long 等接近饱和的设置也会让小幅提升显得稳定，但绝对可解释空间有限。RoboCasa 上类别结果混合，X-WAM Door/Drawer 明显下降，说明 selector 对高 baseline、低错误率任务可能反而引入 evaluator noise。

Limitation

第一，方法强依赖多视角 future。没有 wrist/primary 这种互补视角，或者 WAM future 不是可重投影的图像/深度形式时，核心 selector 难以直接迁移。

第二，几何一致性不是任务正确性。一个 rollout 可以几何完美但拿错物体、没有形成稳定抓取、错过任务阶段，或者预测了合理但不该发生的 future。本文把 task success proxy 下沉到 low-level physical coherence，这会提高泛化性，但也限制了上限。

第三，geometry foundation model 成为新的隐含 verifier。虽然 training-free，但不是 assumption-free；VGGT-Ω 的训练分布、对生成图像的 calibration、对 wrist-view distortion 的鲁棒性都会影响选择。文中未充分说明几何模型在 WAM-generated frames 上的 domain shift。

第四，scaling 上限明确存在。false low-score selection 随 N 增大而上升，说明 Best-of-N 会放大 evaluator 噪声。这不是小问题，而是 test-time selection 的结构性风险：候选越多，越容易找到 scorer 的 spurious optimum。

第五，增益归因不清。论文证明 GeoBoN 比若干 alternative selector 更稳，但没有完全回答成功提升中多少来自采样覆盖、多少来自几何先验、多少来自 benchmark 中多视角几何与任务成功高度相关。可能主要来自 scaling / data coverage 的部分不能排除。

第六，gate 的语义很窄。action-flow cosine 可以发现视觉运动方向冲突，但对接触状态、object affordance、语言目标、长期状态记忆基本无能为力。因此它是 selective compute heuristic，不是可靠 failure predictor。

Takeaway

• 第一，WAM 的 imagined future 最有价值的用法可能不是直接做显式 planning，而是作为 test-time verification 的可审计中间证据。
• 第二，robotics 里的 test-time scaling 不能只讨论 Best-of-N；更关键的是 selective allocation，即什么时候值得花额外 compute。
• 本文给了一个简单但方向正确的实例。
• 第三，task-agnostic physical consistency 是一个值得迁移的 selector bias。

一句话总结

这篇论文把 WAM 的 predicted futures 从生成副产品变成 zero-shot 几何 verifier，用 selective Best-of-N 展示了机器人 test-time scaling 从“多采样”走向“按一致性分配计算”的一类方法演化。