精读笔记

Problem Setting

这篇论文处理的不是一般的机器人组合泛化，而是更窄也更关键的问题：生成式视频基础模型有组合先验，但接到动作预测后，这个先验没有可靠转化为控制能力。换句话说，VFM 的 video-level generalization 和 policy 的 action-level generalization 之间存在接口断裂。

真正困难点在于 action head 同时看到两类信号：一个是高保真的当前观测 anchor，另一个是低 SNR 但含有未来结构的 imagined rollout。ID 任务中，当前帧加训练集相关性往往足够；OOD 组合任务中，策略必须利用未来 latent 里的 object-goal binding。关键矛盾是：精确控制需要强 current-frame grounding，而组合规划需要跟随 uncertain future prediction。以前方法卡在默认把“视频模型能预测未来”和“动作策略会使用未来”混为一谈。

Motivation

已有 WAM/VAM 路线的隐含假设是：把视频模型微调到机器人数据，或者把视频 latent 输入动作头，视频先验自然会迁移到 action space。论文的 design sweep 说明这个假设不成立。LoRA / full finetuning、joint / two-stage、不同 denoising noise、不同 horizon 都会影响结果，但没有形成一个可解释的单调规律。

作者真正的观察是 video-action disagreement：视频 rollout 可能错但动作仍然对，也可能视频 rollout 对但动作错。这说明 failure 不只发生在 video model，也发生在 action head 的信息选择。缺的不是另一个 architecture trick，而是一个能在线刻画 action head 是否进入 predictive mode 的诊断量。

Core Idea

核心思想是把 VAM 的组合泛化问题重写成信息路由问题：动作头到底把动作生成建立在当前帧 anchor 上，还是建立在未来 latent rollout 上。Temporal Ratio 用 action-to-video attention 中 future frames 相对 current frame 的质量比来读出这个路由状态。这里的关键不是 attention 可视化本身，而是 current frame 与 future frames 在 VAM 里天然不对称：当前帧被干净注入，是可靠观测；未来帧是从噪声 denoise 出来的，是模型想象。

这个视角引入的 inductive bias 是阶段性路由：规划阶段应该更多依赖未来 latent，执行接触/抓取/放置时应该回到当前帧。与 prior 的本质区别在于，prior 多数在问如何生成更好的视频或如何联合建模 video-action；这篇在问 action policy 何时、是否、以多大程度使用 video prior。它没有强行把所有阶段都 video-conditioned，而是让 TR 决定 test-time guidance 的强度，因此更符合 manipulation 中 planning 与 control 的分工。

Method

方法的第一部分是构造一个可诊断的 latent VAM 接口：当前观测作为 clean anchor 固定，未来帧通过视频 DiT 部分 denoise 得到，action head 从这些 latent feature 中生成动作。这个设计解决的是可比较性问题：只有当前帧和未来帧在 token 空间中同时存在，TR 才能衡量策略是在看现在还是看未来。

第二部分是 TR 本身。它解决的是“视频 rollout 是否被动作头使用”这个不可见变量。相比直接看 rollout 质量或 episode success，TR 更接近机制层，因为它读的是动作 denoising 过程中 action tokens 对 temporal latent 的注意力分配。核心变化是把 VAG gap 从黑盒 performance gap 转化为可在线监控的 routing signal。

第三部分是 TR-Adaptive Guidance。它解决的是 flat guidance 破坏精细控制的问题。language guidance 强化 instruction-dependent action velocity，plan guidance 用更长 horizon 的视频分支提供长程结构，但二者只在 TR 高于 episode baseline 时放大。核心变化是把额外 test-time compute 集中在预测/选择阶段，而不是在整段轨迹里持续施压。

Key Insight / Why It Works

最重要的 insight 是：组合泛化不等于视频模型想象得对，而等于动作头在需要组合决策时愿意跟随那个想象。这个判断比“视频先验有用”更具体，也更可迁移。很多 VAM 失败并不是没有 latent plan，而是 action head 在 OOD 时退回 ID 轨迹或当前帧反应式控制。

TR 有效的原因在于它利用了 VAM 的结构非对称性。当前帧是高 SNR anchor，未来帧是 denoised latent hypothesis；二者 attention ratio 近似反映了 policy 在 observation grounding 与 model-based prediction 之间的权衡。TR 上升时加强 language / plan conditioning，等价于在策略自己已经进入 predictive mode 时推一把，而不是强迫所有 timestep 都听视频模型。

我认为核心贡献是 TR 这个机制性诊断和由此得到的 phase-adaptive intervention。LoRA、intermediate sigma、horizon T=5 等设计选择更像 supporting engineering：重要，但不是概念核心。部分增益明显来自 better representation alignment 和 test-time compute；plan guidance 额外跑 extended horizon video branch，本质上也引入了更多推理预算。不能把全部提升都归因于 TR。

这不是 retrieval，但某些 OOD 成功可能更接近 latent recombination / trajectory stitching，而不是强意义上的 reasoning。LIBERO 的组合 OOD 仍由已见对象、已见 receptacle、已见 primitive 重组而来，存在 benchmark overlap 与 implicit memorization 空间。真实世界任务也主要是对象-容器绑定变化，不足以证明长期状态建模或开放式规划已经形成。

Relation To Prior Work

它最接近 Mimic-Video、DiT4DiT 这类 latent VAM，以及 Cosmos-Policy / Fast-WAM 这类 WAM。共同点是都尝试把视频生成模型作为动作学习的 temporal prior。不同点在于 prior work 主要优化接口或效率：是否 joint modeling、是否 future imagination、是否 latent inverse dynamics；这篇真正新增的是 action head 是否使用 future latent 的可观测变量。

与 standard CFG 或 inference-time guidance 相比，TR-Adaptive Guidance 不是新发明 guidance，而是给 guidance 加了一个 robotics-specific phase detector。看似新的 language guidance / plan guidance 其实是已有 conditional-minus-unconditional、long-horizon branch 的重组；实质创新是用 TR 避免 flat guidance 在 manipulation precision 阶段伤害控制。

它属于“foundation world model as policy prior”的技术谱系，但把问题从 world model quality 推进到 representation-to-action alignment。这个转向重要：未来 VAM/WAM 的瓶颈可能不只是生成更真实的视频，而是让 action layer 在正确阶段选择正确 latent abstraction。

Dataset / Evaluation

评估覆盖了 LIBERO 标准 ID、LIBERO compositional OOD，以及真实双臂 YAM 多任务数据。LIBERO OOD 对论文 claim 是相关的，因为它确实考察已见对象、目标、primitive 的新绑定，能暴露 ID success 饱和下的组合断裂。真实世界部分也有价值，因为多目标、多 receptacle 场景能测试语言绑定和策略是否过拟合训练中的常见 receptacle。

但 evaluation 只能部分支持 claim。它证明了 TR 与 OOD success 有相关性，并且 TR-adaptive guidance 比 flat guidance 更不伤 ID；这支持阶段性路由假设。它没有充分证明 TR 是因果变量，也没有排除更大 test-time compute、额外 video passes、特定 sigma/horizon 调参带来的收益。

真实世界评估规模偏小，任务多是 pick-and-place binding，不是复杂长程规划。Cosmos-Policy 在作者真实数据上训练不佳也让 baseline 比较有不确定性。整体证据足以说明 VAG gap 是真实问题、TR 是有用诊断，但还不足以证明这是通用 VAM 泛化的最终机制。

Limitation

第一，方法的核心前提是 future latent 必须比当前帧相关性携带更多正确组合信息。一旦视频模型在 OOD 下产生 confident but infeasible 的未来，TR guidance 会系统性放大错误。论文承认这一点，但没有给出可靠的 failure detector。

第二，TR 是 attention proxy，不是因果解释。action head attention 到 future token 多，不必然说明动作由 future token 决定；可能只是深层 token mixing 的伴随统计。文中未充分说明通过 intervention、attention ablation 或 causal tracing 验证 TR 的因果性。

第三，泛化上限受数据覆盖和 benchmark 结构限制。LIBERO-OOD 的组合仍由训练元素重组，真实世界任务也主要是 receptacle/object binding。所谓 planning 可能更多是已有子轨迹的 recombination，而不是形成可持续更新的长期状态模型。

第四，scaling 与 engineering 成分很重。2B video backbone、300M action head、多 GPU 训练、额外 video branches、carefully chosen sigma 和 LoRA 都可能是收益来源。增益来源不清，特别是 TR 本身、partial denoising、LoRA prior preservation、test-time compute 之间的贡献边界还不干净。

第五，方法把问题部分转移到了视频模型质量与推理成本上。adaptive guidance 增加 video forward pass，降低控制频率；在真实机器人部署中，频率、延迟和失败恢复可能比 benchmark success 更关键。

Takeaway

• 1. VAM/WAM 的关键问题不只是 world model 会不会预测未来，而是 action head 是否在正确阶段使用这个未来。
• 这个 framing 很值得迁移到其他 multimodal policy。
• 2. 当前帧 anchor 与未来 latent 的竞争关系是一个有用分析工具。
• 很多“泛化失败”可以被重解释为 policy routing collapse：模型退回高置信当前观测和训练集相关性。

一句话总结

这篇论文把 VAM 的组合泛化瓶颈从“视频模型是否会想象”推进到“动作头是否按阶段使用想象”，其主要贡献是用 Temporal Ratio 诊断并调控 video prior 到 action policy 的信息路由。