精读笔记
Problem Setting
论文标题：GigaWorld-Policy-0.5: A Faster and Stronger WAM Empowered by AutoResearch（arXiv preprint / 2026）。
这篇论文解决的不是“如何让机器人看见未来”，而是 WAM 在真实闭环控制中最直接的部署瓶颈：未来视觉建模在训练时有用，但在推理时太贵。WAM 的吸引力来自 action 与 future observation 的联合建模，它比纯 action imitation 多了 dense temporal supervision；但如果 inference 也要显式生成未来视频或做 rollout，视频 token 和 iterative decoding 会把实时控制吞掉。
关键矛盾是：想保留 world-model supervision 对 action representation 的约束，又不想在执行时付 future generation 的代价。以前很多 WAM 卡在这里：训练-推理形式高度一致，导致“世界模型能力”绑定到测试时 compute；而高频闭环控制需要的是快速、稳定的 action decoding，不是每一步都想象一段视频。
Motivation
已有路线不够的原因很明确：VLA 只靠 demonstration action supervision，监督稀疏，容易学成视觉-语言条件下的动作回归；WAM 加入 future visual dynamics 后，动作学习获得更强的物理后果约束，但常见实现又把显式 future prediction 带到 inference，造成延迟和误差累积。
作者的核心观察是，future visual dynamics 的主要价值可能不在测试时生成未来，而在训练时迫使 action token 对可观察的场景变化负责。换句话说，future prediction 可以是 representation shaping signal，而不必是 deployment-time planning module。
关键缺口在于：如何把 world-model prior 注入 policy，同时让 action pathway 在推理时独立、轻量、无 future-token 依赖。GigaWorld-Policy 已经给出 action-centered WAM 的方向，0.5 版本主要是在这个方向上做结构和训练 recipe 的强化。
Core Idea
核心思想是把 WAM 的“联合建模”从推理机制中剥离出来，保留为训练期的归纳偏置。模型训练时同时预测 action chunk 和 future visual tokens，但通过 action-centered causal mask 规定信息流：action token 只能依赖当前观察、状态和语言；future visual token 可以依赖 action token。这样 future prediction 对 action 表示施加约束，却不能在 action prediction 中提供未来信息泄漏。
这改变了 WAM 的建模重心：从“用世界模型在测试时辅助决策”变成“用世界模型在训练时塑造动作空间”。MoT 的作用是在结构上承认 action generation 与 visual dynamics modeling 的计算需求不同，把它们拆成专家路径。视觉专家保留大模型/视频先验，动作专家做轻量 action denoising；推理时跳过 future visual tokens 和大部分视觉动态计算。因此它比传统 WAM 更 scalable 的地方不在于能想得更远，而在于能把 expensive supervision amortize 到训练阶段。
Method
第一，action-centered causal modeling 解决的是 future supervision 与 future leakage 的冲突。future visual token 被允许 attend 到 action token，因此未来帧预测会反向约束 action representation；action token 不能 attend 到 future visual token，因此部署时可以删掉未来分支而不改变 action 的条件依赖。这是整篇最重要的信息流设计。
第二，mixed AC-WM + WAM pretraining 解决的是 action 与 visual dynamics 耦合不够强的问题。标准 WAM 可能只是并行学习 action prediction 和 future prediction；AC-WM 强调在给定机器人动作下预测未来视觉变化，使模型更直接学习 action-induced state change。它的机制意义是让动作 token 不只是 imitation target，而成为解释视觉变化的 latent cause。
第三，Mixture-of-Transformers 解决的是 shared backbone 在 action-only inference 下仍然过重的问题。视觉动态建模需要高维视频 latent 和大容量专家，动作生成则可以使用较小 expert。专家分离带来的核心变化是 active compute 与 total parameter count 解耦：总参数增加，但推理激活路径变轻。
第四，KV cache、torch.compile、C++ runtime 主要是 deployment engineering。它们对最终 85 ms 延迟很重要，但不改变建模假设。AutoResearch 也是类似：它系统化搜索 learning rate、batch size、训练步数，提升 recipe 稳定性；但它不是 WAM 方法本身的必要机制。
Key Insight / Why It Works
最可能真正有效的部分是 representation alignment：未来视觉预测迫使 action token 对后续场景变化具有可解释性，因此动作表示不只是拟合 demonstration 的低维控制序列，而是被绑定到物理后果。这类约束在小规模 target robot post-training 中尤其有用，因为它把大规模视频/机器人数据中的 dynamics prior 转移到了 action space。
第二个有效点是信息流方向设计。很多“用未来监督训练策略”的方法容易出现隐式泄漏或训练-测试 mismatch；这里通过 causal mask 把 future visual 变成 action-conditioned target，而不是 action predictor 的输入。这个设计使 future branch 可以在测试时被删除，属于比较干净的训练期辅助监督。
第三个有效点是 compute specialization。MoT 并不是神秘的新能力来源，而是把视觉动态建模和动作生成的容量需求拆开。它本质上是在做 active compute reduction，而不是增加推理时 reasoning。总参数更大、视觉专家更强，但 action-only 路径更轻，这解释了为什么能同时声称 stronger 和 faster。
AC-WM 混合预训练可能有真实贡献，但文中证据仍不足以完全归因。它可能改善了 action-conditioned dynamics alignment，也可能只是引入了更多训练信号、更合适的数据 curriculum 或更好的初始化适配。AutoResearch 的贡献更偏工程：它提高了调参效率和结果稳定性，不应被理解为模型能力的核心来源。
需要直接说的是：这篇论文展示的“world model helps control”更像训练期表示塑形，而不是测试时 planning/reasoning。所谓 long-horizon 能力未必来自显式长期状态建模，可能主要来自数据覆盖、action chunking、闭环 reactivity，以及更好的 pretrained visual prior。
Relation To Prior Work
它最接近 GigaWorld-Policy 和 Fast-WAM 这条路线：用 future visual dynamics 训练 policy，但避免测试时生成未来视频。相对 VideoVLA、DreamZero、Motus 一类更重的 joint video-action generation，核心差异是 future prediction 不再是 inference-time 必需路径。
相对原始 GigaWorld-Policy，0.5 的实质新增主要是两个：MoT 专家分离使 action-only path 更轻；AC-WM + WAM 混合预训练强化 action 与 future dynamics 的对应关系。AutoResearch 是训练流程自动化，不是本质新建模。
MoT 本身不是全新思想，Motus 等工作已经使用类似专家/多模式 transformer 结构；这里的新意在于把 MoT 用在 action-centered WAM 的 deployment constraint 下，让专家分离服务于 action-only inference。也就是说，看似是 architecture update，本质是对训练期 dense supervision 与测试期 low active compute 的重新组织。
它属于 WAM 向 deployable policy 收缩的一支：从“世界模型作为生成式 rollout engine”转向“世界模型作为 policy representation regularizer”。这条谱系比显式未来视频规划更现实，但也牺牲了可检查的 planning interface。
Dataset / Evaluation
评测包含真实机器人，且关注 text following、object placement 和少量 long-horizon manipulation，这比纯仿真或离线 action MSE 更贴近论文 claim。延迟评测也覆盖 A100、RTX 4090 和 C++ runtime，能支持其部署效率主张。
但 evaluation 的限制明显。任务范围仍然窄，主要是桌面机械臂操作，trial 数较少，场景和 embodiment 多样性有限。long-horizon 任务只有少量类别，不能证明开放域长期规划；更像是在固定任务族内验证更强的 closed-loop execution。
benchmark 是否充分验证“更强 WAM”也存疑。论文同时改变了架构、初始化、预训练数据、AC-WM 目标和调参流程；baseline 是否获得同等数据、同等 AutoResearch 搜索和同等 deployment optimization，文中未充分说明。因此实验更有力地支持“该系统 recipe 有更好的效率-成功率 trade-off”，而不是严格证明每个机制都有独立贡献。
AC-WM ablation 提供了一些支持，但仍只在 pick-the-fruit 类任务上展开。MoT ablation 更偏 latency analysis，而非同 compute/同参数下的能力归因。
Limitation
第一，方法成立依赖一个强前提：future visual prediction 的训练信号足以塑造可迁移的 action representation，并且测试时删除 future branch 不会破坏策略。这在短视距、强闭环反馈的 manipulation 中合理，但对需要显式记忆、长期约束或不可见状态推理的任务未必成立。
第二，能力可能主要来自 data coverage 和 pretrained world model。视觉专家从 GigaWorld-1 初始化，预训练使用 2K 小时机器人数据和内部数据；如果 target task 与数据分布高度重合，所谓泛化可能更接近 retrieval / interpolation，而不是 robust physical reasoning。
第三，增益来源不清。MoT、AC-WM、数据、初始化、C++ runtime、AutoResearch 同时参与最终结果。尤其 AutoResearch 使得与 baseline 的 recipe 公平性变得敏感；如果 baseline 没有同等搜索，性能差距可能部分是 tuning artifact。
第四，长期规划能力没有被真正证明。模型推理时不显式 rollout future，不维护明确 world state，也没有 planner；长任务成功更可能来自 action chunk imitation + 视觉闭环纠错。把它解读为 planner 形成长期状态建模会过度。
第五，方法把问题从 inference compute 转移到 training/data/engineering。训练期需要视频 latent、future supervision、大规模预训练和复杂部署栈；这对可复现性和小实验室迁移并不友好。
Takeaway
- 1. WAM 最值得迁移的 insight 不是测试时生成未来视频，而是用 future dynamics 作为训练期 action representation regularizer。
- 2. 对机器人策略而言，信息流方向比是否“联合建模”更关键：future observation 应该约束 action，而不是成为 action prediction 的隐式输入。
- 3. deployable WAM 的演化方向大概率是 training-time world modeling + inference-time lightweight policy，而不是每一步做昂贵 rollout。
- 4. 未来真正值得做的是更干净的归因实验：同数据、同调参预算、同 active compute 下比较 AC-WM、MoT、future objective 和 world-model initialization 的独立贡献。
一句话总结
GigaWorld-Policy-0.5 是 action-centered WAM 向真实部署收敛的一步：它把世界模型从测试时生成器改造成训练期动作表示约束，并通过专家分离把 dense future supervision 与低延迟 action inference 解耦。