精读笔记
Problem Setting
这篇论文实际面对的是 surgical robot learning 中最硬的资源错配：endoscopic video 多，带同步 kinematics/action 的 teleoperation demos 少。任务困难不在于动作空间定义，而在于少量 action labels 要同时覆盖精细视觉几何、接触转移、双臂协调和长 horizon task progress。
以前的 IL/RL/VLA 方法基本把所有能力都压到 action-labeled data 上学：视觉表征、物体状态、接触动态、动作分布都依赖同一批昂贵 demos。world model 路线虽然能利用视频，但在 surgical robotics 中多数停留在 simulation、evaluation 或 synthetic data generation，没有把 learned dynamics 直接变成 closed-loop control。
因此关键矛盾是：视频里含有大量关于手术场景演化和工具-组织/物体交互的信息，但缺少动作标签；控制又必须输出可执行动作。论文要解决的就是如何在不增加 action-label budget 的情况下，把 action-free video 中的 dynamics prior 注入 policy。
Motivation
已有路线不够的地方不只是样本少，而是信息流组织错了。视频模型学到的 dynamics 被用来生成或评估视频，控制模型仍然单独从 action-labeled demos 学动作；两者之间通常靠 inverse dynamics、pseudo labels 或外部 policy 串起来。这种 pipeline 在手术场景很脆弱，因为小的视觉误差或几何偏差会导致接触结果完全改变。
作者的核心观察是：WAM 的 joint video-action formulation 正好适合 surgical data asymmetry。action-free video 可以先教模型“手术场景怎么演化”，少量 action-labeled demos 再教模型“哪些机器人动作会产生这些演化”。缺口不是缺一个更大的 VLA，而是缺一个把 video dynamics pretraining 和 executable action prediction 绑定在同一模型里的闭环控制器。
Core Idea
论文真正的核心思想是：把 surgical manipulation policy 看成一个 conditional generative process，同时生成 future observations 和 action chunks，而不是把 world model 和 policy 拆成两个系统。这样 action prediction 不是单纯拟合 demonstration action，而是在一个已经学过 surgical visual dynamics 的 latent space 中做 grounding。
这个建模方式引入的 inductive bias 是：动作应该和可预测的视觉后果共形。对手术任务来说，这比纯 reactive VLA 或普通 diffusion policy 更合理，因为成功往往取决于接触事件、物体姿态变化和双臂协同的可见后果，而这些结构可以从大量无动作视频中学到。
和 prior 的本质区别在于，它不是“用 world model 生成更多数据再训练 policy”，也不是“用视频模型评估 policy”，而是让 video prediction objective 和 action objective 在同一 latent sequence、同一 transformer 参数中耦合。更 scalable 的地方在于瓶颈从 collecting synchronized action labels 转向 collecting/curating action-free surgical video。
Method
第一，action-free video pretraining 解决的是视觉动态样本效率问题。它只要求 endoscopic clips，不需要 kinematics，把模型的视觉预测槽初始化到 surgical domain。必要性在于：如果直接从少量 demos 学，action labels 被浪费用来教模型基础视觉动态。
第二，joint action-labeled fine-tuning 解决的是 dynamics-to-action grounding。action tokens 和 future observation tokens 一起被 diffusion denoising，核心变化是 action head 可以通过共享 attention 访问视频预训练得到的时空结构，而不是在冻结视觉 encoder 后面做浅层动作回归。
第三，closed-loop receding horizon 解决的是 diffusion action chunk 的误差积累。模型预测完整 chunk，但只执行短前缀，然后重新观测。这个机制把生成模型的长序列能力限制在局部可控范围内，同时用 test-time replan 提供反馈修正。
第四，joint sampling future video and actions 在推理时保留了训练时的 video-action coupling。虽然视频输出最终被丢弃，但它作为 latent computation 参与 action sampling；这部分更像 test-time compute / implicit planning，而不是显式 planner。
Key Insight / Why It Works
最可能真正有效的原因是 representation alignment，而不是“世界模型会规划”。action-free video pretraining 学到 surgical scene 的时空 regularities：工具运动、物体接触、抓取后状态变化、双臂交互的视觉模式。fine-tuning 时 action labels 只需要把这些已存在的 visual transition manifolds 对齐到机器人命令，因此样本效率提高。
第二个原因是 domain-specific scaling。相比通用 VLA pretraining，surgical video 的视觉分布、相机视角、工具外观、动作节奏更接近目标任务。π0.5 表现弱说明大规模 open-world pretraining 不自动转化为亚毫米级 surgical manipulation；这里的增益很可能主要来自 domain-aligned video data，而不是模型规模本身。
第三个原因是闭环执行压低了模型必须一次性正确预测的 horizon。WAM 生成 action chunk，但只执行前几步，这让模型更像一个短 horizon visual servoing policy with generative prior，而不是长期 planner。所谓 long-horizon reasoning 在这里证据不足，更可能是 repeated short-horizon correction。
最核心贡献应是：证明 action-free surgical video 可以作为 control-relevant pretraining signal，而不仅是 video generation signal。辅助成分包括 Cosmos Policy backbone、diffusion sampler、chunking、task embedding等；这些大多是已有工程组件组合。文中未充分说明各组件的独立贡献，因此不能把全部提升归因到 WAM 架构本身。
需要警惕的是 implicit memorization / benchmark overlap。SurRoL 任务结构固定，物体、视角、动作模式相对有限；video pretraining 如果覆盖了相似交互模式，模型可能主要在做局部轨迹模式匹配。这个机制依然有用，但它不是强泛化或因果推理。
Relation To Prior Work
它最接近三条线：video-conditioned control、world-action models、surgical video/world models。和 video-conditioned control 相比，区别在于没有先生成视觉目标再用 inverse model 转动作，而是联合生成 future video 和 action。和 surgical world model 相比，区别在于 world model 不再只是 simulator/evaluator/data generator，而是 policy 本体的一部分。和 VLA/IL 相比，区别在于监督信号不只来自 action labels，还来自 action-free video dynamics。
看似新的部分其实很多是已有思想重组：video diffusion pretraining、diffusion action chunking、receding-horizon control、joint video-action modeling 都不是新概念。实质创新在于把这些机制放进 surgical robot learning 的数据约束里，并用固定 action-label budget 做闭环验证。
技术谱系上，它属于“domain video foundation model -> world-action policy”的路线，而不是 classical model-based RL。它没有显式 dynamics model、cost function 或 planning search；更像把 video generative model 变成 action-conditioned/ action-producing policy prior。
Dataset / Evaluation
评估主要覆盖 SurRoL 上四类模拟 dVRK manipulation：单臂、双臂、抓取、转移、接触和放置。任务组合能测试短到中等 horizon 的 surgical manipulation，但仍是结构化 benchmark，不等价于真实手术流程。
核心 claim 是“固定 action-labeled budget 下，action-free video pretraining 提升闭环控制”。这个 claim 在模拟设置中基本被支持，因为 w/ PT 和 w/o PT 使用相同 action-labeled data 与相同架构，对比相对干净。execution horizon ablation 也支持预训练模型更稳，但解释仍偏经验。
真实世界证据较弱。JIGSAWS 是真实 dVRK teleoperation video，但文中描述更像 real-data fine-tuning trend 或代表性序列，不是严格真机闭环部署。它最多说明视觉先验不完全是 simulator artifact，不能证明 sim-to-real 控制泛化。
实验明显缺少几类关键消融：不同规模/来源 video pretraining 的 scaling curve，非 surgical video pretraining 对照，冻结 visual backbone vs full fine-tuning，对 future-video joint sampling 是否必要的推理消融，以及 pretraining corpus 与 benchmark task overlap 分析。
Limitation
方法成立依赖一个强前提：action-free video 的分布必须和 downstream manipulation 的视觉动态足够接近。如果视频里没有覆盖目标接触模式、工具配置、物体状态转移，WAM 没有理由凭空学会对应控制。核心能力可能主要来自数据覆盖。
泛化上限也受限于 action grounding。无动作视频只能教“看起来会怎样变”，不能教“哪条机器人命令导致这种变化”。Stage 2 的 action-labeled demos 仍然决定可执行动作空间的边界；视频预训练只是降低 grounding 难度，不消除动作标签瓶颈。
所谓 planning 能力证据不足。模型没有显式维护长期任务状态，也没有搜索多个 action futures 的代价比较；joint future prediction 更像 latent regularization + test-time compute。planner 实际没有形成长期状态建模，至少论文没有证明。
增益来源不清。可能主要来自 scaling / data，也可能来自 better initialization 或 regularization；120k 后 pretrained model 性能下降说明 fine-tuning 稳定性和 prior preservation 仍是问题。checkpoint selection 对最终结果影响较大。
真实部署鸿沟很大。SurRoL 的接触、视觉、组织变形和误差模式远比临床场景简单；JIGSAWS 不能替代闭环 real robot evaluation。对安全约束、失败恢复、不可见状态、工具遮挡、组织形变和 force feedback 的处理文中未充分说明。
Takeaway
- 1. 最值得记住的是数据组织方式：把无动作视频用于 dynamics pretraining，把少量带动作 demos 用于 action grounding，这是 surgical robotics 中非常自然且可能可扩展的范式。
- 2. WAM 的价值不在于“生成未来视频很漂亮”，而在于让 video prediction 和 action prediction 共享 latent structure，从而把视觉动态先验转化为控制先验。
- 3. 对 precision robotics，domain-aligned video pretraining 可能比通用 VLA pretraining 更重要。
- 大模型通识知识在亚毫米接触控制中不一定有用，分布贴近的视觉动态更有价值。
一句话总结
Surgical WAM 是把 surgical action-free video pretraining 从“视频生成/评估工具”推进到“闭环控制先验”的一次 WAM 化重组，真正贡献在于证明 domain visual dynamics 可以在固定动作标签预算下提高 surgical robot policy 的样本效率。