精读笔记
Problem Setting
这篇论文解决的不是一般的 language-conditioned manipulation，而是一个更具体的问题：在桌面操作中，机器人拿到文本形式的目标状态后，如何通过多步 affordance 搜索找到一条可执行动作序列，并且在未来状态中仍能判断目标是否满足。
真正困难点有三个。第一，目标是 state goal，不是 action instruction；用户说的是“达到什么”，不是“做什么”。因此系统必须自己发现中间动作。第二，目标对象可能在执行过程中被遮挡，甚至初始描述在未来状态中不再可用；如果每一步都重新做视觉识别，对象身份会断。第三，很多任务依赖动作副作用，例如盘子上的球会随盘子移动、移动一个物体会打开未来 affordance、暂时破坏已满足条件反而是必要步骤。
以前方法卡住的地方在于表示粒度。符号/LLM 规划可以高效搜索，但很难编码这些几何、遮挡和副作用；视觉预测式方法有物理细节，但目标指定和对象绑定不方便。本文的关键矛盾是：需要细粒度视觉状态来预测物理后果，同时又需要文本目标和对象身份来做可用的任务规划。
Motivation
作者的核心观察是：机器人规划中真正缺的不是更强的语言解析，而是一个能把语言目标落到可预测视觉未来上的中间表示。符号规则的问题是 granularity 不够，且规则设计者没有列出的副作用就无法利用；端到端策略的问题是任务和目标变化时复用性差；仅用目标图像的预测式规划又不适合作为运行时接口。
因此这篇工作的动机不是让 VLM 直接控制机器人，而是让 VLM/多模态匹配只承担一个更窄的角色：判断预测出来的未来状态是否符合文本目标。物理推演仍由 affordance-conditioned visual dynamics 完成，动作候选仍由 affordance recognition 限制。这是一个相当保守但合理的分工。
关键缺口是对象身份的连续性。文本中的“the plate”“the cube”在初始状态可标注，但未来状态里它们可能被遮挡或外观关系改变。论文用 mask channel 把语言 referent 绑定到视觉状态流中，本质是在 learned dynamics 里加入了显式 object identity carrier。
Core Idea
核心思想是：不要把文本转成符号计划，也不要让语言模型直接生成动作，而是在 affordance 空间中枚举可能未来，用 learned visual transition 预测每个未来状态，再用文本-状态匹配模型给未来状态打分。规划由“未来视觉想象 + 目标匹配 + 搜索”组成。
这个建模方式改变了信息流：语言不进入低层控制，也不直接定义动作，只在评估未来状态时发挥作用；物理细节不被压成符号谓词，而保留在 RGBD/mask 图像中；对象身份不靠每个未来状态重新识别，而通过预测的 mask channel 传递。这样做的 inductive bias 很明确：动作效果在局部坐标系下具有平移/旋转不变性，目标对象身份应该作为状态的一部分被动态预测，而不是作为后处理识别问题。
和 prior 的本质区别是，本文把 prior 中“图像目标匹配”的规划接口替换成“文本目标匹配”，并补上对象身份跟踪和 real-to-sim 输入对齐。它不是开放世界机器人 foundation model，而是一个受限 affordance planner 的可用性扩展。
Method
方法的关键机制可以压缩成四点。
1. Affordance-conditioned search：用 GRASP/PLACE/PUSH/INSERT 这类预定义 affordance 作为搜索动作，解决连续动作空间不可搜索的问题。它保留了动作几何参数，但把候选空间限制在 ARM 认为可执行的位置上。核心变化是把 planning branching 从 motor command 降到可枚举 affordance。
2. Visual effect prediction with local frame：EPM 在动作局部坐标系下预测效果，利用动作效果对绝对桌面位置和朝向的相对不变性。这个设计解决的是数据效率和泛化问题；如果直接在全局图像坐标下学习所有位置/角度的转移，样本复杂度会很高。局部视角加 orthographic projection 是这篇里最有实际价值的 inductive bias 之一。
3. Mask-based object binding：GIM 把文本中提到的对象转成 #1/#2/#3，并把对应 mask 拼到状态通道中；EPM 同时预测 RGBD 和 mask。它解决的不是 segmentation 本身，而是 referent persistence：目标对象即使被遮挡，也仍作为状态变量被追踪。没有这个机制，很多遮挡目标只能靠重新识别或启发式推断。
4. Text-state goal matching：GMM 不生成动作，只判断 mask/state 是否满足模板化文本关系。它解决目标接口问题，也让 planner 可以在任意搜索深度上评估中间/未来状态。这里语言能力很受限，主要是 relation classifier，而不是开放语言理解。
5. Real-to-sim conversion：ICM 把真实 RGBD 转成模拟风格，解决 sim-trained planner 的输入分布对齐问题。它没有让 dynamics 真正 real-world aware，而是把现实观测尽量投影回模拟视觉域。核心变化是把 sim-to-real 从策略迁移问题改成视觉标准化问题。
Key Insight / Why It Works
这篇真正有效的原因不是某个网络结构，而是任务分解非常克制：搜索负责组合性，affordance 负责动作可执行性先验，视觉预测负责局部物理后果，多模态模型只负责目标打分，mask 负责身份保持。每个模块都只解决一个窄问题，因此整体在受限场景里可以运转。
最可能的核心贡献是 mask-augmented visual prediction for text goal planning。文本目标本身并不新，affordance planning 也不新，视觉 effect prediction 也来自前作；真正让系统能解决遮挡/身份变化任务的是：把语言 referent 变成显式视觉通道，并让 dynamics 模型预测这个通道。这比在每个未来状态上重新跑 detector/VLM 更稳定，也更符合规划需要。
第二个关键点是局部坐标系预测。它本质上是在 dynamics learning 里硬编码 equivariance，而不是指望网络从数据中学出平移/旋转泛化。这个 bias 对小数据/程序化数据尤其重要，也解释了为什么模型能在变化位置和朝向下做多步预测。
GMM 的作用更像目标关系分类器，而不是通用 VLM reasoning。语言模板有限，对象已经被替换成 #1/#2/#3，输入主要是 mask；因此它的高准确率不能说明系统具备开放语言理解。这里的“language-conditioned planning”更准确地说是“template text-conditioned relational state scoring”。
ICM 的贡献主要是 representation alignment。它可能是工程上必要的，但科学上增益来源不清：真实世界成功到底来自 real-to-sim 转换、对象外观 augmentation，还是任务和物体分布高度受控，文中没有充分拆解。真实实验失败也说明 ICM 只是缓解输入域偏移，不能消除 dynamics/domain gap。
规划能力也要谨慎理解。系统确实能处理多步 foresight 和 detour，但这是通过 explicit search over predicted futures 得到的 test-time compute，不是模型内部形成了长期推理。某些“巧妙策略”可能来自搜索枚举加 GMM 打分，而不是 learned abstraction。
Relation To Prior Work
这篇最接近 Arnold et al. 2023 的 affordance-in-predicted-futures 路线，本质上是对该框架的扩展：从图像目标到文本目标，从已知对象到类别内形状变化，从无遮挡/弱身份问题到 mask-tracked referents，从仿真到真实输入转换。
和 CLIPort / language-conditioned affordance 方法相比，本文不是把语言直接映射到 pick/place affordance，而是让语言描述结果状态。这个差异很实质：action instruction 系统依赖用户给策略线索，本文需要 planner 自己搜索中间动作。
和 LLM/symbolic planning 相比，本文保留了细粒度视觉状态和 learned dynamics，因此能利用非规范副作用，例如“物体随承载物移动”。但它也牺牲了符号规划的搜索效率和抽象泛化能力。
和 latent dynamics / model-based RL 路线相比，本文选择可视化、可匹配的 future image，而不是只在 latent space 里滚动。这让目标匹配和人工检查更直接，但也带来计算成本和像素预测误差累积。
看似新的部分中，real-to-sim conversion、Stable Diffusion/ControlNet 生成训练对、SAM 辅助 mask 都是已有思想重组。实质新增的信息是：如何把这些组件组织成一个 affordance-based visual planner，并通过 mask channel 把语言对象绑定注入 dynamics。
Dataset / Evaluation
评估任务是人工设计的桌面 manipulation puzzles，重点覆盖多步搜索、临时 detour、遮挡、承载副作用、未来 affordance 变化等。这个设计比随机任务更能测试论文声称的核心能力，但也意味着 benchmark 很窄，强依赖作者对系统能力边界的了解。
仿真结果基本支持“在受控对象类别和 affordance repertoire 内，视觉未来搜索可以解一些非平凡多步任务”。真实世界实验进一步支持 ICM 能在一定程度上把外观变化压回模拟域，但成功率下降明显，失败模式集中在 stacked objects、off-center configurations、affordance false positive 和 converted-image artifacts。
evaluation 没有充分支持强泛化 claim。对象类别固定，语言模板固定，场景几何固定，动作类型固定，真实环境也接近仿真复刻。所谓 sim-to-real generalisation 更像在 controlled real setup 上的 domain adaptation，而不是跨环境泛化。
模块消融不足是主要问题。文中未充分说明如果没有 mask tracking、没有 dynamic viewpoint、没有 artifact augmentation、没有 ICM 生成式数据扩增，各自会损失多少。增益来源不清，可能主要来自 data coverage 和任务设计与训练分布的匹配。
Limitation
最大前提是 affordance repertoire 被手工定义且很小。系统只能规划它知道的动作类型，所谓 outside-the-box 仍是在这些 affordance 的副作用组合里搜索，不是开放动作发现。
第二个前提是对象和语言空间受限。文本是模板化关系，最多三个 mask channel，对象类别是 balls/cubes/cups/plates。GMM 不需要解决真实 referring expression grounding，因为对象 mask 由用户点选和 SAM 候选选择提供。这里存在 hidden supervision：最难的 language grounding 被半自动人工流程绕开了。
第三，泛化高度依赖程序化数据覆盖。形状变化、颜色材质变化、布局变化都来自合成 pipeline；一旦进入训练分布没有覆盖的组合，例如真实实验中的非中心堆叠，性能明显掉。核心能力可能主要来自数据覆盖，而不是强物理泛化。
第四，模块级误差会级联。ICM 伪影影响 ARM/EPM，EPM 模糊预测影响 GMM，ARM false positive 会让 planner 选择执行失败动作。系统是 open-loop plan execution，没有体现闭环 replanning 或 execution-time recovery，这和真实 deployment 仍有距离。
第五，规划 scalability 有明显上限。搜索树随 affordance 数量和深度增长，GMM/EPM 多次调用昂贵。论文也承认从几秒增长到几十秒/几分钟。没有符号抽象或启发式学习时，这条路线很难直接扩到长任务或复杂场景。
第六，推理可能部分是假象。系统的“reasoning”主要是枚举预测未来并打分；它没有显式学习长期因果结构，也没有形成可复用的 symbolic operators。对研究者来说，这应被看作 test-time compute + learned local dynamics，而不是通用任务推理。
Takeaway
- 1. 最值得迁移的 insight 是：对 language goal planning，不一定要让语言模型产生动作；更稳的方式是让语言只做未来状态评分，把物理推演交给具备动作先验的 dynamics model。
- 2. 对涉及遮挡和身份保持的 manipulation，object identity 应该进入状态转移模型本身，而不是作为每一步感知的后处理。
- mask channel 是简单但有效的状态增强。
- 3. 局部坐标系/orthographic view transformation 是比堆更大模型更干净的 inductive bias；对 tabletop affordance dynamics，这类 equivariance hard-coding 很可能比 scaling 更划算。
一句话总结
这篇论文是 affordance-based visual predictive planning 向文本目标和受控 sim-to-real 部署的一次系统性扩展，真正贡献在于用 mask-tracked visual futures 连接语言目标与细粒度物理预测，而不是在开放语言或通用机器人推理上取得突破。