精读笔记

Problem Setting

论文标题：Closing the Loop in Humanoid VLA: Persistent 3D Object Tokens for Verifiable Loco-Manipulation（arXiv preprint / 2026-07-21）。

这篇论文处理的不是一般意义上的 VLA grounding，也不是单步 manipulation success，而是 humanoid 在长时程 loco-manipulation 中如何让同一个 task object 在多次移动、接触、遮挡、失败恢复之间保持可寻址、可行动、可验证。真正困难点在于：humanoid 的动作是 chunked whole-body execution，环境状态会在每个 chunk 后改变，而当前 VLA 往往只在当前 observation 上重新隐式编码对象；task progress 又由另一个 verifier 或 planner state 判断。于是 action conditioning state 和 verification state 很容易分叉。

以前方法卡住的地方不是没有视觉模型、没有语言 planner、没有 skill library，而是缺少一个 shared physical state interface。VLA 可以“看起来知道”杯子在哪里，verifier 也可以“看起来知道”杯子是否在篮子里，但二者如果不是基于同一份对象状态，就会在抓取偏差、放置偏差、遮挡、手中物体状态变化时产生错误闭环。关键矛盾是：learned policy 喜欢端到端 latent representation，而可靠执行需要可刷新、可检查、可恢复的对象级物理状态。

Motivation

已有路线不够的原因在于，它们通常只解决闭环的一侧。Generalist VLA 提供从 image-language-state 到 action 的强 prior，但 task object 主要被压在视觉语言 latent 里，不能稳定跨 chunk 维护，也不方便被外部 verifier 复用。符号 planner、VLM monitor 或 predicate layer 能做进度判断，但它们常使用独立 state，和 action policy 的 grounding 不对齐。

作者的核心观察是 object-state divergence：机器人失败时，很多时候并不是不知道任务语义，而是用于行动的目标位置、对象身份、目标容器、支撑面、handover partner 等物理状态，和用于判断完成的状态不一致。这个观察很关键，因为它把问题从“让 VLA 更强”转成“让 VLA 和 verifier 共享同一套持久对象表示”。真正缺的是 action-conditioned state 与 verification evidence 的 representation alignment。

Core Idea

POT 的核心思想是把任务对象从每帧图像里的瞬时视觉证据提升为 role-indexed persistent 3D records，并把这组 records 同时作为 action generation 的输入和 predicate verification 的证据。也就是说，目标物、容器、支撑面、交互对象不再只是 language-image latent 中的隐含概念，而是具有角色、位置、尺寸、可见性、不确定性和关系特征的物理对象槽。

这个思路理论上有效，因为它给长时程执行加入了一个明确的 inductive bias：任务进展主要由少量任务相关对象及其 3D 关系决定，而不是由完整视觉场景的高维 latent 自行恢复。和 prior 的本质区别不在于“用了 3D”或“用了 verifier”，而在于它把 3D object memory 放在 action 和 verification 的共同接口上。信息流被重新组织为 ground-act-refresh-verify-recover，而不是 observe-act 然后外部监控再猜 action 后果。

这也使它比纯视觉 VLA 更 scalable：模型不需要每个 chunk 都从复杂图像中重新推断任务对象关系，而是可以围绕少数 role slots 学习动作条件化。它也比纯 symbolic monitoring 更 generalizable，因为动作仍由 learned whole-body expert 产生，不需要把所有低层运动脚本化。

Method

方法中最关键的机制不是投影层、slot 数或 feature 维度，而是三类状态对齐。

第一，role-indexed object memory 解决对象身份和任务角色的连续性。Typed subtask 给出 TARGET、DESTINATION、SUPPORT、HANDOVER_PARTNER 等角色，RGB-D 和 mask 证据只是在刷新这些角色槽的 metric evidence。它避免了每个 action chunk 都重新做一次不稳定的 visual grounding。

第二，object tokens 解决 action policy 的物理条件化问题。它们把 3D centroid、extent、visibility、confidence、target-destination displacement、end-effector-object offset 等压成 action-head 可用 token。核心变化是 policy 不再只能从 visual-language hidden state 间接恢复目标关系，而是直接注意到任务对象的结构化 3D 状态。

第三，predicate-level verification 解决 false completion 和 recovery trigger。执行一个 short-horizon chunk 后，系统刷新同一份 object memory，再检查 containment、support、proximity、alignment、handover distance 等几何关系。这里的重点是“同一份 memory”：verifier 不是另起炉灶，而是检查刚刚条件化 action 的对象状态在物理世界中是否达成了预期关系。

训练上，论文没有引入独立 predicate loss 或 object-memory loss，而是用带 object-token sidecar 的 demonstration fine-tuning 让 action head 适应这个输入。这说明主要贡献更像 representation injection / interface alignment，而不是新的学习目标。

Key Insight / Why It Works

最可能真正有效的是 representation alignment，而不是 verifier 本身。消融里 object tokens only 的提升远大于 verifier only，说明主要收益来自行动前就把目标对象和关系显式喂给 policy，减少 grounding jitter 和 metric ambiguity；verifier 更多是在剩余失败上防止 silent progression。

这本质上是 better inductive bias + memory reuse。POT 假设长时程 humanoid service tasks 可被少量 role-conditioned object relations 描述，这个假设在桌面整理、放入容器、堆叠、交接、抽屉/托盘等任务上非常强。只要对象记录可靠，policy 的搜索空间被显著收缩：它不必从整幅图像中重建“我要操作哪个对象、放到哪里、相对关系是否满足”，而是在相对干净的 3D role space 中预测 chunk。

它也包含 test-time compute 的成分：每个 chunk 后 reobserve、reground、retry、replan，相当于用更多感知和检查换取可靠性。这个不是坏事，真实机器人本来就需要闭环；但需要明确，部分增益不是单次 policy 更聪明，而是执行系统更保守、更频繁地刷新状态。

可能只是辅助的部分包括具体 token projector 结构、K=8/F=33 schema、LayerNorm-MLP 细节。这些大概率不是论文的技术核心。真正核心是“同一对象状态进入 action head 并进入 verifier”。

需要警惕的地方是 hidden supervision / engineering attribution。Typed subtask、role queries、success predicates、failure handlers、thresholds、retry budget 都包含大量任务结构。论文把它描述成不脚本化 low-level motion，这是成立的；但 high-level task schema 和 predicate design 仍然是强人工先验。增益来源不清：到底是 persistent object tokens 提升了 VLA 泛化，还是 typed task/predicate/retry 工程把失败案例兜住了，文中没有完全拆开。

另外，所谓 closed-loop reasoning 不应被过度解读。系统并没有学习长期因果状态或物理 dynamics；它是在 measurement-grounded object records 上做短周期刷新和几何检查。更像 execution-time state bookkeeping，而不是深层次 planning intelligence。

Relation To Prior Work

它最接近三条路线的交叉：object-centric 3D manipulation、generalist VLA action policies、execution verification/replanning。和 CLIPort、Perceiver-Actor、RVT、VoxPoser 等相比，POT 的重点不是生成单次操作目标或 3D affordance，而是让任务对象跨 humanoid whole-body chunks 保持持久角色绑定。和 RT/π0/GR00T 这类 VLA 相比，它不是替换 foundation action model，而是给 action head 增加显式对象状态接口。和 VLM/planner/verifier 系统相比，它的 verifier 不独立维护 symbolic state，而是复用 action conditioning 的 object memory。

看似新的部分里，object memory、3D token、geometric predicate、role slot 都不是孤立的新概念；很多思想在 object-centric policy、scene graph、robot state estimation、task-and-motion planning 中都存在。实质创新是把这些组织成一个适配 learned humanoid VLA 的 shared representation loop，并证明在真机长时程任务上有显著收益。

因此它属于“端到端 VLA 向结构化闭环执行系统回摆”的技术谱系：不是放弃 foundation policy，而是在 policy 周围重新引入对象级状态、物理 predicate 和局部恢复。这个方向很现实，因为 humanoid deployment 的失败模式常常不是大模型能力边界，而是状态接口不稳。

Dataset / Evaluation

评估的优点是真机 Unitree G1，任务覆盖 transport、container placement、bimanual-ish handling、stacking、sorting、articulated interaction、deformable transport、handover，确实比单纯桌面 pick-place 更接近 humanoid service execution。matched direct baseline 使用相同 GR00T-N1.7 action expert、embodiment 和 runtime，这使主比较相对有说服力。

实验基本支持核心 claim：最大收益出现在需要保持 3D relation 的任务，如杯子堆叠、多物体放置、衣物搬运、抽屉/托盘，这与 object-state divergence 假设一致。消融也显示 tokens 和 verifier 分别贡献了行动前条件化和行动后纠错。

但 evaluation 的边界很明显。任务仍然是单一办公室环境、小规模 trial、有限任务族、人工 typed-subtask schema。所谓 generalization 主要是 novel instances、layout shifts、distractors、mid-execution perturbations，属于 object-state perturbation，而不是开放场景泛化。Being-0 对比不是本地复现，benchmark 条件不完全可控，只能作为背景参照，不能作为强结论。

更关键的是，实验没有充分隔离 perception quality、role query design、predicate thresholds、fine-tuning sidecars、retry budget 对结果的贡献。它证明了“这个系统组合有效”，但没有完全证明“persistent object tokens 本身在更开放分布下泛化”。

Limitation

第一，核心前提是 object records 足够可靠。POT 把 action 和 verifier 对齐到同一份 memory，这解决 divergence，但也放大了共同错误：mask 错、depth 错、坐标错、role binding 错时，policy 和 verifier 都可能围绕错误对象形成一致闭环。文中承认依赖 SAM3/RGB-D/标定，但没有系统展示这些误差下的退化曲线。

第二，scalability 受 typed subtask 和 predicate schema 限制。每个子任务需要 roles、grounding queries、success predicates、failure handlers、thresholds、stability windows、retry budget。若这些由人工或强模板提供，那么系统泛化很大程度来自任务工程，而非 autonomously learned task structure。文中未充分说明这些 schema 如何在开放指令中自动、可靠地产生。

第三，泛化 claim 仍偏弱。测试中的 novel object 和 shifted layout 更像同任务族内扰动，不等价于跨房间、跨相机、跨光照、跨机器人、跨人类交互习惯的泛化。核心能力可能主要来自数据覆盖和 sidecar 标注对齐，而非真正的抽象关系泛化。

第四，长期状态建模并不充分。POT 是 active subtask 下的 role-indexed memory，不是完整场景级、地图级、因果级 memory。它能处理短周期 occlusion 和 chunk-level recovery，但对长时间离开视野、多对象身份交换、动态人类介入、复杂容器内部状态的能力仍不清楚。

第五，增益归因不清。POT tokens、predicate recovery、typed subtask schedule、local retry、reobserve/reground 都会提高成功率。消融拆了一部分，但没有把 fine-tuned object-token checkpoint 与额外结构化监督、额外执行时间、额外感知调用完全等价控制。可能主要来自 engineering / scaling 的部分不能排除。

Takeaway

• 1. 对 humanoid VLA 来说，闭环可靠性的核心瓶颈不只是 policy capacity，而是 action state 和 verification state 是否共享同一个物理对象接口。
• 2. 显式 role-indexed 3D object tokens 是一个很强的 inductive bias：它把长时程任务压缩成少量对象及其关系的持续更新，比让视觉 latent 每步重新推断更稳。
• 3. Verifier 的最大价值不是替代 policy，而是和 policy 共用 state 后提供 failure localization 和 recovery trigger；独立 verifier 容易重新引入 state divergence。
• 4. 未来真正值得做的是把这种 object memory 从人工 typed schema 推向自动 role discovery、active multi-view memory、contact-rich state estimation 和跨场景长期对象身份维护。

一句话总结

这篇论文是 humanoid VLA 从纯隐式端到端控制走向结构化闭环执行的一步，真正贡献是把持久 3D 对象状态作为 action generation 和 execution verification 的共享接口，而不是单纯增加一个感知模块或后验检查器。