精读笔记
Problem Setting
论文标题：Diagnosing Semantic Handoff Failures in Agent-Orchestrated Vision-Language-Action Skill Composition（arXiv preprint / 2026）。
这篇论文真正解决的是 agent-orchestrated VLA skill composition 中的 skill-boundary failure，而不是一般意义上的长程规划或 VLA policy learning。它关心的是：一个 skill 在局部上完成了自己的 postcondition，但其终止状态并不是下一个 skill 的可启动状态。这里的关键矛盾是 local success 与 compositional usability 不等价。
困难点在于 learned skill 的接口不像 TAMP operator 那样有明确 precondition/effect。VLA skill 的“可调用性”隐含在训练数据分布、相机视角、物体 pose、机器人 base/gripper 状态和语言 grounding 中。以前很多 agent+robot tool 系统把 skill 当作相对稳定的 API，但 VLA skill 实际上更像一个对初始状态分布高度敏感的 conditional policy。长程失败因此不一定发生在 planner 层，也不一定说明单个 skill 弱，而是发生在两个 skill 之间的语义交接处。
Motivation
已有路线缺的是对 learned skill interface 的 runtime diagnosis。大 VLA policy 研究主要追求更强的单步或短程控制能力；agentic robotics 研究强调 decomposition、tool calling、verification；TAMP/程序化系统有显式约束但工具覆盖和开放性较差。本文切入的缺口是：当工具本身是 learned VLA skill 时，agent 不能只问“当前 skill 是否完成”，还必须问“这个完成状态是否能被下一步消费”。
作者的核心观察是 snapshot evaluation 会系统性高估 skill library 的可组合性。因为 snapshot 起点往往来自演示边界，是被清理过、对下一个动作友好的状态；真实 rollout 中的 chained state 则包含偏移的视角、未对齐的 gripper、被前序动作扰动的物体、模糊的实例绑定等。这个差异不是普通 benchmark noise，而是 skill composition 的核心失配。
Core Idea
核心思想是把长程 VLA 执行从“agent 调用一串 skill”改写为“agent 在语义合约边界上持续验证 handoff 是否成立”。每个 skill 不再只是一个 language-conditioned policy call，而是一个带 typed arguments、预算、postcondition、验证频率和隐式 next-skill readiness 的 contract。这样建模后，失败不再只是 task-level success=0，而可以被定位为：目标没 ground 到、控制没 commit、或者上一个 skill 没把状态交到下一个 skill 可用的区域。
这个建模引入的 inductive bias 是边界显式化。相比直接训练更大 VLA 或让 LLM planner 更聪明，它把信息流重组为：policy 负责尝试动作，agent 负责终止和恢复，VLM verifier 负责把多视角证据映射到语义状态，trace 负责形成可回放的失败数据。它的本质区别不是产生了新的 controller，而是给 learned skill library 补了一个近似 API contract 层。
Method
方法上最关键的是 isolated-vs-chained 对照。作者使用同一组 π0.5-based skill checkpoint，在 clean skill-boundary snapshot 和真实 composed rollout terminal state 两种初始分布下比较表现。这个设计解决的是归因问题：如果同一 policy 在 snapshot 上能成功、在 chained state 上失败，那么失败更可能来自边界分布偏移，而不是单个 skill 完全不会做。
第二个关键机制是 agent-owned termination。VLA policy 没有可靠 stop signal，所以 harness 按固定间隔执行动作 chunk，再用多视角 VLM verifier 判断 postcondition 是否满足。这样做的意义不是 VLM 更聪明，而是把终止权从 policy 内部拿出来，使每次 advance/retry/replan 都留下证据。
第三个机制是 handoff-aware postcondition。当前实现没有真正学习 ρ(s_t, s_{t+1})，而是把 arm-reach requirement 写进 move_to 的自然语言 postcondition。这个实现很粗，但机制上重要：它把“目标可见”提升为“目标处于下一个 skill 可操作状态”。这正是 semantic handoff 的最小可运行实例。
第四个机制是 trace-backed attribution。系统把失败归到 scene search/grounding、control execution、next-skill readiness 等类别。这里的价值不是分类本身多精确，而是把 long-horizon collapse 转成可收集数据、可设计 ablation、可定向 fine-tune 的失败分布。
Key Insight / Why It Works
最重要的 insight 是：VLA skill library 的瓶颈可能不在平均单技能能力，而在技能边界状态分布。clean demonstration boundary 是一种被人为整理过的 interface distribution；真实 rollout 的 terminal state 是 policy-induced distribution。两者之间的 gap 会让下一个 skill 的输入落到训练覆盖之外。这个解释比“policy 还不够大”更具体，也更可操作。
这篇论文真正有效的部分是诊断框架，而不是 VLA 训练 recipe。π0.5 checkpoint、skill-specific budget、多视角 verifier 都是支撑设施；核心贡献是把失败归因从 task-level black box 拆到 handoff-level。它本质上不是 scaling paper，也不是 planner paper，而是 interface diagnosis paper。
arm-reach ablation 是一个很有价值的小实验，因为它说明 verifier criterion 的改变会改变系统暴露出的失败类型和 recovery behavior。这里最可能迁移的 insight 是：postcondition 不能只描述当前 skill 的完成状态，还要条件化于 next skill 的可启动性。换句话说，ϕ_t 本身不够，真正需要的是 ϕ_t ∧ ρ(s_t, s_{t+1})。
但要直接说清楚：当前论文还没有证明 ρ 机制本身能 scale。它只证明了手写 arm-reach readiness 能暴露问题。增益来源不清，可能来自更严格的 verification、更多 re-navigation attempt、以及任务脚本中的强先验。VLM verifier 的失败分类也可能带有明显 evaluation bias，尤其在 grasp visibility、placement correctness、articulated object state 上。所谓 agent reasoning 在这里更像 test-time control loop 和 structured logging，不是强长期状态建模。
Relation To Prior Work
这篇最接近三条线：VLA policy learning、agentic robot tool use、TAMP/precondition-effect planning。和 VLA 工作相比，它不主要贡献更通用的 policy，而是指出 policy 在 skill-boundary distribution 上失败。和 SayCan/ReAct/Inner Monologue/Code-as-Policies 一类 agentic 系统相比，它不是强调如何选工具，而是强调 learned tool 的语义接口本身不稳定。和 TAMP 相比，它借用了 precondition/postcondition 的思想，但不依赖完整几何符号模型，而是用 VLM verifier 在视觉证据上近似判断。
看似新的部分，比如 typed skill contract、budgeted execution、verify-and-retry，本身都不是新思想；实质新增信息是把这些机制用于诊断 VLA skill handoff failure，并通过 isolated-vs-chained protocol 把 failure 归因到 skill-boundary distribution shift。它属于“agent as runtime instrumentation for learned policies”的技术谱系，而不是纯粹的 policy scaling 或 symbolic planning。
Dataset / Evaluation
评估基于 BEHAVIOR-1K/OmniGibson，覆盖多个 household long-horizon tasks 和一组导航、抓取、放置、开关门、按压等技能。它没有真实世界或真机验证，因此 claim 应该限定为模拟环境中的诊断性结论，而不是 deployment-ready robotics。
evaluation 最能支持的 claim 是：snapshot skill success 不能预测 composed rollout robustness；agent harness 可以把失败定位到 readiness/grounding/control 等类别。它不能充分支持的 claim 是：readiness-aware verification 会系统性提升任务成功率，或者该方法具备强泛化能力。端到端 rollout 数量小，代表性 round 的失败归因不应当被当作稳定统计。progress score 是人为对 reference skill sequence 的保守评分，也会偏向 teacher-hint plan，不奖励 alternative valid plans。
另一个问题是 isolated benchmark 与 composed rollout 使用不同成功标准：前者 VLM+human review，后者 BDDL task predicate。作者试图通过“同一 checkpoint、同一实例”控制变量，但评价口径仍不完全一致。文中未充分说明这种 metric mismatch 对 gap 估计的影响。
Limitation
最大的限制是方法把问题从 policy 内部转移到了 verifier 和 readiness specification。当前 readiness 不是学习出来的，也不是系统性生成并验证的 ρ(s_t, s_{t+1})，而是通过 move_to postcondition 的自然语言措辞近似实现。这意味着 scalability 上限会受限于人工 template、VLM 判断稳定性和任务脚本质量。
第二，泛化证据弱。实验是少量 BEHAVIOR-1K pilot traces，且没有真实机器人。BEHAVIOR-1K 的任务、物体和 teacher-hint plan 给了很强结构先验；所谓组合诊断是否能在开放对象、开放场景、非标准 plan 中成立，文中未充分说明。
第三，失败归因可能不稳。二人 audit 只验证 binary failure decision，不验证 category label；而论文的主要诊断价值恰恰依赖 category。目标 grounding、readiness、control commit 在视觉证据上经常纠缠，VLM verifier 可能把同一底层失败解释成不同类别。
第四，agent 层没有真正解决长期状态建模。它维护脚本、调用 verifier、触发 retry/replan，但不等于形成了 robust world state 或 causal model。很多 recovery 实际是重新导航，这更像 test-time compute 和局部搜索，而不是规划能力的本质提升。
第五，核心能力可能最终主要来自数据覆盖：如果 chained-state failures 需要通过收集 terminal-state distribution 重新训练解决，那么本文的主要贡献就是告诉你该采什么数据，而不是提供一个能自动跨分布泛化的机制。
Takeaway
- 最值得记住的不是某个技能成功率，而是：long-horizon VLA 的接口问题会出现在 skill boundary，而不是只出现在 planner 或单技能控制器内部。
- 未来这条线大概率会走向 next-skill-conditioned verification：postcondition 必须从 ϕ_t 变成 ϕ_t ∧ ρ(s_t, s_{t+1})，并且 ρ 最好从数据或结构化 affordance model 中学习，而不是人工写模板。
- 这个 paper 的可迁移 insight 是用 execution harness 作为诊断仪器：当 task success 接近零时，不要只扩大模型或加数据，而要先把失败分解成 boundary distribution、grounding、control commit 和 verifier error。
- 真正值得做的下一步是闭环数据收集：用 trace 找到 chained terminal states，把这些状态变成 fine-tuning / recovery training / verifier calibration 数据，再验证 bottleneck 是否移动。
一句话总结
这篇论文在 VLA 长程组合方向中的位置，是把 learned skill 从“可直接调用的黑盒工具”重新定义为“需要 handoff contract 和 runtime diagnosis 的不稳定接口”，其真正贡献是提出并实证化了 semantic handoff failure 这一组合瓶颈。