精读笔记
Problem Setting
这篇论文解决的不是传统意义上的 long-horizon task planning，而是 heterogeneous policy orchestration：系统手里已有多个独立训练或手工设计的控制系统，例如 VLA、RL post-trained policy、TAMP planner，它们各自擅长不同子空间，但没有共享状态抽象、动作接口、训练分布或明确 initiation set。问题是如何在一个长任务中动态决定“谁来做哪一步”，以及“怎样把上一个策略执行完后的状态交给下一个策略”。
真正困难点有两个。第一，capability boundary 不是静态标签：一个策略能不能做某个子任务，取决于语言表述、物体布局、相机视角、机器人初始姿态、历史执行状态等上下文。第二，策略之间不可自然组合：前一个 policy 的 terminal state 可能对人看起来合理，但对下一个 policy 是 OOD initialization。很多长时程失败不是因为子任务不会做，而是因为交接状态落在下一个 policy 没见过的区域。
以前方法主要卡在同质技能假设上。TAMP / hierarchical planning / LLM-guided planning 通常假设 skill set 的 precondition/effect 清楚，或者至少共享一个规划抽象；skill chaining 工作关注 handoff，但多半在训练侧学习 initiation set、transition policy 或 terminal regularization。RoboHarness 处理的是更现实也更杂乱的问题：策略已经存在，不能指望联合训练，也不能要求它们共享表示。
Motivation
作者的核心观察是：长时程机器人任务所需能力已经被不同路线分别部分解决，但没有一个单一策略能同时具备开放词汇语义理解、几何精度、闭环鲁棒性、逻辑一致性和接触丰富操作能力。VLA 擅长语义和柔性操作，但几何和长程一致性弱；RL policy 在训练分布内强，但边界窄；TAMP 精确且可解释，但依赖抽象和对象模型。
因此缺的不是另一个更大的 end-to-end policy，而是一个能把这些已有能力组织起来的机制。关键缺口是 capability-aware composition：不仅要知道任务应该分成什么，还要知道每个片段当前应该交给哪个 policy，以及切换前是否需要把状态重新对齐到目标 policy 的熟悉区域。
这个方向的直觉很自然：如果底层策略已经具有互补能力，那么系统级性能的瓶颈会从“单策略表达能力”转移到“选择、路由、交接、恢复”。RoboHarness 把机器人问题往 coding-agent harness 的方向推，即用外部 scaffold、memory、tools、feedback loop 管理多个执行体，而不是把所有能力压进一个 monolithic controller。
Core Idea
核心思想是把异构机器人策略建模为可调用但能力边界不确定的 agentic skills，并用执行记忆把“策略在什么状态下可靠”从静态声明变成可检索、可更新的经验分布。它改变的建模方式是：不再假设 skill applicability 已知，也不强制所有策略对齐到统一 action/state representation，而是在 orchestration 层维护一个经验性的 capability model。
Memory Bridge 是最实质的 inductive bias。它假设一个策略的成功执行轨迹在 robot state space 中形成某种局部 support；如果当前状态不在这个 support 附近，就先通过 motion planning 把机器人送到与历史成功轨迹相似、且具有正向 progress 的状态，再调用该策略。这个机制本质上是 retrieval-based distribution alignment，而不是学习一个通用跨策略组合模型。
和 prior 的本质区别在于，RoboHarness 把 skill chaining 从 training-time compatibility learning 改成 test-time memory-mediated handoff；把 task planning 从静态技能库规划改成基于执行证据的动态 policy routing。它更 scalable 的地方不是理论保证更强，而是工程组织上允许新增独立 policy，只要能记录轨迹、提取状态、构造 memory，就能被纳入 harness。
Method
方法层面最关键的机制不是三类模块本身，而是它们如何改变信息流。
第一，执行记忆用于 capability estimation。每个 policy 的成功轨迹被组织成带语言、视觉、机器人状态的 linked-node memory。规划时不是仅凭 policy card 的人工描述决定调用谁，而是检索与当前 subtask / observation 相似的历史执行，作为该 policy 是否适用的证据。这解决的是异构 policy capability boundary 不显式的问题。
第二，Memory Bridge 用于 handoff stabilization。它面向即将被调用的 policy 检索相关成功轨迹，围绕 anchor node 向前后展开，学习局部 progress scoring，并在 memory support region 内选一个可由 motion planner 到达、且更接近目标 policy 执行分布的 handoff state。它解决的是“前一个 policy 完成了自己的子任务，但留下的状态不是下一个 policy 的好初始状态”。核心变化是把 handoff 从直接切换变成显式状态重定位。
第三，policy card / metadata / online evidence 形成动态 routing prior。每个 policy 不只是 callable function，还带有能力描述、接口约束、历史成功失败统计；执行后这些信息会更新。它解决的是 capability boundary 随环境和任务变化的问题。但这部分更像 harness engineering，真正创新性弱于 Memory Bridge。
第四，coding agent 作为 high-level router 和 glue code executor。它读取辅助模块输出、调用策略、处理失败、修改 orchestration 逻辑。这里的关键不是 LLM 推理本身，而是把 planner 放在一个可调用工具、可读 memory、可改代码的执行循环中。文中未充分说明该 agent 的决策可复现性和错误控制机制。
Key Insight / Why It Works
最重要的 insight 是：异构策略组合的失败模式往往不是 plan-level failure，而是 distribution-level failure。一个长任务被正确拆解并不意味着能成功执行，因为每个 policy 的输入分布都有隐性约束。RoboHarness 有效的核心原因，是它显式把这些隐性约束放进 routing 和 handoff，而不是假设策略之间天然 composable。
Memory Bridge 可能是论文最有价值的贡献。它把“下一个 policy 的 in-distribution region”近似为从历史成功轨迹中检索到的局部状态分布，并用一个轻量 progress function 引导交接。这是一个很强但合理的 inductive bias：机器人 manipulation 中，很多 policy 对初始 end-effector pose、joint configuration、object-relative geometry 非常敏感；把状态拉回历史成功 manifold，往往比让 policy 自己从 OOD 状态恢复更可靠。
这套方法本质上更接近 retrieval + test-time compute + representation alignment，而不是新的控制学习范式。它没有解决“策略如何获得新能力”，而是更好地利用已有能力。所谓 zero-shot robustness 很大程度上应理解为 compositional zero-shot：已有策略和 memory 已覆盖足够多局部行为，harness 在测试时把它们重新组合。
哪些部分可能只是辅助：understanding skills、image quality assessment、metadata update、grid tuning、harness refinement 都可能提升系统稳定性，但概念上并不新，且容易与工程量、test-time compute、agent prompt/implementation 质量混在一起。尤其 coding agent 能 inspect code、修改 routing logic，这会引入很强的 hidden engineering channel，增益来源不清。
需要警惕的是 implicit memorization。Memory retrieval 如果覆盖了大量与 benchmark 相似的成功轨迹，系统表现可能主要来自 nearest-neighbor style reuse，而不是抽象 planning。LIBERO 系列任务结构相对固定，物体和场景分布有限，Memory Bridge 在这类环境中会很有效；但这不等价于开放世界泛化。文中没有充分分离 retrieval coverage、policy checkpoint capability、agent reasoning 和 bridge 本身的贡献。
Relation To Prior Work
这篇最接近三条谱系：hierarchical / LLM-guided robot planning，skill chaining / initiation set learning，以及 agentic harness systems。它不是单纯的 long-horizon planner，也不是新的 VLA 或 RL policy，而是把 agent scaffold 引入 heterogeneous robot policy orchestration。
相对 TAMP 和 hierarchical planning，它的不同点是 skill applicability 不再被当成预定义符号条件，而是由多模态 memory 和执行统计经验估计。TAMP 关注 symbolic/geometric feasibility，RoboHarness 更关注不同控制系统之间的 capability routing 和 state distribution compatibility。
相对 LLM-guided VLA，它的不同点是 LLM 不只是生成子任务序列，而是调用一组异构策略、查询 memory、判断策略边界、必要时构造 bridge。很多 LLM robot planners 的失败在于把所有控制能力都委托给一个 VLA；RoboHarness 则把 VLA 降级为众多可路由执行器之一。
相对 skill chaining，Memory Bridge 复用了 initiation set / transition compatibility 的老思想，但把它从训练时学习改成在线检索式构造。这是实质差异：不要求联合训练，不学习 pair-specific transition policy，而用历史轨迹 support + motion planner 形成 plug-and-play handoff。
看似新的部分中，policy card、memory bank、self-evolution、agentic skill wrapping 都是已有 agent / robotics ideas 的重组；真正新增的信息是把这些组织到“异构 policy capability boundary + handoff distribution mismatch”这个明确问题上，并给出一个可运行的 memory-mediated handoff 机制。
Dataset / Evaluation
评测覆盖面相对完整：标准 LIBERO 看一般任务执行，LIBERO-Plus 看扰动鲁棒性，LIBERO-LoHo 看长时程组合，500 个定制任务加强多策略切换，真机实验验证 VLA + TAMP 在结构搭建和柜子探索中的组合。这比只在模拟短任务上报成功率更有说服力，尤其真机任务确实体现了 TAMP 精确装配和 VLA 接触丰富操作的互补。
但 evaluation 对核心 claim 的支持仍有几个缺口。首先，很多 benchmark 的任务分布和底层 policy 训练分布关系不够透明，可能存在 benchmark overlap 或 implicit coverage。其次，定制任务由作者设计，天然适合展示异构组合收益；它们是否代表一般长时程 manipulation，仍需要外部 benchmark 验证。第三，消融说明 Memory Bridge、Understanding、Evolution 都有贡献，但没有完全隔离 retrieval coverage、policy selection oracle、motion planning bridge、coding agent reasoning 的各自作用。
真机实验是加分项，但规模仍有限，且场景结构高度工程化：UR5e、ArUco perception、预定义块结构、TAMP domain、drawer VLA fine-tuning。它验证了 system integration value，而不是证明开放世界泛化。总体来说，实验支持“在受控多策略长任务中，memory-driven orchestration 有效”，但不足以支持更强的 general-purpose robot intelligence claim。
Limitation
最核心限制是能力守恒：RoboHarness 只能组合已有策略库的能力，不能凭 orchestration 解决所有底层策略都不会的子任务。论文承认这一点，但其影响比表面更大：如果 policy library 没覆盖目标行为，memory 再好也只是发现不可行，而不是创造能力。
第二个限制是 memory dependence。Memory Bridge 假设相关成功轨迹存在，且当前任务的可行 handoff state 与历史轨迹在 robot state space 中足够接近。新 policy、新对象、新接触模式或强分布外场景下，support region 会稀疏甚至误导。此时所谓 capability characterization 可能退化为低质量 nearest-neighbor matching。
第三，泛化可能主要来自数据覆盖。论文把结果表述为 zero-shot long-horizon planning，但更准确是已有 policy checkpoints + memory + routing rules 对新组合的泛化。若测试任务与 memory / training tasks 有共享子结构，成功并不意外。文中未充分说明 memory 初始化来源、轨迹覆盖范围、与 benchmark 的重叠程度。
第四，reasoning 成分可能被高估。coding agent 的作用看起来像 planning 和 self-evolution，但许多决策可能依赖 policy card、检索结果和工程规则。planner 实际未必形成长期状态模型，而是通过反复 perception、retrieval、routing 和 replanning 维持局部一致性。这在工程上有效，但不应被误读为深层长程因果推理。
第五，可复现性和安全性是硬问题。在线 harness refinement 允许 coding agent 修改 orchestration code，这在论文系统中提升灵活性，但部署时很难保证验证闭环、回滚机制、接口安全和 failure containment。文中未充分说明这些修改如何被系统性验证。
第六，scalability 的上限不清。随着 policy 数量、memory 规模、任务类型、传感模态增加，routing 搜索、memory retrieval、capability metadata 维护和 handoff candidate generation 都会膨胀。论文说框架 policy-agnostic，但没有证明大规模 policy library 下仍能稳定选择和组合。
Takeaway
- 第一，长时程机器人系统的关键瓶颈正在从单 policy 能力转向 policy orchestration。
- 未来很可能不是一个 VLA 吃掉所有能力，而是多个专用策略由 harness 管理，尤其在真实机器人部署中。
- 第二，handoff distribution alignment 是异构组合中被低估的核心问题。
- 只做 task decomposition 不够，必须显式处理“下一个策略喜欢从什么状态开始”。
一句话总结
RoboHarness 是把 agentic harness、执行记忆和 skill chaining 思想重组到异构机器人策略编排中的系统型工作，其实质贡献是用 memory-mediated capability routing 和 handoff distribution alignment 提升已有策略库的长时程可组合性。