精读笔记
Problem Setting
论文标题：Harness VLA: Steering Frozen VLAs into Reliable Manipulation Primitives via Memory-Guided Agents（arXiv preprint / 2026）。
这篇论文实际处理的是 VLA deployment robustness，而不是 VLA pretraining 或 policy learning。它关心的不是模型在标准轨迹分布内会不会完成任务，而是当语言目标被重定向、物体位置被交换、局部接触失败、任务变长或需要跨阶段组合时，frozen VLA 如何仍然可用。
真正困难点在于能力错配。VLA 的强项是局部、视觉条件下的 contact-rich control，比如抓取不规则物体、狭窄放置、按钮/水龙头/抽屉等接触动作；但它通常不擅长显式语义重绑定、长程状态跟踪和失败恢复。coding agent 或 LLM planner 则相反，它们能处理任务分解和符号/几何重 grounding，但纯 analytic primitive 很难稳定处理接触丰富阶段。
以前方法卡在两个极端：端到端 VLA 把所有问题压进一个 policy，导致 perturbation 下语言通道和场景 binding 失效；programmatic robot agent 依赖越来越大的 primitive/skill library，但 skill 是否可靠、何时可用、如何处理接触失败又变成新问题。本文的关键矛盾就是：如何在不 finetune VLA、不持续扩展 skill library 的情况下，把 frozen VLA 的局部接触能力扩展到更广的任务分布。
Motivation
作者最重要的动机不是“LLM 加 VLA”，而是对 VLA 失效模式的重新解释：很多失败不是低层控制完全不会，而是 VLA 被放在了错误的上下文里执行。目标换了、位置换了、观察视角不熟悉、前置姿态不合适，VLA 就会回到训练时熟悉的行为模式。
已有 VLA 路线倾向于用更多数据、更大模型、更强 action head 覆盖这些变化；但这要求 policy 同时学语言 grounding、场景推理、接触控制、长程组合和 recovery，样本效率和可控性都差。已有 agentic / code-as-policy 路线则通常缺一个可靠的 learned contact primitive，所以越复杂的 manipulation 越依赖工程化 skill 扩展。
因此缺口是一个中间层：不是让 VLA 端到端控制，也不是让 LLM 手写所有物理动作，而是把 VLA 变成 planner 可调用、可诊断、可重试的 contact-rich primitive。这个方向的直觉很强：如果 planner 能把当前局部 scene 调整到 VLA 熟悉的 operating range，frozen VLA 的有效分布就被 test-time composition 放大了。
Core Idea
核心思想是重新定义 VLA 的角色。VLA 不再是从 language + image 到整条 action trajectory 的 monolithic policy，而是一个局部接触专家：planner 先用 perception 和 analytic primitives 解决“该对谁做、在哪里做、从什么姿态做”，再让 vla_act 解决“接触怎么做”。失败后不是 rollout 终止，而是重新定位、重新 staging、再次调用 VLA。
这引入的 inductive bias 很明确：把 manipulation 分解为非接触几何结构和接触丰富局部动作。非接触部分更接近 deterministic control 和 explicit geometry，适合 planner/analytic primitive；接触部分高度依赖视觉反馈和 demonstration distribution，适合 VLA。相比 prior，本质区别不是多了一个模块，而是把原来隐式混在 VLA latent policy 里的 semantic binding、spatial staging、failure recovery 外移到 planner 层。
这也让方法更 scalable：扩展任务时不必为每类任务加新 skill，而是复用固定 primitive vocabulary，通过 memory 学会这些 primitive 的 operating range。它牺牲了一部分端到端优雅性，换来了更强的可解释性、可调试性和 test-time compute。
Method
方法层面只需要抓住三个机制。
第一，vla_act 被设计成短程 contact-rich attempt，而不是连续 controller。它接收 prompt、chunk budget 和 stop predicate，在局部接触阶段运行，随后把控制权还给 planner。这个机制解决的是 monolithic VLA failure propagation：一次空抓、错抓或不稳定放置不会必然毁掉整条任务，因为 planner 可以观察结果并重试。
第二，analytic primitives 承担非接触结构。move_to、release、rotate、navigate 等 primitive 的价值不是替代 VLA，而是把机器人带到 VLA 更可能成功的位置，或在 VLA 建立稳定接触后完成运输、释放、姿态调整。这改变了 VLA 的输入分布：它不需要自己学会所有长程过渡，只需要在 planner 准备好的局部区域内发挥。
第三，memory 把 exploration 的结果转化为可复用的 procedural skeleton。Task Specific Memory 保存 seed-0 成功 trace，但要求 deployment 时重新 grounding，而不是回放坐标；Global Memory 保存跨任务 success rules 和 failure models，比如空抓识别、不要视觉近似就判成功、失败后重定位。这解决的是 planner search space 过大和重复犯错的问题。
文件式 REPL、JSON interface、prompt 模板等是工程上重要的，但不是论文的科学核心。核心是 closed-loop primitive execution + memory-conditioned re-grounding + VLA as retryable local contact primitive。
Key Insight / Why It Works
最关键的 insight 是：VLA 的泛化失败很多时候来自错误的问题分解，而不是局部接触能力不足。把 VLA 放在整条任务上，它必须同时解决 what、where、when、how；把 VLA 限制在局部 contact-rich phase，它只需要解决 how。这个 factorization 显著降低了 frozen policy 要覆盖的变化维度。
真正有效的部分大概率是 planner-staged retry。它等价于用 test-time compute 搜索 VLA 的成功 basin：改变接近姿态、视角、局部位置、调用时机，直到 frozen policy 进入一个可执行区域。这里的“泛化”并不完全来自模型内部表示，而是来自外部控制环把 distribution shift 转换成多个局部 in-distribution attempts。
第二个有效因素是 memory reuse。Task Specific Memory 本质上是 retrieval of task-level program skeleton，而不是传统意义上的 few-shot learning。它减少了 planner 需要重新发现的结构，只把几何参数留给当前 observation grounding。Global Memory 则像 failure prior，帮助系统避免重复空抓、错判成功、错误 staging。这里所谓 reasoning 很可能很大程度是 retrieval + re-grounding + verification，不应过度解读为 planner 学到了深层物理因果模型。
第三个因素是更好的 inductive bias，而非 scaling。固定 primitive library 让 planner 的 action space 很小，降低了 LLM hallucination skill 的风险；analytic primitives 和 VLA primitive 的分工也让每类控制器只处理自己适合的子问题。这比单纯扩大 VLA 数据更工程化，但也更符合机器人系统的实际可控性。
哪些可能只是辅助：JSON interface、REPL file protocol、prompt skeleton 本身不是核心创新；它们提高 auditability 和 agent reliability，但不是性能增益的根源。planner backbone 差异也提示结果可能受 frontier coding agent 能力影响很大。
需要直接指出的是，增益归因不清。论文同时改变了 high-level planner、memory、retry、analytic staging、VLA invocation protocol 和 evaluation workflow。没有足够细的 ablation 很难判断最大贡献来自哪一项。few-shot setting 尤其可能放大 task-specific memory 的作用；如果 task family 与 seed-0 trace 结构高度相似，那么提升可能更接近 structured retrieval，而不是开放式泛化。
Relation To Prior Work
这篇最接近三条线的交叉：hierarchical robot control、code-as-policy / LLM robot agents、以及 frozen foundation policy as tool。它不是新的 VLA architecture，也不是新的 low-level controller；它是把 VLA 当成 tool/primitive 的 agentic control architecture。
和端到端 VLA 的本质差异是责任边界。OpenVLA、π0、π0.5、RLDX、LingBot-VLA 等路线试图让一个 policy 直接吸收语言、视觉和动作分布；Harness VLA 则承认 frozen VLA 的语言和长程组合能力不足，把 semantic grounding 和 task composition 外包给 planner。这里新增的信息是“VLA 最适合作为局部接触 primitive，而不是整任务 policy”。
和 Code as Policies、ProgPrompt、VoxPoser、RATS、Cap-X 等 programmatic agent 的差异是 contact primitive 的来源。传统 coding agent 依赖 analytic primitives 或人工 skill library，越到接触丰富任务越脆；Harness VLA 把 learned VLA 放进 primitive library，使 agent 不必手写 grasp/fixture manipulation。这个点是实质创新，因为它解决了 programmatic agent 长期缺低层物理技能的问题。
和 skill discovery / expandable library 路线不同，本文刻意不扩展 primitive vocabulary，而是学习固定 primitive 的 operating range。这个选择很重要：它把 scalability 从“发明更多 skill”转成“更好地编排少量可靠 primitive”。看似保守，但系统可靠性更强。
不过，memory-guided agent、failure model、trace reuse、REPL harness 都不是全新思想，更像已有 embodied agent 和 software agent 机制迁移到机器人 manipulation。真正新增的是这些机制与 frozen VLA contact primitive 的组合，以及把 VLA 的使用方式从 end-to-end rollout 改成 retryable local invocation。
Dataset / Evaluation
评估覆盖 tabletop、kitchen mobile manipulation 和 bimanual manipulation，任务族比单一 LIBERO 更有说服力。LIBERO-Pro 的 instruction redirection 和 position swap 能直接测试论文声称的 semantic re-grounding 与 spatial re-binding；RoboCasa365 测试长程 kitchen staging；RoboTwin C2R 测试从 clean trace 到 randomized setting 的 transfer。这些 benchmark 基本对准了论文 claim。
但评估仍有明显边界。全部是 simulation，没有真实机器人结果；这对一个强调 contact-rich reliability 的系统是硬限制。analytic primitives 在模拟器中通常比真机更稳定，RGB-D/world-map grounding 也更干净，benchmark success predicate 也比真实任务反馈更明确。
few-shot protocol 使用 seed-0 exploration 构建 Task Specific Memory，再在 held-out seeds 上重 grounding。这个设置合理地验证了“trace skeleton 可复用”，但不等同于开放任务泛化。它更像 task-conditioned procedural memory transfer。RoboTwin C2R 虽然是 clean-to-randomized，但仍依赖 clean trace 和同一 benchmark task definition。
实验结果支持“harness 能显著提升 frozen VLA 在这些 perturbation benchmark 上的成功率”，但还不能充分支持“真实部署中可泛化到自由语言、未知物体、未知失败模式”。另外，planner backend、prompt、memory 和 VLA backbone 的贡献没有完全分离，benchmark 是否存在 task-template overlap 或 implicit memorization 风险也需要更严格检查。
Limitation
方法成立依赖一组很强的前提。首先，需要可用的 analytic primitives，且它们在环境中足够可靠；如果 free-space motion、base navigation、release 或 pose adjustment 本身不稳定，整个 decomposition 会失效。其次，需要可 grounding 的 RGB-D/world-map 或类似几何感知；没有高质量 metric perception 时，planner staging 会变成主要瓶颈。
第三，VLA 必须已经覆盖目标任务的局部接触模式。Harness VLA 不能创造新的 contact skill，只能把 frozen VLA 放到更合适的局部条件下。如果目标接触行为不在 VLA 数据覆盖内，retry 只是重复失败。核心能力可能主要来自数据覆盖，而 harness 只是释放这些能力。
第四，memory 的泛化上限不清。Task Specific Memory 是强任务先验，适用于同一 task family 的 seed/perturbation transfer；面对组合结构真正变化的新任务，trace skeleton 是否仍有用文中未充分说明。Global Memory 也可能随任务增长变得冲突、冗余或过拟合 benchmark failure pattern。
第五，planner 是否真的在 reasoning 存疑。很多成功可能来自模板化 trace retrieval、坐标重 grounding、短程 retry 和 benchmark predicate feedback。planner 实际没有形成长期状态建模，只是在每个 primitive 后读 observation 做局部诊断。把这称为 strong reasoning 需要谨慎。
第六，真实 deployment gap 很大。真机中没有无限干净的 reset exploration，没有完美同步的 state/log/world-map 文件，没有廉价大量 retry，也没有可靠 sparse success predicate。本文证明的是模拟 harness architecture 的有效性，不是完整机器人系统的现场可靠性。
Takeaway
- 1. VLA 的下一步不一定只是更大模型或更多数据；把 VLA 变成可控、可诊断、可重试的局部 primitive，可能是更直接的 reliability 路线。
- 2. 对 manipulation 来说，合理的系统分解比端到端统一建模更关键：semantic grounding、non-contact geometry、contact-rich control、failure recovery 不应该强行由同一个 policy 承担。
- 3. Memory 的价值不是“记住轨迹”，而是保存可重 grounding 的程序结构和 failure priors。
- 这个 insight 可以迁移到其他 embodied tasks：先学会复用成功结构，再在当前 scene 中重新绑定参数。
一句话总结
Harness VLA 是一类把 frozen VLA 从端到端策略重构为 memory-guided agent 可调用接触 primitive 的系统方法，它的主要贡献不是新模型，而是用更合适的任务分解和 test-time composition 释放已有 VLA 的局部物理能力。