精读笔记

Problem Setting

[Exploratory, Communicative, and Deployable: Vision-Driven Embodied Agents for Open-World Mobile Manipulation]（arXiv preprint / 2026-07-16）

这篇论文不是在解决传统意义上的 mobile manipulation 控制问题，而是在解决一个更上层但更现实的问题：如何让 VLM agent 在真实可获得的信息接口下完成开放家庭环境中的长程任务。关键难点是 agent 初始并不知道目标物体在哪里，也不能访问 object list / pose / goal state；同时用户指令可能有歧义，必须通过探索后再和用户对齐意图。

以前方法卡在两个地方。第一，很多 benchmark 的探索能力是假的：find API、global object list、ground-truth state 等价于把感知和搜索问题预先解掉。第二，很多交互设定也是假的：用户一开始就给完整指令，agent 只做 open-loop execution。真正矛盾是：训练需要 simulator 的可控性和标注便利，但部署需要 policy 只能看到真实机器人能获得的感知和工具反馈。REAL 试图把这个信息不一致问题作为核心对象来处理。

Motivation

作者的核心观察是：sim-to-real failure 往往不是因为 planner 不会写出 pick/place 序列，而是因为 planner 在训练时学会依赖真实世界不存在的信息通道。只要训练环境暴露 privileged perception，模型学到的就不是主动探索，而是对 oracle state 的格式化消费。

另一个缺口是 intent alignment。真实用户经常不知道环境细节，指令天然欠定；agent 必须先看、再问、再执行。已有 simulated-user 工作更多是文本偏好、记忆或对话层面的模拟，没有把用户反馈和物理探索轨迹强绑定。因此论文的动机不是“再加一个对话模块”，而是把交互变成获取缺失 task state 的一种动作，并让它和视觉探索、操作执行一起被闭环优化。

Core Idea

REAL 的核心思想是重写 embodied agent 的信息流：高层 VLM 不再消费完整 world state，而是通过一组可部署工具逐步构造足够的局部状态。它得到的先验只到 receptacle level；object-level 信息必须通过 nav_to、walk_around、show_object_by_category、gaze_at 等视觉探索工具获得；歧义必须通过 ask 向 simulated user 获取额外约束。这样，policy 学到的不是“根据已知状态规划”，而是“在不完全状态下选择下一步信息获取或执行动作”。

本质区别在于 inductive bias。prior 往往把 perception、exploration、disambiguation 当作环境外部给定的前置条件；REAL 把它们纳入同一个 action space 和 reward loop。这个建模方式更可能迁移，因为它约束训练时的 policy-facing interface 与真机部署一致。可扩展性也主要来自这个接口抽象：simulator 可以用确定性 handler 加速数据生成，真实机器人可以替换 backend，但高层 policy 的工具签名和观测格式不变。

Method

关键机制可以压缩成四点。

第一，oracle-free environment interface。论文只保留 physically obtainable 的 receptacle prior，去掉 object list、pose、goal location 等 privileged state。它解决的是训练-部署信息不一致；核心变化是把对象定位从直接查询变成主动探索。

第二，vision-grounded tool calling。检测结果通过 visual marker / SoM 变成后续 pick、place、open、close 的参数。这不是普通 UI 细节，而是语言规划和物理 skill 之间的对齐层：VLM 不需要输出 3D pose，但必须引用当前视觉观测中的 ID，从而减少跨视角对象指代的幻觉。

第三，结构化历史压缩。agent 不回放完整轨迹，而维护 summary、当前子任务和上一动作反馈。它解决长程任务里的 context explosion 和 temporal hallucination；代价是丢失 negative evidence，后面失败案例中的导航循环正说明这个压缩并不等价于可靠 belief state。

第四，SFT + closed-loop RL 的分工。SFT 主要让 Qwen3-VL-8B 学会工具格式、动作顺序和结构化输出；GSPO/RL 主要暴露 distribution shift、失败恢复和 ask 的时机。这里 RL 的作用更像是在工具约束空间内做 policy repair，而不是从零学 embodied reasoning。

第五，MCP-style backend separation。sim 和 real 使用同一高层工具接口，底层由 Isaac Sim handler 或真实导航/VLA primitive 实现。它把 sim-to-real 问题从“端到端策略迁移”改成“高层离散策略迁移 + 底层 skill 可靠性”。

Key Insight / Why It Works

最关键的有效性来源不是 GSPO 本身，而是 representation / interface alignment。模型失败的常见原因不是不会推理，而是不知道如何把视觉中的对象、语言中的目标、工具参数和执行反馈绑定起来。REAL 通过 marker ID、工具 schema、结构化历史和执行 traceback，把这个绑定问题显式化了。SFT 一轮后性能大幅提高，也说明主要瓶颈首先是接口对齐，而非高级规划能力。

第二个有效点是把“问用户”变成受 reward 约束的信息获取动作。ask 不再是 prompt engineering，而是和 nav / detect / pick 一样出现在 action space 里，并被 query budget 和任务成功共同约束。这会诱导一种实用策略：当视觉歧义无法靠当前观测消除时，询问比猜测有更高期望回报。SUL 上的增益大概率来自这个 social reward + closed-loop rollout，而不是模型突然获得了更强的语言理解。

第三，所谓长程 causal reasoning 很大一部分来自环境和工具结构施加的 latent program。任务多是 cross-receptacle rearrangement，合理策略天然呈现 nav-search-gaze-pick-nav-show-place 的模板。RL 让模型更稳地调用这个模板，并在局部失败时重试或询问；这更像 procedural policy refinement / retrieval over learned trajectories，而不是通用 TAMP 或显式 belief planning。

第四，数据覆盖和 teacher annotation 的贡献可能被低估。SFT 轨迹由 rule-based planner 生成，历史状态和 reasoning 由 Gemini 标注，还在 annotation 阶段注入 oracle metadata。虽然最终 policy-facing 数据不含 oracle API，但 teacher 的 reasoning 分布可能已经携带了大量任务结构先验。增益来源不清：到底是 REAL interface、Gemini 标注质量、任务模板覆盖，还是 GSPO 算法本身，论文没有充分拆解。

第五，视觉瓶颈非常真实。失败主要集中在 object confusion、attribute grounding、similar furniture confusion。冻结 vision encoder 意味着 RL 只能调整如何使用现有视觉表征，不能根本修复细粒度 grounding。也就是说，这套方法的上限不是 planner，而是 perception-binding；继续堆 RL 很可能收益递减。

Relation To Prior Work

它最接近的谱系是 VLM-as-high-level-agent + tool/API environment + low-level skill hierarchy，和 EAI、EmbodiedBench、VoTa-Bench、EMMOE、OWMM-Agent、ERA、SayCan/RePLan/KnowNo 都有交集。不同点不在于用了 VLM、工具调用或 RL，这些都不是新东西；真正不同在于它把 policy-facing API 设计成 sim-to-real-consistent，并把探索和用户澄清都纳入闭环训练。

相对于依赖 object list 或 find API 的 benchmark，REAL 的实质新增信息是：object-level state 必须从 RGB exploration 中动态获得。相对于 PARTNR/EMMOE 这类更偏文本或非 privileged 的路线，它强调视觉 ID grounding，能处理同类 distractor 的物理指代问题。相对于 RoboOS/Being-0，它不是只做系统集成或调用闭源高层 planner，而是训练一个开源尺度的高层 VLM policy。

但很多看似新的组件其实是已有思想重组：SoM/visual prompting、hierarchical skills、simulated users、SFT+RL、reward shaping、MCP-style tool abstraction 都已有先例。论文的实质创新是把这些组件组织成一个较一致的信息边界，并用这个边界驱动数据生成、训练、benchmark 和真机部署。

Dataset / Evaluation

REAL-Bench 覆盖主动探索、视觉 distractor、articulated manipulation 和 simulated-user loop，任务数不大但设计上对核心 claim 有针对性。held-out scene 提供一定跨场景测试，真机实验提供比纯模拟更强的证据。尤其是 SUL 和 real robot 部分，确实验证了“可部署接口 + 交互式 disambiguation”这条主线不是纯纸面系统。

但 evaluation 仍有明显边界。任务空间主要是 cross-receptacle rearrangement/open-close，结构模板较强；很多成功可能来自学会固定 action program，而不是开放任务泛化。训练和评测都来自同一套 scene/task synthesis 机制，存在 template overlap 和 implicit memorization 风险。benchmark 是否足以支持“open-world”这个表述存疑，因为 object categories、receptacle priors、user behavior 和 goal space 都被较强约束。

真机结果有价值，但不能过度解读。高层 policy zero-shot transfer 是成立的，因为接口没变；但物理成功率强依赖底层 pi0.5 primitive、Grounded-SAM-2、ConceptGraph、导航栈和人工 GUI/HRI。论文展示的是一个有效的 hierarchical deployment recipe，不是端到端 embodied intelligence 的泛化证明。

Limitation

核心前提很强：机器人已有长期 occupancy map 和 receptacle-level semantic segmentation；receptacle 是稳定、可命名、可导航的；object detection 能生成可用 masks；visual marker 在短期内足够可靠；低层 manipulation primitive 已经解决了大部分连续控制问题。换句话说，REAL 把难题从“oracle simulator state”转移到“可部署但很重的 perception/navigation/VLA stack”。这比 oracle 更真实，但不是免费午餐。

泛化的真实性需要谨慎。训练只有少量 residential scenes，评测任务来自同一生成逻辑；所谓 open-world 更像 open-vocabulary within curated assets。用户也是 bounded simulated user，偏好限制在 scene 内，回答锚定 agent trajectory。真实用户可能改变目标、给隐式反馈、回答含糊甚至错误，这些只被很小规模验证。

长期状态建模仍不稳。结构化 summary 能降低上下文长度，但不是 belief state；它记录成功动作，对失败和已排除候选的表达不足，因此会出现 lost memory 和循环。planner 实际没有形成可靠的 negative evidence accumulation。

增益归因不清。SFT epoch、GSPO、reward shaping、ask budget、teacher reasoning、oracle-aided annotation、任务过滤、工具设计都可能贡献性能。论文没有足够强的 ablation 来证明 GSPO 或某个机制是不可替代的。部分提升可能主要来自 scaling / data coverage / interface-specific behavior cloning。

视觉 grounding 是硬上限。object confusion 是最大失败源，说明高层 reasoning 再强也无法弥补 frozen vision encoder 对细粒度属性、部件和相似物体的绑定失败。未来如果不 jointly improve perception representation，这条路线会很快撞到 ceiling。

Takeaway

• 1. 对 embodied agent 来说，最值得迁移的 insight 是先设计真实可部署的信息边界，再训练 policy；否则 benchmark 上的 planning success 很可能只是 oracle-state exploitation。
• 2. Tool-interface alignment 是当前 VLM robot agent 的第一瓶颈。
• 小模型不是完全不会推理，而是不会稳定消费视觉 observation、维护可验证历史并输出合法物理动作。
• 3. 用户交互应该被建模为 information-gathering action，而不是外部对话功能。

一句话总结

REAL 是一篇把 VLM embodied agent 从 oracle simulator planning 推向可部署视觉闭环训练的系统论文，真正贡献在于重构训练-部署一致的信息接口，而不是提出新的规划算法。