精读笔记

Problem Setting

RynnBrain 1.1 处理的不是传统意义上的 VLM spatial reasoning，而是 embodied foundation model 的“表示到动作”问题：预训练阶段学到的视觉-语言-空间表征，能否迁移成真实机器人 policy 的有效初始化。

真正困难点在于物理世界变量并不天然落在语言 token 或 2D box token 上。机器人需要的是可交互对象、接触位置、姿态、深度、可达性、控制接口和任务进度；而大多数 MLLM 的空间能力停留在描述、问答、2D grounding 或 benchmark-specific reasoning。以前方法卡在两个地方：一是 embodied VLM 的 grounding 输出和 manipulation action 之间仍然存在 representation mismatch；二是 VLA 的 action space 强依赖具体机器人，跨 embodiment 数据难以直接合并。

这篇论文的关键矛盾是：要做 scalable foundation model，就希望统一建模；但机器人执行又高度依赖 embodiment、controller、几何约束和接触细节。RynnBrain 1.1 的答案是把物理 grounding 和 action structure 尽量前移到 pretraining / post-training interface 中，而不是把所有差异留给 downstream policy 自己吸收。

Motivation

已有路线不够的原因很直接：general VLM scaling 能提升视觉识别和语言推理，但不保证学到可执行的物理表征。空间 benchmark 上的正确答案和机器人执行中的成功抓取不是同一种能力。RynnBrain 1.0 已经证明混合 general MLLM data、egocentric data、grounding data、planning data 可以得到 embodied VLM，但它仍未充分回答两个问题：输出是否足够 manipulation-aligned，以及这种 embodied pretraining 是否真的能提升 VLA。

作者的核心观察是，机器人策略需要的不是更丰富的 caption，而是更接近 action parameterization 的中间变量。contact point 比 grasp rectangle 更接近抓取接口；3D box 比 2D box 更接近物理空间；body-part grouped action space 比每台机器人各自建模更适合合并 heterogeneous demonstrations。

所以这篇的动机不是“再做一个更大的 embodied MLLM”，而是补上 foundation model 到 real-robot policy 之间的结构性缺口：让预训练模型在输出层就学会物理变量，让 VLA 在动作层能吃多 embodiment 数据。

Core Idea

核心思想是将 embodied foundation model 的输出空间重新定义为“语言 + 空间 + 接触 + 3D + 轨迹”的统一 autoregressive token space。这样做改变了建模方式：模型不再只是通过语言隐式表达物理理解，而是被迫把一部分理解落实到可检查、可用于下游策略的结构化坐标变量上。这个 inductive bias 很关键，因为它把 spatial reasoning 从 latent verbal reasoning 拉回到 grounded prediction。

和 prior 的本质差异在于，RynnBrain 1.1 更强调 action-aligned pretraining。很多 VLM grounding 工作关注 object / region localization，很多 VLA 工作直接从 demonstrations 学 action；这篇试图在中间插入一个更物理化的 embodied base：它既保留 MLLM 的语言和多模态能力，又通过 contact / 3D / trajectory supervision 让 representation 更接近 manipulation。

VLA 部分的核心思想则是对 action space 做语义分块和 masking。它没有真正解决所有 robot morphology alignment，但提供了一个实用的 scaling interface：共享的身体部件维度可以跨 embodiment 聚合监督，不兼容的维度通过 mask 隔离。这是工程上很自然、但对多机器人数据扩展很重要的组织方式。

Method

第一，统一 autoregressive grounding。它解决的是多任务、多输出接口割裂的问题。把 text、box、point、trajectory、grasp pose、3D box 都序列化为 token 后，模型可以用同一个 next-token objective 学 perception、reasoning 和 spatial prediction。核心变化是 spatial output 不再依赖 task-specific head，而是进入语言模型的生成空间。

第二，contact-centered representation。它解决的是 grasp rectangle 与 action grounding 不匹配的问题。矩形的宽高、边界和 IoU 很受 gripper geometry 与标注习惯影响，不一定对应执行成功；(x, y, theta) 去掉了大量 annotation-specific extent，保留接触中心和夹爪平面角度。它不是完整 grasp pose，但作为 policy conditioning signal 更干净。

第三，native 3D grounding。它解决的是 2D grounding 缺少 metric physical space 的问题。给定图像、语言和相机内参，直接预测 camera-coordinate 3D box，相当于让 VLM 学习单目深度、尺寸和朝向的联合先验。这里真正的价值不是 3D detector 性能本身，而是把物理尺度引入 embodied pretraining。

第四，unified cross-embodiment action space。它解决的是不同机器人 action space 无法合并训练的问题。按 body part / control mode 分组，再用 embodiment mask 只对有效维度算 loss，使共享动作结构获得跨机器人监督，同时避免强行对齐不兼容维度。

第五，RynnBrain-VLA 使用 flow matching action chunk。它解决连续控制输出和低延迟执行问题，但这部分更像沿用 π0 / action chunking 系列的成熟范式，不是论文最核心的新意。

Key Insight / Why It Works

最可能有效的核心原因是 representation alignment，而不是模型结构本身。RynnBrain 1.1 把 embodied pretraining 的监督从“回答问题”推进到“预测物理可用变量”：contact point 对应交互锚点，3D box 对应 metric scene structure，trajectory 对应 motion prior，action-space mask 对应 embodiment-conditioned policy output。下游 VLA 因此不是从通用 VLM 表征里重新学习所有机器人相关变量，而是在一个已经偏向物理世界的 latent space 上做行为克隆 / flow matching。

第二个原因是 data coverage。论文大量收益很可能来自更广的 embodied data mixture，包括 spatial reasoning、egocentric、affordance、trajectory、3D、grasp/contact、planning 和 real-robot demonstrations。很多所谓 reasoning improvement 可能并不是形成了新的推理机制，而是训练分布覆盖了更多空间关系、视角变化和任务模板。尤其在 embodied benchmark 上，data overlap 或 benchmark-style supervision 的影响不能排除。

第三个原因是 scaling 只在有正确监督时才有用。论文的 scaling analysis 指出 Qwen3.5 在 reasoning-intensive embodied tasks 上可能 negative scaling，而 RynnBrain 继续提升。这个判断有启发性：更大语言模型会放大语言先验，如果没有空间监督，可能更自信地忽略视觉几何；而 embodied pretraining 提供了让 scaling 放大的正确信号。

我认为最实质的贡献是 contact / 3D / action-space 这三类 interface-level bias，而不是 122B-A10B 的榜单成绩。大模型结果很可能包含大量 scaling 和数据工程收益；真正可迁移的是如何设计 pretraining target，使 foundation model 输出与 downstream control 更同构。

辅助部分包括 DeepStack、MRoPE、ZeRO、MoE execution、RTC 等。这些是必要工程，但不是论文的科学核心。RTC 对真机稳定性重要，但它来自已有 action chunking 工作；Qwen3.5 backbone 的提升也会混入结果，导致增益来源不清。

需要直接指出：contact point 目前没有严肃定量验证，只有 qualitative examples，不能证明它提升真实抓取成功率。3D grounding 的 AP 提升说明模型能做 language-conditioned 3D detection，但不说明 VLA policy 实际使用了这些 3D variables。real-robot evaluation 支持“RynnBrain initialization better than Qwen initialization”，但任务规模太小，不足以证明 general embodied intelligence。

Relation To Prior Work

这篇属于 embodied VLM 和 VLA 之间的桥接路线：上游接 RynnBrain 1.0、RoboBrain、Cosmos、SenseNova-SI、Pelican-VL、MiMo-Embodied 这类 embodied / spatial VLM；下游接 π0 / π0.5、GR00T、RT-X / Open X-Embodiment、RDT-style diffusion policy 这类 robot policy。

相对 RynnBrain 1.0，真正新增的信息是更 action-aligned 的监督：contact point 替代 grasp rectangle，2B/9B 加 native 3D grounding，并且系统性验证 RynnBrain 初始化对 VLA 的作用。相对一般 spatial VLM，它不只做 reference / pointing / VQA，而是把 grounding 表示推向机器人 manipulation 所需的变量。相对一般 VLA，它不是从 demonstration-only policy 出发，而是强调 embodied foundation pretraining 对 downstream action learning 的初始化价值。

看似新的部分里，统一 autoregressive 坐标 token、3D box token、action chunking、flow matching、mask action dimensions 都不是全新思想，更像已有技术谱系的组合。实质创新在于组合的位置和目标：把 contact、3D、trajectory 和 cross-embodiment action organization 放进同一个 embodied foundation model pipeline，用它来论证 base model quality 会影响 VLA。

它不是一篇提出新架构原理的论文，更像一篇 interface design + data scaling + robot deployment 的系统论文。它推动的是 embodied foundation model 的训练目标从 semantic grounding 向 action grounding 演化。

Dataset / Evaluation

数据覆盖非常广，几乎把 general MLLM、video、egocentric QA、spatial reasoning、2D grounding、affordance、trajectory、3D detection、grasp/contact、planning 和 teleoperation demonstrations 都混在一起。这种覆盖是论文能力的主要来源，也是归因困难的主要原因。

benchmark 覆盖了 embodied cognition、multi-view / video spatial reasoning、localization、3D grounding 和真机 VLA。整体上，它确实比单纯 VLM benchmark 更接近论文 claim，尤其是真机部分直接比较 RynnBrain initialization 与 Qwen initialization，这一点有价值。

但 evaluation 仍有明显限制。第一，base model benchmark 很多可能和训练数据风格接近，甚至存在隐式重叠风险，尤其是自建 RynnBrain-* benchmark 与自建数据混合时需要格外谨慎。第二，3D grounding 只证明 perception-level 3D prediction，不证明 action-level benefit。第三，contact prediction 没有标准定量指标，论文只给 qualitative examples，无法支撑强 claim。第四，真机实验每任务 20 trials，任务数少，环境变化有限，更适合证明系统可工作，而不是证明强泛化。

最能支撑核心 claim 的证据是同样 VLA recipe 下 RynnBrain-VLA 明显优于 Qwen-Based-VLA，以及 generalist joint training 优于 per-task training。即便如此，后者仍可能主要来自更多数据、更强正则和任务相似性，而不一定说明跨 embodiment 形成了抽象共享技能。

Limitation

第一，增益来源不清。论文同时改变 base model、数据配方、监督任务、模型规模和 VLA action interface，没有足够 ablation 分离 contact、3D、trajectory、planning data、Qwen3.5 backbone、122B scaling 的贡献。很多提升可能主要来自 scaling / data。

第二，contact point 的 claim 目前偏弱。作者说 contact-centered representation 比 grasp rectangle 更 action-aligned，这个判断合理，但文中未充分说明它是否实际提高 downstream grasping 或 long-horizon manipulation。没有 functional grasp success metric 时，contact prediction 很容易变成好看的 grounding visualization。

第三，3D grounding 和 VLA 的关系没有闭合。模型能预测 3D box 不等于 policy 使用了 metric 3D reasoning。文中未充分说明 3D tokens 是否在 VLA post-training 中被保留、被调用，或对真实机器人任务产生可测增益。

第四，所谓 reasoning 可能相当一部分是 retrieval / pattern matching。大规模 spatial、egocentric、planning、trajectory 数据会让模型熟悉 benchmark 的语言和视觉模式；没有更严格的 compositional / out-of-distribution evaluation，很难判断是否形成了稳定的 world model。

第五，cross-embodiment generalization 的证据还不够强。统一 action space + mask 能让多机器人数据共同训练，但这更像 supervised multi-domain learning，不是对未见 embodiment 的泛化。它把 morphology mismatch 转移到 action group design 和 embodiment layer 上；新增机器人仍需要人工定义 mask、state format、controller adapter 和 demonstration data。

第六，closed-loop agency 仍弱。VLA 采用 chunked action 和实时重规划，但没有显式长期状态、memory update、失败恢复、active perception policy 或 symbolic/task-level planner。论文中的 planning 更像训练数据中的 grounded subtask pattern，而不是可验证的长期规划机制。

Takeaway

• 1. Embodied foundation model 的关键演化方向不是把 VLM 做得更会聊天，而是让预训练输出空间更接近物理执行变量：contact、metric 3D、trajectory、affordance 和 action-conditioned grounding。
• 2. Scaling 在 embodied domain 中不是无条件有效；没有空间/物理监督时，更大模型可能放大语言先验。
• 正确的数据和输出接口是 scaling 的前提。
• 3. Cross-embodiment 的短期可行路线不是寻找完美统一的低层 action，而是用语义分组 + mask 在可共享结构上聚合监督，在不可共享处保留 embodiment-specific dimensions。

一句话总结

RynnBrain 1.1 是一篇把 embodied VLM 从语义/空间 grounding 推向 action-aligned pretraining 与跨 embodiment VLA 初始化的系统论文，真正贡献在于物理输出接口和数据组织方式，而非单一新架构。