精读笔记
Problem Setting
[Scaling Behavior Foundation Model for Humanoid Robots]（arXiv preprint / 2026）
这篇论文实际在解决 humanoid BFM 的 scaling recipe，而不是提出一个新的单项运动控制器。目标是训练一个能接收多种行为 specification、输出实时低层动作的 foundation controller，使其可以覆盖 locomotion、manipulation、loco-manipulation 等不同全身行为。
真正困难点在于，humanoid whole-body control 的“行为”不是单个姿态或末端轨迹，而是 root motion、全身协调、接触动力学和时序意图的耦合结果。以前方法卡在两个地方：任务式 controller 依赖 reward engineering，难跨任务复用；motion tracker 虽然统一，但通常把完整 reference motion 当作唯一接口，泛化到稀疏控制或多模态规格时需要额外高层模块。BFM 的关键矛盾是：既要用 dense imitation 信号提高训练效率，又不能让模型被完整 motion reference 这个接口锁死。
Motivation
已有路线不够的地方不是“模型还不够大”这么简单，而是 scaling 的对象没有定义清楚。很多工作把 reference motion 数量当作 training data scale，但在 PPO 里真正参与更新的是 on-policy rollout；reference motion 更像行为分布的 generator。也就是说，数据数量和行为多样性是两个不同变量，混在一起看会得到误导性的 scaling 结论。
作者的核心观察是：BFM scaling 需要同时解决三个缺口。第一，学习范式要足够统一，不能为每个下游控制模式重新定义 reward。第二，行为数据要同时有 rollout quantity 和 reference diversity。第三，模型结构要能表达历史动力学与未来控制意图之间的条件关系，而不是只靠 MLP 把所有观测拼接后回归动作。
Core Idea
论文真正核心的思想是：把 humanoid BFM 预训练视为 global-frame whole-body behavior reproduction，而不是 local pose imitation。root trajectory 被纳入行为本体后，forward walking、in-place marching、turning、crouching 等行为不再在局部姿态空间里混叠。这个改动给模型引入了一个很强的 inductive bias：行为意图必须和全局位移、朝向演化、全身姿态共同解释，而不是只解释 root-relative skeleton。
另一个核心是用 masked whole-body target poses 统一多种控制模式。稀疏控制信号不再是下游 fine-tuning 的特殊情况，而是在预训练中就作为同一行为的不同观测视角出现。这样 BFM 学到的是从 partial specification 到完整 physically feasible behavior 的条件补全能力。相比 prior，它改变的不是单个模块，而是把“控制接口多样性”内化到 motion tracking 训练过程中。
Humanoid Transformer 的意义在于重新组织信息流：历史 proprioception/action token 负责闭环动态上下文，未来目标 token 负责控制意图，cross-attention 负责二者对齐。这个结构比 MLP 更适合表达“当前身体状态 + 未来多帧目标 + 控制模式 mask”之间的时序条件关系，因此在相同参数量附近更 scalable。
Method
方法可以压缩成几个机制。
第一，global integrated reward 解决行为语义歧义。以前去掉 root-position tracking 或把 root 与 pose tracking 拆开，会弱化全身行为的一致性监督。本文让 root evolution 和 body pose 一起被追踪，核心变化是把 reference motion 当作完整行为轨迹，而不是局部姿态模板。
第二，masked control interface 解决 specification 多样性。模型每个 episode 面对不同 activated links，包括 root、hands、feet、upper body、whole body 等。它不是在学八个 controller，而是在学同一行为 manifold 下不同观测子集到动作的映射。这是 behavior inpainting 的控制版本。
第三，on-policy rollout scale 与 reference diversity 被明确分工。增加 GPU 数和 rollout horizon 提升每次 PPO 更新的数据量与估计稳定性；增加 reference corpus 只有在扩大行为覆盖时才有意义。这一点比“更多 mocap 一定更好”的说法更准确。
第四，Transformer backbone 解决条件依赖表达。历史状态/动作序列提供短期动力学记忆，未来窗口提供 lookahead，随机 future offset 兼顾实时部署延迟。球面 latent 不是一个独立目标，而是通过结构约束让 goal embedding 更容易形成连续、可扰动的行为意图空间。
Key Insight / Why It Works
最可能的核心贡献是 global-frame integrated motion tracking 加上多控制模式 masked conditioning。前者让行为学习的监督信号更一致，后者让 BFM 在预训练阶段就学会从 sparse intent 恢复 full-body behavior。这两者组合起来，才使 motion tracking 从“单一控制任务”变成“行为基础模型的代理任务”。
on-policy scaling 的效果本质上主要是 PPO engineering / scaling：更大 rollout batch 改善 advantage/value/policy update 的统计质量，减少 noisy update。它重要，但不是新的行为建模 insight。reference motion scaling 的结论更有价值：不是 motion 数量带来能力，而是行为覆盖与测试分布相关性带来能力。换句话说，模型的泛化很大程度仍受 support coverage 限制。
Transformer 的增益更像 better inductive bias，而不是纯参数量收益。中等规模 Transformer 已经接近或超过更大 MLP，说明 tokenized temporal conditioning 比拼接式 MLP 更适合这个问题。但继续增大后收益不稳定，甚至不同 control mode 互相牵制，说明模型容量不是唯一瓶颈，shared latent / shared policy 下的多模式优化冲突可能已经出现。
latent space 的结果可以看作 representation alignment 的证据，但不应过度解读。可视化显示局部连续和方向组织，扰动实验显示一定鲁棒性；但这并不能证明模型学到了可组合的高层行为概念。更保守的判断是：在 motion manifold 和 mask-conditioned tracking objective 下，模型形成了对短时行为意图有用的连续编码。
如果要直接判断，本文的有效性主要来自三部分：data coverage、global tracking reward 的归纳偏置、以及更适合条件时序建模的架构。不是来自 reasoning，也不是长期 planning；也不像 test-time compute 或 retrieval 系统。所谓 foundation 更接近一个大规模行为 manifold controller。
Relation To Prior Work
这篇最接近 MaskedMimic / HOVER / BFM4Humanoid / BeyondMimic / SONIC 这一条“motion imitation as general humanoid control”的技术谱系。它不是从零开辟路线，而是把已有思想重新组织成一个更系统的 BFM scaling recipe。
与传统 motion tracker 的本质差异在于：motion tracking 在这里不是部署接口，而是预训练代理任务。模型最终可以接收 root、hands、end-effectors、upper-body 等不同粒度控制信号，而不是必须给完整 reference trajectory。
与 BeyondMimic / SONIC 的关键差异是 global-frame integrated behavior reproduction。prior 中 local tracking 或 root-pose decoupling 容易让全局语义丢失；本文明确认为 root translation 是行为意图的一部分。这是实质性的建模差异。
与 BFM4Humanoid 这类显式控制接口方法相比，本文更强调 PPO on-policy 预训练和 scaling 分解。与 MLP-based BFM 相比，Humanoid Transformer 的新增信息在于把历史状态/动作和未来目标分流建模，并通过 cross-attention 做条件注入。看似新的 latent sphere 更像已有 normalization/representation geometry 思想在机器人控制里的迁移，贡献在于它与 masked motion tracking objective 的结合。
Dataset / Evaluation
数据覆盖较大，包含多源 human motion，经 retargeting 到 Unitree G1。评估使用 BONES held-out 与跨源 Ours test set，并且有 MuJoCo 动力学迁移和真机部署，这比只在同一 simulator 上测 tracking 更有说服力。
evaluation 支持的最强 claim 是：在 motion tracking / masked control 范式内，global reward、更多 on-policy rollout、更广 reference coverage 和 Transformer backbone 能显著提升 tracking fidelity 与控制成功率。尤其 cross-source test set 上，heterogeneous reference data 的收益说明 data coverage 确实重要。
但它没有完全验证“general-purpose humanoid intelligence”这类更大 claim。测试仍主要是 reference-following 或 reference-conditioned control，缺少长期任务、场景交互、物体状态反馈、视觉闭环和高层 planning。真机展示说明可部署性，但不是系统性 real-world benchmark。BONES test set 与 SONIC 训练集可能有 overlap，文中也承认这一点，因此部分 baseline 比较需要谨慎。
Limitation
方法成立依赖一个强前提：目标行为可以通过已有 motion corpus 中的相似模式覆盖，并且下游控制目标可以被表达为 masked body target。超出这个 support 的行为，模型未必能“推理”出来，更可能失败或退化为最近邻式行为补全。
scalability 上限也很清楚。当前模型最大不到真正 foundation model 级别，scaling study 只是有限规模实验，不足以建立可靠 scaling law。继续增大 Transformer 后收益已经出现饱和和模式间 trade-off，说明瓶颈可能转向数据覆盖、目标接口、优化冲突和物理交互复杂度。
增益归因不够干净。global reward、adaptive sampling、domain randomization、reference retargeting、rollout scale、architecture 同时参与，文中未充分说明各因素的独立必要性。尤其 global-mode 大幅提升可能主要来自 reward/evaluation 对 root tracking 的一致化，而不完全是 BFM 表示能力提升。
泛化仍可能依赖 benchmark 与训练数据的行为相似性。作者用 occupancy rate 分析覆盖，但这种 feature clustering 本身是人为定义的，是否真正对应可控制行为空间仍未充分说明。真实世界部署还依赖 root localization、低层 PD、延迟补偿、sim2real randomization，这些工程条件限制了方法的独立可迁移性。
最根本的限制是：这篇把 humanoid general control 的问题转移成大规模 motion-conditioned policy learning。它很好地推进了 foundation controller，但还没有解决任务级 reasoning、长期记忆、接触规划和开放环境适应。
Takeaway
- 第一，humanoid BFM 的 scaling 不能只看 mocap 数量；on-policy rollout quantity 和 reference behavior diversity 必须分开讨论。
- 这个区分值得迁移到其他 RL-based foundation policy。
- 第二，global root evolution 不应被轻易从 behavior representation 中剥离。
- 对 humanoid 来说，root translation 和 pose coordination 共同定义行为语义，local-only imitation 会制造不必要的歧义。
一句话总结
这篇论文把 humanoid BFM 从“扩大 motion tracking controller”推进到“以 global behavior reproduction 和 masked conditioning 为核心的 scalable foundation controller recipe”，其主要贡献是更清楚地定义了数据、目标和架构如何共同支撑行为模型扩展。