精读笔记
Problem Setting
《Compositional Motion Generation from Demonstration with Object-Centric Neural Fields》（arXiv preprint / 2026）。
这篇论文实际处理的是少样本视觉条件 LfD 中的一个结构性问题：机器人轨迹不是单一函数 I -> τ，而是由若干对象状态驱动的阶段性行为组合。困难不在于拟合一条轨迹，而在于当对象位置、几何或状态变化时，模型能否知道哪一段 motion 应该依赖哪个对象，以及这种依赖能否从很少 demonstration 中学出来。
以前的 MP 路线卡在 perception side：它们很擅长用低维 task parameter 生成平滑轨迹，但这些参数通常要人工指定。端到端视觉 imitation / diffusion policy 卡在 sample efficiency 和结构泛化：全图 embedding 混合了对象、背景和无关因素，少量数据下很难学到对象级因果分解。关键矛盾是：想要视觉输入的灵活性，同时又想保留 movement primitive 的低样本、平滑、可组合 inductive bias。
Motivation
作者的核心观察是，长时域 manipulation 的组合性有两层：scene side 是对象级变化，motion side 是阶段性对象依赖。现有方法通常只利用其中一层：MP 利用 motion smoothness 和 phase structure，但不解决视觉 grounding；image-conditioned policy 利用视觉输入，但不显式建模对象和阶段。
因此真正缺的是一个可被 motion model 直接消费的 object-centric latent space。这个 latent space 需要满足三个条件：能从少量图像中学到；能平滑表示对象位姿或几何变化；能在测试时通过重建或匹配从新场景中恢复。论文的方向就是把视觉表示设计成 motion primitive 的 task parameter，而不是让网络自己从像素中发现所有结构。
Core Idea
核心思想可以概括为：先把场景写成对象专家的可微生成模型，再把轨迹写成对象条件 primitive 的时间混合。空间 MoE 负责把不同对象的可变因素编码到各自 latent 中；时间 MoE 负责在不同轨迹阶段选择这些 latent 的影响强度。这样，motion generator 看到的不是全局图像特征，而是一组有语义角色的对象变量。
这个建模方式引入的 inductive bias 很强：对象变化只应该影响与该对象相关的轨迹段；对象 latent 应该在 demonstrated support 内可插值；背景和无关区域不应该成为 trajectory 的主要解释变量。它与 prior 的本质区别不是“用了 neural field”或“用了 MoE”，而是把视觉生成模型的 factorization 和运动生成模型的 factorization 绑定起来，使 perception 和 action 共享同一个 object-level decomposition。
Method
方法里真正必要的机制有四个。
第一，object-centric neural field 解决视觉 task parameter 的来源问题。它不是把图像编码成一个全局向量，而是用对象专家、mask 和 deformation 把每个对象的变化压进单独 latent。这样 motion model 得到的是结构化参数，而不是 entangled visual feature。
第二，latent relabeling / corner-set search 解决 latent space 不一致和不可控的问题。训练初始 embedding 未必形成适合 interpolation 的坐标系，所以作者用 corner set 和 convex combination 把每个 demonstration 重新表达到一个 canonical support 中。这个机制本质上把泛化限制为 demonstrated boundary 内的插值，也正是它带来稳定性的来源。
第三，temporal gating 解决 motion dependency 的阶段性问题。所有对象 latent 同时输入整条轨迹会鼓励 spurious correlation；时间相关 gating 让 grasp、transport、place 等阶段可以依赖不同对象或对象组合。这是 motion compositionality 的核心，而不是简单的 multi-expert ensemble。
第四，FiLM 是 latent 到 generator 的轻量条件化接口。它的作用是让对象 latent 改变 trajectory field 的局部函数形式，而不是只作为额外输入拼接。这个选择合理，但更像实现上稳定且参数高效的 conditioning mechanism，不是最根本的 conceptual novelty。
Key Insight / Why It Works
这篇方法有效的主要原因不是模型容量，而是问题被重新参数化了：从“像素到整条轨迹”的高维函数，变成“对象 latent 到阶段性 trajectory primitive”的低维函数。少样本优势来自这个 factorization，大部分 baseline 在低数据下失败也基本符合预期，因为它们需要从数据中自己发现对象、角色、阶段和依赖关系。
最可能的核心贡献是 object-centric latent 与 temporal motion gating 的耦合。单独的 neural field reconstruction 不新，单独的 FiLM-conditioned primitive 也不新；关键是 reconstruction latent 被约束为可解释的对象变化，并且 motion generator 只在相关时间段使用这些变化。这相当于把 demonstration 中隐含的 object affordance / phase dependency 变成 architecture bias。
latent search 和 corner-set interpolation 也很重要，但它更像 memory / retrieval / interpolation 机制，而不是开放式泛化。测试时模型并非直接识别任意新配置，而是在训练得到的 latent support 内寻找能重建当前对象的 latent，再用该 latent 生成轨迹。因此所谓 generalization 很大程度是 controlled interpolation，加上 test-time compute 的 reconstruction-based matching。
一些增益可能来自 engineering 和 hidden supervision：粗 mask 提供了对象分解监督，时间对齐提供了 phase supervision，boundary demonstrations 提供了 latent support coverage，真实实验中的 language segmentation 假设 mask 正确。文中未充分说明如果这些先验放松，object experts 和 temporal gating 是否还能可靠形成。Diffusion Policy 等 baseline 在这种少数据、固定任务、时间输入设定下并不是最有利配置，因此结果更多证明结构先验在低数据 task-specific LfD 中有效，而不是证明其全面优于现代 visuomotor policy。
Relation To Prior Work
它最接近三条技术谱系的交叉：movement primitives / CNMP，object-centric neural scene representations，以及 mixture-of-experts 条件化 trajectory generation。相对 MP，它的新增信息是把人工 task parameter 换成可从视觉重建中恢复的对象 latent；相对 image-conditioned imitation，它新增的是对象级 factorization 和 phase-dependent dependency；相对 neural field robotics，它把 scene reconstruction latent 明确用于完整 trajectory generation，而不是只用于 pose correspondence 或单点 grasp。
看似新的部分有不少是已有思想重组：FiLM conditioning、soft MoE、object masks、latent interpolation、neural fields 都不是新概念。实质创新在于这些模块被组织成一个服务于少样本 LfD 的闭环：对象生成表示提供 task parameter，motion primitive 消费这些 parameter，时间 gating 使 dependency 稀疏化。这篇更像是把 object-centric representation 重新接回 classical LfD 的数据效率传统，而不是走大规模 policy learning 路线。
Dataset / Evaluation
评估覆盖仿真和真机，任务包括避障、pick-and-place、stacking、drawer manipulation，能够说明方法在固定任务族、对象参数变化、少量 demonstration 下有效。真实实验有 RGB、language-conditioned masks 和 3D occupancy，展示了表示接口的灵活性。
但 evaluation 对核心 claim 的支持是有边界的。它确实支持“在对象结构明确、变化范围有限、时间粗对齐的任务中，object-centric latent + temporal primitive 很数据高效”。它没有充分验证开放场景、多对象数量变化、未见组合语义、长时域反馈控制或跨任务复用。category-level generalization 主要依赖外部 language segmentation 给出正确 mask，且物体几何仍需与训练策略兼容；这更像 perception front-end 替换后的同类对象插值，而不是语义层面的技能泛化。
实验没有大段数字也能看出趋势：低数据下它强，尤其复杂任务中 baseline 掉得快；但这也符合其强先验设定。真正还缺的是更严格的归因实验，例如固定 object latent 但去掉 relabeling、固定 relabeling 但改全局 latent、打乱 phase alignment、增加无关但视觉相似 distractor、以及对象数量/角色变化。
Limitation
最大限制是成立前提很强。训练数据要覆盖对象变化边界；对象通常占据可分离区域；背景和相机基本固定；对象角色固定；轨迹需要时间或事件对齐；测试场景要落在训练 latent support 内。论文自己也承认 extrapolation beyond support 不保证，这意味着泛化本质上是受控插值。
scalability 上限也比较明确。每个对象需要专家或对象角色建模，latent search 需要测试时优化或候选筛选；对象数、遮挡、相互接触、可变拓扑、动态场景都会使分解困难。若任务需要根据执行反馈重新规划，当前模型只是生成完整轨迹，不具备长期闭环状态建模。
增益归因不完全清楚。object-centric representation、temporal gating、FiLM primitive、latent relabeling、mask supervision、curriculum、test-time reconstruction search 都可能贡献性能。尤其 latent relabeling 和 corner coverage 可能把一部分泛化问题转化为在训练 support 内查找合适坐标；这不是坏事，但应被理解为 interpolation system，而不是通用 reasoning system。
真实实验中的 category generalization 也容易被高估。外部语言分割承担了对象发现和目标选择，模型只需要在 colorized / masked representation 上恢复类似对象 latent。对几何差异、材质差异、抓取 affordance 差异的鲁棒性仍有限，失败案例也说明 grasp precision 和 compliance 会直接破坏迁移。
Takeaway
- 1. 值得记住的是 perception-action alignment 的方式：不要让视觉 encoder 自己学所有东西，而是把视觉表示设计成 classical skill model 能使用的 task parameter。
- 2. object-centric latent 的价值不在 reconstruction 本身，而在它把少样本 motion learning 的输入维度和因果结构压对了；这类思想可以迁移到 grasping、tool use、assembly 等对象角色稳定的任务。
- 3. temporal gating 是比“对象特征拼接”更关键的 motion bias，因为 manipulation 中对象依赖天然随 phase 改变；未来更值得做的是让 phase / event structure 从 contact 和 execution feedback 中自适应出现，而不是依赖预对齐。
- 4. 这个方向的下一步不应只是换更强 neural field，而是放松固定对象数、固定角色、固定相机和插值 support 的假设，并把生成轨迹接入闭环 replanning。
一句话总结
这篇论文把 object-centric neural field 变成少样本 movement primitive 的视觉 task-parameter extractor，并通过时间 MoE 建模对象依赖的阶段性变化，是一类强结构先验驱动的 compositional LfD 方法，而不是通用视觉策略学习。