精读笔记

Problem Setting

《Implicit-Behavior Coordination from Unlabeled Sub-Task Demonstrations for Rearrangement Tasks》（arXiv preprint / 2026）。这篇论文处理的不是“如何学会 navigation/pick/place”这种单技能问题，而是：给定一批未标注的子任务 demonstrations，如何在没有完整任务轨迹、没有 skill label、没有 skill boundary、没有 oracle task plan 的情况下，把这些局部行为组织成长程 rearrangement policy。

真正困难点是 credit assignment 和 behavior selection 同时发生。数据里有导航、开抽屉、抓取、放置等行为，但算法不知道这些行为的名字，也不知道它们应该按什么顺序组合；奖励又只在最终 object-at-target 时出现。以前显式 skill 方法把这个难点外包给人工 skill decomposition 或 oracle planner；task-level imitation 则要求完整长程 demo，并且长 horizon 下误差快速积累。本文要处理的核心矛盾是：监督最弱的是 coordination，但任务最依赖的恰恰是 coordination。

Motivation

已有路线的问题不是不能工作，而是扩展方式不理想。显式 skill pipeline 在小规模任务上很强，但每增加一种行为或一种任务结构，都要维护 skill interface、skill label、切换逻辑或高层 planner。Skill Transformer 这类 full-task imitation 避免了手写 planner，但仍然依赖 skill-labeled complete-task demonstrations，而且长程任务中多模态动作分布容易被 deterministic BC 压成平均策略。

作者的核心观察是：子任务 demo 本身已经包含“技能状”结构，只是这些结构未被命名。如果观测上下文存在 overlap，那么不同 demonstration 之间可以通过共享状态附近的候选动作被 stitch 起来。缺口在于：需要一个机制既能保留混合行为的多模态性，又能在 sparse task objective 下选择当前最该执行的行为。

Core Idea

论文真正改变的是 coordination 的建模对象：不是学习一个离散 skill selector，也不是学习一个端到端 task policy，而是在连续 action-chunk 分布中生成多个 plausible behavior candidates，再用 critic 按目标价值选择。换句话说，skill 不再是显式变量，而是生成分布中的 mode；planning 不再发生在符号技能图上，而是发生在候选动作块的 reranking 上。

这个建模有一个清晰的 inductive bias：低层行为来自 demonstration manifold，长程组合来自 value function。它避免了显式 skill 边界，同时也避免了单一 BC policy 对多模态行为的 averaging。相比 prior，它更 scalable 的地方不是学到了更强的物理控制，而是把“增加行为种类”的代价从重新定义 skill library 转为扩大未标注 demo pool，并让 test-time value selection 在混合候选中挑任务相关行为。

Method

关键机制可以压缩为三件事。

第一，Flow Matching policy 用来建模混合子任务 demo 的多模态 action-chunk 分布。它解决的是同一 observation context 下可能存在多个合理下一步行为的问题。若用普通 deterministic BC，导航/抓取/放置等模式会互相干扰；生成模型保留这些 mode，使后续选择成为可能。

第二，critic 不是简单给当前动作打分，而是承担 implicit coordinator 的角色。它把最终 rearrangement objective 映射到 action chunk 的 expected return，因此选择高 value candidate 等价于在当前状态下选择一个隐式行为模式。这里的核心变化是：coordination signal 不是 skill label，而是 task-conditioned value。

第三，in-sample planning 用于把稀疏奖励从成功放置轨迹传播到其他子任务轨迹。其成立依赖 observation context overlap：如果某个 navigation-like context 能生成 placing-like high-value action，那么 value 可以跨 demonstration 传播，再沿轨迹反向传播。uncertainty-weighted aggregation 是为了抑制 unsupported high-value hallucination，避免 critic 被偶然生成的虚假高值候选带偏。

Key Insight / Why It Works

最关键的 insight 是：长程 rearrangement 的一部分“规划”可以被转化为离线 demo manifold 上的局部 stitching。只要子任务 demo 足够覆盖，并且不同 demo 在状态空间中有可连接的 overlap，那么生成模型负责提出可行动作，critic 负责沿目标方向选择，这就能产生类似 skill switching 的效果。

我认为真正的贡献不是 Flow Matching 本身，也不是 value-guided reranking 本身，而是把二者放到 unlabeled sub-task demonstration setting 中，用 overlap-based return propagation 让 critic 学会跨行为模式选择。Flow Matching 更像必要的行为分布建模工具；uncertainty weighting 是稳定训练的工程性关键；核心机制是“multi-modal candidate generation + sparse-reward value stitching”。

这更像 retrieval / stitching / test-time compute，而不是强意义上的 planning。策略没有显式长期状态图，也没有对未来子目标进行搜索；它是在每个局部状态从数据支持的候选动作中选一个看起来价值最高的 chunk。成功很可能主要来自三件事：demo coverage 足够密、候选生成能覆盖正确 mode、critic 的 value propagation 没有崩。若这三者不满足，方法不会自动推理出新组合。

论文把“skill label supervision”去掉了，但没有把结构监督完全去掉。数据由 M3 pretrained skill policies 收集，行为模式虽未作为标签输入，但 demonstration distribution 本身带有强隐式结构。这里存在 hidden supervision 的味道：技能边界没有显式给算法，但数据生成过程仍然是 skill-structured 的。文中未充分说明如果 demo 来自更自然、更杂乱、更少成功率的人类/机器人轨迹，机制是否仍然成立。

Relation To Prior Work

它最接近三条线的组合：generative behavior modeling、offline RL / in-sample planning、value-guided action selection。和 Diffusion Policy / Flow Matching manipulation 的差别在于，它不是只学一个 task-level visuomotor policy，而是试图从 sub-task mixture 中恢复可协调行为。和 SfBC/V-GPS 的差别在应用语境和数据结构：这里 critic 的任务不仅是选更优动作，还要在未标注子任务 demo 之间传播 sparse reward。

相对显式 skill coordination，如 M3、ASC、SayCan、DeCo、FALCON，本质差异是取消离散 skill interface 和外部 coordinator，把 skill identity 隐入 action distribution 的 modes 中。这个差异是实质性的，因为它改变了 supervision 和 system design 的边界：不再需要标注“现在执行哪个 skill”，而是依赖 critic 在候选动作中做隐式选择。

但看似新的部分也有明显重组性质。生成多个动作再用 value rerank 是已有思想；offline demo stitching 也是已有思想；action chunking 也是常见技巧。本文的新意主要在于把这些机制组织成一个针对 long-horizon rearrangement 的替代 skill pipeline，并用实验显示在该 setting 下显式 skill labels 不是必要条件。

Dataset / Evaluation

评估集中在 Habitat 2.0 / ReplicaCAD / Fetch 的 rearrangement 任务，包含 Nav-Place、Nav-Pick-Nav-Place、Nav-Open-Pick-Nav-Place，以及 chained-target horizon scaling。这个设置能测试多行为切换和长程误差积累，但仍然是受控仿真环境，同一训练场景的 validation split，只改变 object locations；因此它更支持“在该 benchmark 分布内可以替代部分显式 coordination”，不支持强跨场景泛化 claim。

比较对象设置有用但不完全干净。Oracle Planner + RL Skills 是 privileged upper bound；Oracle Planner + BC Skills 隔离了 oracle sequencing 的作用；Skill Transformer 是 task-specific full-task imitation baseline。结果显示本文方法在复杂任务和 chained targets 上优于 ST，并接近 oracle-BC。这支持作者关于 long-horizon robustness 的局部 claim。但增益到底来自未标注子任务数据更可复用、生成模型更适合多模态、critic reranking、还是候选采样带来的 test-time compute，仍然没有被完全拆开。

真机实验只是初步验证。尤其文中说明真实设置没有目标位置观测，换目标需要重训 critic，这直接削弱了“通用 rearrangement coordinator”的说法。它说明框架能落地到一个小型 UR3e tabletop setup，但不足以证明现实移动操作中的鲁棒性。

Limitation

最核心限制是 data connectivity。方法成立要求子任务 demo 在 observation context 上有足够 overlap，否则 sparse reward 无法跨轨迹传播，critic 也无法学会从一个行为切到另一个行为。这个前提在 Habitat/M3 收集的数据中可能比较容易满足，但在开放真实环境中并不保证。

第二，scalability 上限取决于候选生成和 critic calibration。行为 repertoire 变大后，生成分布的 mode 更多，错误高值候选也更多；uncertainty weighting 可以缓解，但不能从根本上保证 value ranking 正确。文中只测试了很小的行为集合，不能证明方法能扩展到大量 articulated interactions、失败恢复、工具使用或多物体依赖关系。

第三，所谓长期 reasoning 可能是局部 retrieval 的表现。系统没有显式维护任务进度、对象关系图或长期计划，更多是在当前状态附近从 demo manifold 中选择高值 chunk。chained-target 结果说明它比 ST 更抗误差积累，但不说明它形成了抽象 planning。

第四，数据监督并不真正“无结构”。子任务 demo 由 pretrained M3 skill policies 采集，行为模式是人为组织过的，只是标签没有喂给模型。问题被从“设计 skill coordinator”转移为“收集覆盖充分、模式清晰、可 overlap 的 sub-task demo pool，并训练稳定 critic”。这仍然是很强的数据工程假设。

第五，增益归因不清。Flow Matching、多候选采样、action chunking、uncertainty-weighted critic、更多子任务数据、以及 ST baseline 的 deterministic limitation 都可能贡献性能。文中 ablation 证明 critic selection 重要，但没有完全解释每个设计的独立作用。

Takeaway

• 最值得记住的不是“Flow Matching 可以做 rearrangement”，而是：显式 skill label 不是长程行为协调的唯一接口；只要生成模型保留行为多模态，value function 可以在候选动作层面承担一部分 coordinator 功能。
• 这条路线未来会自然走向更强的数据连接性建模：如何发现 demo 之间的可 stitch 状态、如何评估候选是否在数据支持内、如何在稀疏目标下稳定传播 value，可能比换一个更大的生成模型更关键。
• 可迁移的 insight 是把复杂任务的离散结构隐入生成分布，再用 task-conditioned value 在 test time 选择 mode。
• 这对 manipulation、navigation、tool-use、multi-stage embodied tasks 都有启发，但前提是数据 manifold 足够覆盖可组合行为。

一句话总结

这篇论文把长程 rearrangement 中的 skill sequencing 重写为“未标注子任务 demo 上的多模态动作生成与价值引导 stitching”，贡献在于弱化显式 skill 接口，但其能力上限仍主要受数据覆盖和 critic 可靠性约束。