精读笔记

Problem Setting

这篇论文处理的是 communication-free multi-robot coordination 中的 privileged distillation 问题：训练时可以有全局状态或全局地图，部署时每个机器人只能依赖局部传感观测和自身历史。真正困难点不是让一个局部策略模仿 oracle，而是 oracle 的动作依赖被学生看不见的全局配置，因此同一个局部观测下可能有多个互斥但都合理的协作动作。

以前的 CTDE/local MARL 卡在局部观测下直接探索协作策略，样本效率和局部最优都很差；传统 BC distillation 卡在把 teacher action 当成单值函数回归。关键矛盾是：全局 oracle 的策略在 state space 中是确定或近似确定的，但投影到 student observation space 后变成多峰条件分布。确定性学生并不是“不够准”，而是建模对象错了。

Motivation

作者的核心观察很明确：多机器人 partial observability 下，local observation 到 optimal cooperative action 不是函数，而是分布。比如同一个局部 LiDAR / 目标片段可能对应不同队友位置、全局目标布局或包围态势，oracle 会选择不同的绕行、分工或推进方向。MSE distillation 会把这些动作压成条件均值，而这个均值经常不是任何有效策略模式。

因此缺口不是再加一个 centralized critic，也不是让学生 encoder 更深，而是需要一种能保留动作多峰性的 distillation 形式。Diffusion policy 正好提供了一个现成的条件生成策略类：它不预测唯一动作，而是在局部观测条件下采样一个动作模式。这是论文选择 diffusion 的直接动机。

Core Idea

CoDiMAD 的核心思想是把 privileged distillation 改写为 conditional action distribution recovery。全局 oracle 先在容易的 fully/privileged observable setting 中学到协调行为；然后把 oracle rollouts 投影成 local observation 与 oracle action 的离线数据；最后学生不是回归 E[a | o_local]，而是学习 p_oracle(a | o_local)，执行时从这个分布采样。

这改变了建模方式：从 deterministic policy approximation 变成 local-belief-conditioned generative policy。它引入的 inductive bias 是“同一局部观测下可以存在多个协调模式，并且动作应该落在某个模式上，而不是模式之间”。和 prior 的本质区别不在于用了 MAPPO 或 GRU，而在于承认 teacher-to-student projection 后的监督目标是多峰分布。

信息流上，CoDiMAD 没有在执行时恢复全局状态，也没有通信；它把全局信息的作用提前固化在 oracle-generated action distribution 里。这个设计比在线通信或 centralized execution 更容易部署，也比 local MARL 更可扩展到稀疏奖励协作任务，但其 generalization 本质上受限于 oracle rollout 覆盖。

Method

第一，privileged oracle 解决的是协作策略发现问题。用 MAPPO 和全局/局部双流观测训练 oracle，相当于在训练阶段移除部分可观测带来的歧义，让系统先学到高质量 joint behavior。这里的必要性在于：如果 oracle 本身不强，后续 diffusion 只是拟合弱策略分布。

第二，offline trajectory collection 解决的是监督信号构造问题。它把全局 oracle 的行为投影到 student 可见的局部观测空间中，形成 p(a_oracle | o_local) 的经验样本。过滤失败和碰撞轨迹会显著提高监督质量，但也会让学生只学习成功分布，削弱对失败后状态的恢复能力。

第三，diffusion behavioral cloning 解决的是多峰动作建模问题。噪声预测训练本质上学习局部观测条件下的 action score，采样时从模式附近生成动作。核心变化是学生不再被迫选择一个均值动作，而是用初始噪声触发不同 mode。

第四，GRU 历史编码解决的是部分可观测消歧。它不是论文的核心创新，但在动态任务中重要，因为单帧局部观测不足以区分隐藏配置。DDIM 解决的是 diffusion inference latency，是部署工程必需项，但不改变方法的统计假设。

Key Insight / Why It Works

最关键的 insight 是：privileged distillation 在多智能体部分可观测场景中天然是 many-to-one projection，teacher action 在 student observation 条件下会形成 mixture。确定性 BC 的失败不是优化没收敛，而是 MSE 的 Bayes optimal solution 就是条件均值；当两个有效模式分离时，均值落在低密度区域，表现为犹豫、碰撞或不协调。

CoDiMAD 有效的主要原因是 better inductive bias，而不是 diffusion 魔法。Diffusion policy 允许同一 observation embedding 对应多个动作模式，采样结果落在 oracle action manifold 上。对于避障、围捕、分工覆盖这类存在对称解或多策略解的问题，这个 bias 很对。

第二个有效来源是 curriculum / data transfer：先用 privileged oracle 学好，再离线蒸馏给 student，绕开 local MARL 在稀疏协作奖励下的探索问题。这个贡献和 diffusion 是叠加的；实验中 CoDiMAD 相比 MAPPO-Local 的提升，很大一部分应归因于 privileged oracle 数据，而不是生成模型本身。

第三个来源可能是 data filtering。只保留成功且无碰撞的 oracle episodes，会让 diffusion 学到一个干净的成功行为分布。这有利于 benchmark 表现，但也意味着核心能力可能主要来自数据覆盖和筛选后的行为克隆，而不是在线纠错或真正的规划能力。

最值得怀疑的是 joint-mode consistency。每个 agent 独立从自己的 conditional diffusion policy 采样，理论上可能一个 agent 采到“左侧包抄”模式，另一个采到不兼容模式。论文用 rollouts 证明在 N=3 benchmark 上可行，但没有给出机制保证。严格说，它建模的是 individual conditional action distribution，不是 joint conditional coordination mode。

Relation To Prior Work

它最接近三条线的交叉：CTDE / MAPPO、privileged policy distillation、diffusion policy / multimodal imitation learning。相对 CTDE，它不是在执行时依赖 centralized critic 或通信，而是把全局信息离线压缩进局部策略分布。相对传统 privileged distillation，它不假设 student observation 到 teacher action 是单值映射。相对 diffusion imitation，它不依赖人类 demonstration，而用 privileged RL oracle 自动生成 dense supervision。

看似新的部分有不少是已有思想重组：oracle-student distillation 来自 LUPI / learning by cheating，diffusion policy 已经在 visuomotor 和 trajectory generation 中证明能处理多峰动作，MAPPO oracle 也是标准 CTDE 工具。实质创新在于指出 multi-agent privileged distillation 的 mode averaging 是结构性问题，并把 diffusion policy 用作该问题的条件密度估计器。

因此它属于“generative policy as distillation target”的技术谱系，而不是新的 MARL 算法。它对 MARL 的贡献不是新的 credit assignment，而是提供了一种从 privileged oracle 到 decentralized execution 的更合理行为压缩方式。

Dataset / Evaluation

实验覆盖 Coverage、Pursuit-Evasion、Box Pushing 三类模拟任务，能覆盖探索分工、动态围捕和协同操控三种不同协作结构。它们足以检验论文的核心 claim：局部观测下存在多峰动作，diffusion distillation 比 deterministic regression 更不容易平均模式。

但 evaluation 仍然偏窄。所有任务都在同一类 2D 连续 arena、N=3、BEV grid observation 下进行，没有真实机器人，没有跨 agent number 泛化，没有强 OOD 场景，也没有跨环境迁移。所谓 communication-free deployment 在仿真中成立，但真实传感噪声、动力学偏差、执行延迟没有被验证。

可视化实验比较有说服力：固定局部观测时 oracle nearest neighbors 呈双峰，diffusion samples 覆盖双峰，BC-RNN 落在中间。这直接支撑 mode averaging 论点。相比之下，表格里的整体性能提升只能说明 pipeline 有效，不能单独归因于 diffusion，因为 oracle quality、成功轨迹过滤、模型容量和 recurrent history 都混在一起。

Box Pushing 的 oracle-student gap 是重要信号：当任务需要更严格的长期同步和接触动力学协调时，局部条件动作生成并不能完全替代全局 coordination state。这说明 benchmark 同时支持了方法有效性，也暴露了它的上限。

Limitation

第一，方法成立依赖强 oracle。CoDiMAD 没有解决从局部观测中发现复杂协作策略的问题，而是把它转移到 privileged oracle training。oracle 若在更复杂环境中学不好，蒸馏不会自动补足。

第二，方法强依赖数据覆盖。离线 student 主要学习成功轨迹分布，遇到 oracle rollout 之外的状态可能没有恢复能力。论文自己也承认 OOD recovery 是问题，但这不是边角限制，而是部署时的核心风险。

第三，个体 diffusion 不保证联合一致性。多机器人协作的关键常常是 joint mode selection，而论文建模的是每个 agent 的 p(a_i | o_i, history)。如果多个 agent 的采样模式不一致，可能产生协调冲突。当前实验规模小，可能掩盖了这个问题。

第四，scalability 未验证。N=3 的设置不能说明 agent 数量增长后的组合协调空间可控。随着 N 增加，局部观测对应的隐藏全局配置数会快速增长，单个局部 diffusion head 可能需要更强结构，如 attention、graph conditioning 或显式 latent team mode。

第五，增益归因不完全清楚。CoDiMAD 相比 BC-RNN 的优势很可能来自 diffusion 的多峰建模，但也可能混入 test-time compute、随机采样带来的 exploration-like effect、模型容量差异和数据筛选。文中未充分说明这些因素的解耦。

第六，所谓 reasoning / coordination 更像从 oracle 数据分布中做 conditional retrieval / sampling，而不是形成可组合的长期规划能力。它能在相似局部上下文中采到合理动作，但未证明能处理新的任务结构或需要显式计划的场景。

Takeaway

• 最值得记住的第一点是：multi-agent privileged distillation 不能默认用 deterministic BC。
• 只要 student observation 是 global state 的多对一投影，teacher action distribution 就可能多峰，MSE 平均会系统性地产生无效动作。
• 第二点是：diffusion policy 在这里的价值不是生成更平滑动作，而是提供 mode-preserving distillation。
• 这个 insight 可以迁移到所有“强 teacher + 弱 observation student”的场景，包括自动驾驶、群体控制、部分可观测 manipulation 和多机器人搜索。

一句话总结

CoDiMAD 是把多机器人 privileged distillation 从确定性行为克隆推进到条件生成式策略蒸馏的一步，真正贡献在于把 partial observability 下的 teacher-action 多峰性作为核心建模对象，而不是把它误当作回归噪声。