精读笔记

Problem Setting

论文标题：A Single Diffusion-Policy Controller for Multi-Task Block Pushing with Zero-Shot Sim-to-Real Transfer（arXiv preprint / 2026-07-14）。

这篇论文解决的不是“如何做 block pushing”，而是一个更具体的问题：能否用在线 RL 从零训练一个单一 diffusion policy，使它在多形状、多目标位姿的接触操作任务中学到可迁移的多模态控制策略，并且不依赖专家示范完成 sim-to-real。

真正困难点有三层。第一，block pushing 的接触点选择和推/转组合天然多模态，Gaussian policy 容易把多个有效动作模式平均掉。第二，多任务设置要求同一策略跨 shape 和 goal 复用技能，但原始世界坐标中的状态变化会放大任务差异。第三，稀疏奖励下没有 demonstration，diffusion policy 的表达能力本身并不能解决探索。

以前方法卡住的位置也很清楚：BC diffusion policy 需要大量覆盖任务空间的 demonstrations；offline / imitation diffusion 更像在已有行为分布上建模；标准 online RL 的 Gaussian actor 在接触多模态任务中表达力不足；已有 diffusion RL 多数缺少真实机器人和多任务接触操作验证。这篇论文的关键矛盾是：想要 diffusion policy 的多峰表达能力，但又不能依赖示范数据，只能从 sparse reward 中学。

Motivation

作者的核心观察是，diffusion policy 在机器人中已经证明了强动作分布建模能力，但主流用法仍是 behavior cloning；一旦进入多任务操作，示范数据覆盖会成为瓶颈，而且后续 fine-tuning 容易遗忘。换言之，已有 diffusion policy 的问题不是 policy class 不够强，而是训练信号和数据来源不够 scalable。

因此这篇论文想补的缺口是：把 diffusion policy 放回 online RL 的 policy improvement loop 中，而不是把它当作专家轨迹分布的拟合器。这个方向成立的前提是，RL 中的 actor update 本质上也可以被看成拟合一个由 Q 加权后的目标动作分布；如果 diffusion model 能拟合这个复杂目标分布，就可以避免 Gaussian projection 的表达瓶颈。

另一个动机是 sim-to-real。作者没有选择端到端 visuomotor diffusion，而是用 state-based policy 加外部 pose estimation。这是很务实的选择：它牺牲端到端感知泛化，换来更可控的真实迁移路径。这里缺的不是更复杂的视觉模型，而是一个能在低维、几何对齐状态上稳定学习多模态接触策略的 RL pipeline。

Core Idea

论文的核心思想是：把 policy mirror descent 的闭式解视为一个 energy-reweighted behavior distribution，即 pi_new(a|s) proportional to pi_old(a|s) exp(Q(s,a)/lambda)，然后训练 diffusion policy 去拟合这个目标分布。由于目标分布的归一化常数不可处理，作者用 ESM loss，把普通 DDPM 的 denoising loss 乘上 exp(Q/lambda)。这样 actor update 不需要显式采样 target policy，也不需要把目标策略投影成 Gaussian。

这个建模方式的本质变化是：策略不再被表示为单峰或低复杂度参数分布，而是作为一个可通过 denoising sampling 生成的条件动作分布。Q function 不直接输出动作，也不通过 deterministic actor 求 argmax，而是以 energy weight 的形式改变 replay 动作样本对 score matching 的贡献。这使得 policy improvement 更像“保留旧策略支持集上高价值的多种动作模式”，而不是压缩成一个均值动作。

它引入的 inductive bias 有两个。第一，动作分布多模态是默认假设，而不是异常情况。第二，通过 objective-centric representation，把任务变化编码成局部几何关系，使多任务学习变成在规范化坐标系中复用接触技能。相比 prior，这不是单纯把 diffusion model 接到 RL 上，而是把 policy improvement、动作分布建模和几何对齐放在同一个信息流中。

Method

ESM loss 解决的是 diffusion policy 如何作为 RL actor 被优化的问题。它把 DDPM 的 ELBO / denoising score matching 改成 Q 加权版本，使高价值动作在策略拟合中占更大权重。需要它的原因是 mirror descent 的 target policy 无法直接归一化或采样；核心变化是 actor update 从 Gaussian regression 变成 value-weighted generative modeling。

Objective-centric representation 解决的是多任务状态空间中无意义变化过大的问题。作者把 agent、goal 等空间关系表示到 block frame / goal frame 中，使策略看到的是相对几何，而不是绝对世界坐标。需要它是因为 pushing 技能本身应对平移、旋转具有某种等变性；核心变化是把泛化压力从网络拟合转移到坐标设计上。

Shape encoding 解决的是单一策略如何区分不同 block geometry。这里的 encoding 很朴素，更多是 proof-of-concept。它带来的核心变化是显式告诉策略接触对象的类别/形状，而不是要求策略从状态历史中隐式推断。

Reverse curriculum 解决的是 sparse reward 下从零探索很难接触到成功轨迹的问题。它不是 diffusion policy 特有的贡献，但在这个 pipeline 中很关键：没有 curriculum，ESM 的高表达能力也可能只是在错误数据上拟合。核心变化是先让 replay buffer 中出现可学习的成功/近成功行为，再逐步扩展到完整任务分布。

Key Insight / Why It Works

这篇论文最值得抓住的 insight 是：在接触操作中，policy class 的多模态表达能力和状态表示的几何对齐同等重要。单独有 diffusion policy 不够，因为 sparse reward 下没有好样本；单独有 curriculum 和局部坐标也不够，因为 Gaussian actor 仍可能无法稳定表示多种接触策略。ESM 的有效性来自这三者相互配合。

最可能的核心贡献是 ESM actor update 的简化形式。它把 RL policy improvement 写成一个几乎和 BC diffusion training 同形的 reweighted denoising loss，这在工程上非常有吸引力：可以复用 diffusion policy 的训练机制，同时用 Q 作为偏好信号。理论上它对应 mirror descent target policy；直觉上它是 advantage-weighted regression / energy-based policy improvement 在 diffusion action model 上的版本。

但实际性能增益的归因并不干净。文中虽然做了去 curriculum 和去 objective-centric representation 的 ablation，但没有充分拆清 ESM 本身、坐标归一化、动作空间选择、任务简化和训练稳定性之间的贡献比例。尤其在真实迁移中，state-based input、ArUco / point cloud pose estimation、Kalman filter、parallel simulator backup 都在降低感知和动力学不确定性；这部分不能归功于 diffusion policy 本身。

我会把这篇的成功归因为 better inductive bias + curriculum + expressive policy class，而不是 scaling，也不是 test-time planning。它没有形成显式长期规划器，diffusion sampling 只生成单步动作，不是 receding-horizon trajectory generation。所谓泛化也更像在对齐后的局部几何空间中复用接触模式，而不是真正推理未见任务结构。

可能只是 engineering / scaling 的部分包括：真实系统 pose pipeline、滤波、遮挡时 simulator backup、具体 curriculum schedule、shape encoding 设计。这些对结果很重要，但不是核心算法 insight。文中未充分说明不同 diffusion RL baseline 失败是否来自算法本身、实现调参、训练预算还是与作者状态/课程设计的不匹配。

Relation To Prior Work

最接近的技术谱系不是传统 diffusion planning，而是 advantage-weighted / mirror-descent policy optimization 与 diffusion actor 的结合。它和 AWR、AWAC、IQL/IDQL、QVPO、QSM 等方法共享同一个基本思想：用 value / Q 对行为样本加权，然后拟合一个改进后的策略分布。

和 BC diffusion policy 的本质差异在训练信号。BC diffusion policy 拟合 expert action / trajectory distribution，通常依赖 demonstrations，并常做 receding-horizon action sequence generation；这篇只生成单步动作，用 online RL 的 Q weighting 提供偏好。它不是“更好的 imitation”，而是把 diffusion policy 变成 online actor。

和 Gaussian actor RL 的本质差异在 projection。TRPO/SAC/PPO 类方法最终仍要把策略更新投影回简单参数分布，复杂多峰目标会被压缩。ESM 的新增信息是：如果策略族本身是 diffusion model，那么 mirror descent 的 target distribution 可以通过 weighted score matching 间接拟合，不必显式保持 Gaussian 形态。

和已有 diffusion RL 的差异主要在简化和落地。作者强调不需要额外 baseline function、不使用 truncated Q，而是直接 exp(Q/lambda) 加权。这一点在形式上干净，但也带来潜在数值敏感性。实质创新在于把这个简化 actor loss 与多任务 block-pushing、objective-centric representation 和真机 zero-shot 结合验证；单看数学思想，它更像已有 value-weighted generative policy learning 的重组与工程化推进。

Dataset / Evaluation

评估覆盖了仿真多形状 pushing、unseen I-shape、随机目标位姿，以及真实 UR5e 上的不同 shape、goal、weight、friction。对于论文的窄 claim，即“在二维平面 block-pushing 任务族上，一个 online RL 训练的 diffusion policy 可以 zero-shot sim-to-real”，实验是有支撑的。

但 benchmark 的外推边界很窄。任务仍是低维状态控制、准二维接触、目标明确、物体几何简单、环境变化有限。真实实验数量不大，且使用了较强的状态估计与系统工程来压低 sim-to-real 难度。它验证了在结构化、几何可对齐任务族中的鲁棒迁移，不验证一般 manipulation 的视觉泛化、长期规划、复杂接触序列或开放任务泛化。

unseen I-shape 的结果有价值，但也暴露上限：成功率明显低于 seen shapes，说明 shape generalization 不是彻底解决，而是依赖训练形状与测试形状共享局部 pushing affordance。真实世界全成功的说服力要结合任务难度看，不能直接解读为 diffusion policy 对大 sim-to-real gap 天然鲁棒。

Limitation

第一，方法强依赖状态可观测性。论文把感知问题从 policy 中剥离出去，靠 ArUco、点云配准、Kalman filter 和 simulator backup 获得 block pose。这样做合理，但也意味着核心 claim 是 state-based control transfer，不是端到端机器人感知控制。

第二，泛化依赖 objective-centric representation。很多多任务能力来自手工坐标归一化带来的 representation alignment，而不是模型自己发现任务对称性。换到无法定义清晰 object frame / goal frame 的 manipulation，这个 inductive bias 未必成立。

第三，探索依赖 curriculum。没有 reverse curriculum，稀疏奖励设置下能否稳定训练仍不清楚。换言之，这篇不是证明 diffusion policy 能自动解决 sparse-reward exploration，而是证明在合理课程下 diffusion actor 能更好吸收成功行为。

第四，sim-to-real 成立依赖该任务的物理 gap 较小。作者也承认二维表面 pushing 的主要差异是摩擦，且系统稳定性没有被破坏。对 deformable objects、三维接触、抓取、遮挡严重场景，zero-shot transfer 很可能失效。

第五，增益来源不清。ESM、diffusion expressiveness、curriculum、局部坐标、低维 state、真实系统滤波共同作用。文中未充分说明 baseline 是否在同等 representation、curriculum、训练预算和调参强度下达到最优。部分 diffusion RL baseline 全失败，需要更谨慎解释。

第六，所谓 planning 能力基本不存在。policy 每步生成单个 velocity action，没有显式 long-horizon state rollout 或 trajectory-level reasoning。表现出的策略组合更像 learned reactive skill mixture，而不是 planner。

Takeaway

• 1. 在线 RL + diffusion policy 的关键价值不是“生成模型更强”，而是它提供了一个能拟合 mirror-descent target policy 的多峰 actor class，减少 Gaussian projection 的损失。
• 2. 对机器人多任务控制，representation alignment 可能比模型规模更重要。
• 把状态/动作放到合适的 object/goal frame 中，可以显著降低所谓泛化的难度。
• 3. 稀疏奖励下的 diffusion policy 仍需要 curriculum 或其他数据覆盖机制。

一句话总结

这篇论文把 diffusion policy 从示范驱动的动作分布拟合器推进为在线 RL 中的 value-weighted 多模态 actor，并证明在几何强对齐的二维接触任务族中，这种表达能力配合 curriculum 可以实现较可靠的 zero-shot sim-to-real。