精读笔记

Problem Setting

[Expressivity and Statistical Trade-offs in Diffusion Policy Learning]（arXiv preprint / 2026）

论文处理的是 diffusion policy learning 中一个更基础的问题：为什么 diffusion policy 比常规连续动作策略族更 expressive，以及这种 expressivity 在有限样本下应如何使用。真正困难不在于定义 terminal-law policy，而在于把“能表示复杂 action distribution”转化成 RL value approximation 的可证明量。

关键矛盾是：RL 最优策略在很多假设下可以是 deterministic，但训练时常用 stochastic policy；diffusion policy 可以通过 stochastic dynamics 逼近 deterministic selector，但非退化 diffusion noise 又会阻止 terminal law 无限精确集中。K-Lipschitz drift 的强度正好落在这个矛盾中心：K 越大越能压缩噪声、逼近 optimal action；K 越大也越难从有限数据中估计。以前工作多停留在“diffusion policy expressive”这个经验判断，没有给出 expressivity 与 sample complexity 之间的共同控制变量。

Motivation

已有路线的缺口是缺少一个可操作的 capacity parameter。Gaussian、Beta、mixture 或 exponential-family policy 的局限很清楚：形状受限，难以表达多峰或强非高斯 action law。但 diffusion policy 的理论问题也很清楚：表达力过强时，有限样本学习会付出什么代价？

作者的核心观察是，terminal-law diffusion policy 的表达力不是由“用了 diffusion”本身保证的，而是由 drift 在 action space 中能产生多强的收缩和形变决定。这个能力可由 action-wise Lipschitz budget K 捕捉。缺的是一套同时解释 approximation、lower bound、finite-sample rate 和训练 identity 的框架；这篇论文试图把 K 变成 diffusion policy 设计中的主旋钮。

Core Idea

论文真正的思想是：把 diffusion policy 的 expressivity 重写为一个控制论式的 localization 问题。给定状态 x，若 optimal deterministic action 是 g*(x)，则 diffusion policy 是否好，取决于 SDE 末端 action 能否在时间 T 内集中到 g*(x) 附近。一个 K-Lipschitz mean-reverting drift 可以把初始分布向目标点收缩，残余方差约为 1/K，因此 value approximation 也随 K 改善。

和 prior 的本质区别在于，这里不把 diffusion policy 当作黑盒生成模型，也不讨论 score estimation 本身，而是把 drift regularity 直接接到 Bellman gap 和 finite-sample oracle inequality。它引入的 inductive bias 是“受控收缩强度”：diffusion policy 的能力不是任意复杂分布建模，而是在非退化噪声下用有限 Lipschitz drift 逼近 deterministic optimal action set。这个视角比单纯增加 network size 更可分析，也给出 sample-dependent K selection 的原则。

Method

方法上应只记住几个机制。

第一，mean-reverting construction 解决 expressivity upper bound。构造 f(t,a,x)=K(c_K(x)-a)，让 terminal action 靠近 g*(x)。这一步说明 diffusion policy 不需要任意复杂 drift 就能逼近 deterministic optimum；K 本身已经提供主要表达力。

第二，finite-set localization lower bound 说明 O(1/K) 是噪声下的硬限制。证明的关键不是 Bellman 结构，而是最后 1/K 时间窗的重缩放：terminal fluctuation 保持 K^{-1/2} 量级，所以 squared localization error 至少 K^{-1}。这把“diffusion noise 无法完全消除”转化为 value lower bound。

第三，ReLU drift class 的 oracle inequality 把 K 放进统计复杂度。网络 realization 负责近似 g*(x)，diffusion approximation 给出 1/K，uniform convergence 给出随 class size 和 K 增长的估计误差。generic class 下 stability 差，统计项含 K；dissipative class 下收缩结构稳定轨迹，统计项不再显式乘 K。

第四，Girsanov policy-gradient 公式解决 terminal density 不可得的问题。它不是本文最深的 insight，但必要：否则 terminal-law diffusion policy 很难用 likelihood-ratio policy gradient 训练。

Key Insight / Why It Works

最核心贡献是把 diffusion policy 的“表达力”从 distribution family 的直觉层面压缩成 drift Lipschitz budget K，并给出 upper/lower matching 的 localization rate。这比简单说 diffusion policy 能表达 multimodality 更强，因为它解释了在 RL value 近 deterministic optimum 时，表达力到底消耗在哪里。

方法有效的根因不是 diffusion 生成复杂分布，而是 mean-reversion 提供了强 inductive bias：用 drift 把 action distribution 向 selector 收缩。这里 diffusion policy 的优势更像“可采样的、带噪声的 deterministic policy smoother”，而不是通用生成建模能力。对 value approximation 来说，多峰建模不是主角；主角是能否把 mass 放到 Bellman-optimal set 附近。

generic neural drift 的 rate 变差，本质上是 stability/complexity 问题：K 放大了 drift sensitivity，导致 trajectory-level empirical process 更难控制。dissipativity 的改进说明，真正有价值的不是大 K 本身，而是带收缩结构的大 K。如果没有 one-sided dissipativity，大 K 很可能主要带来 optimization instability 和 sample inefficiency。

policy-gradient 部分更像辅助工程理论：用 Girsanov 替代不可得的 terminal score，保证训练公式自洽。但它没有解决 critic error、discretization bias、optimization error，也不能解释真实 diffusion policy benchmark 的全部收益。

我会把这篇的主要 insight 归类为 better inductive bias + capacity scheduling，而不是 scaling、retrieval、memory reuse 或 test-time compute。实验中的 U-shape 也更像 capacity/optimization interaction，不是 diffusion policy 本身产生了新的 reasoning 或 planning 能力。

Relation To Prior Work

最接近的路线有三类：diffusion policy / diffusion actor-critic，score-based generative model theory，以及 flow-based policy parameterization。和 diffusion policy empirical work 相比，这篇不是提出更强 actor，而是解释 actor class 的一个可控自由度。和 diffusion model theory 相比，它不研究 distribution recovery 或 score learning，而是研究 terminal-law policy 对 RL value 的 approximation-estimation trade-off。和 flow policy 相比，它保留 SDE 噪声，因此必须处理非退化 noise 带来的 localization 下界。

看似新的部分里，mean-reverting drift 本身并不新，ReLU approximation 和 covering number 也不是新技术；真正新增的是把这些拼成一个 K-dependent RL value theory，并证明 K^{-1} localization 是匹配的。Girsanov likelihood-ratio 也属于经典随机分析工具的迁移，创新性主要在将其用于 continuous-time diffusion policy gradient。

它属于 diffusion policy 理论化的一条谱系：从“用生成模型作为 actor”转向“用 SDE regularity 控制 actor class capacity”。这对后续工作更有用，因为它给了一个可以被正则化、调参、架构约束共同作用的理论 knob。

Dataset / Evaluation

实验覆盖很窄，主要是为理论现象服务，而不是证明方法在真实 RL benchmark 上优越。第一个实验是二维非线性多步 MDP，用 generic neural drift 展示 K 太小欠表达、K 太大难学习的 U-shape；第二个是 contextual bandit，用 dissipative mean-reverting class 隔离 diffusion error 和 center estimation error。

这些实验基本支持论文的核心 qualitative claim：K 应随样本量增大，dissipativity 会改变 K 的角色。但它们没有验证高维状态、视觉输入、多任务、真实机器人或 offline dataset shift 下的结论。没有真实世界或真机评估，也没有与主流 diffusion policy baselines 做强对比。因此 evaluation 更像 sanity check，而不是实证贡献。

benchmark 没有明显 leakage 问题，因为本来就是 synthetic theory validation；但它也不能支撑“实际 diffusion policy 成功主要由 K trade-off 解释”这种更强 claim。真实任务中的增益来源仍可能主要来自数据覆盖、critic 学习、architecture scaling 或训练 recipe。

Limitation

这篇的前提很重。最重要的是 optimal selector 需要 bounded/Lipschitz，Bellman gap 需要局部二次结构，transition/reward/volatility 需要足够 regular，state space 简化为低维 cube。若状态是图像或语言条件，m 维 rate 基本不可直接解释实际样本复杂度。

lower bound 依赖非退化且有上界的 diffusion noise；如果允许 state-dependent volatility 失控，论文自己也给出 lower bound 失败例子。这说明 K 并不是无条件的表达力瓶颈，而是在特定 SDE regularity class 内的瓶颈。

finite-sample bound 没有处理实际 policy-gradient optimization error。理论中的 empirical maximizer 和实验中的 noisy actor-critic 之间差距很大；在大 K 下观察到的性能恶化可能主要来自优化不稳定，而不只是统计复杂度。

dissipative regime 很关键但也很受限。它解释了为什么 mean-reverting policy 稳定，但一般神经 drift 要 enforce one-sided dissipativity 并不容易。若不能 enforce，这个 sharper rate 可能只是理论上的 favorable subclass。

泛化能力没有被真正证明。论文证明的是在 regular MDP 与 bounded function class 下的 finite-sample value gap，不是跨任务泛化、OOD generalization 或 long-horizon planning。所谓 diffusion policy 的复杂 multimodal 能力在本文理论主线里反而不是核心。

Takeaway

• 第一，diffusion policy 的一个可迁移设计原则是：不要只扩大 network 或 diffusion budget；K 应该和样本量、稳定性约束一起选。
• 大 K 只有在足够数据或强 dissipativity 下才有意义。
• 第二，真正值得迁移的 insight 是把 generative policy 的 expressivity 绑定到可控的 dynamics regularity，而不是只看 terminal distribution family。
• 这种思路可以用于 flow policy、SDE actor、entropy-regularized policy class 的 capacity design。

一句话总结

这篇论文把 diffusion policy 从经验上的 expressive actor 重新定义为由 drift Lipschitz budget K 控制的 SDE policy class，并给出 K 的 approximation-estimation trade-off，是 diffusion policy 从工程经验走向容量控制理论的一步。