精读笔记
Problem Setting
[Is Energy Guidance All You Need? Training-Free Norm Injection for Driving World Models]（arXiv preprint / 2026）
这篇论文不是在解决“如何生成更真实驾驶视频”，而是在问一个更窄但更关键的问题：一个已经训练好的 driving video world model，能否在采样时被外部交通规范直接改写，而不需要重新训练 backbone 或引入训练期结构化条件。
真正困难点有两层。第一层是 plan controllability：能否让 joint world model 生成的 ego trajectory 遵守一个外部 norm energy。第二层才是 driving world model 的核心：trajectory 被改写后，视频 rollout 是否也跟着改变。如果只是 trajectory 变了、pixels 不变，那它更像在 world model 旁边做了一个 trajectory optimizer，而不是可控世界模型。
以前方法卡在规则和模型训练绑定得太紧。训练期 layout/map/bbox conditioning 能控制，但扩展新规则很重；fine-tuning 能注入知识，但每个规则或规则组合都变成训练问题；generate-then-select 可以避免改模型，但采样效率和覆盖率会成为瓶颈。本文抓住的关键矛盾是：规则需要在部署时灵活变化，而视频世界模型的控制接口通常在训练时已经固定。
Motivation
作者的动机不是“再做一个 controllable video diffusion”，而是把 driving norm 从模型参数中拿出来。已有路线的问题在于，控制信息要么被编码进训练数据分布，要么被编码进条件输入接口；一旦部署后需要新增规则、改变优先级、组合冲突规则，就会重新回到数据、标注和训练成本。
核心观察是：training-free guidance 已经在 diffusion/flow 生成中证明，frozen prior 可以通过采样路径上的外部梯度被牵引。若 driving norm 可以写成作用在 ego trajectory 上的可微 energy，那么规则就不必成为训练期 supervision，而可以成为 test-time computation。
关键缺口在于，这个思想在 trajectory-only diffusion planner 中并不新；真正未验证的是 joint video world model 中的跨模态传播：对 ego stream 的 guidance 是否能通过 joint denoising 改变 video stream。本文最有价值的地方恰恰是给出了一个负答案。
Core Idea
核心思想是把 driving norm compliance 改写成 frozen rectified-flow world model 的 sampling-time energy guidance。模型联合生成未来视频和 ego trajectory，但规则只作用在预测 clean ego trajectory 上；每一步采样时，根据当前 clean estimate 计算 energy gradient，再把这个 clean-space correction 转换为 rectified-flow velocity correction。
这改变了建模方式：规则不再是训练期 condition，也不是后验筛选标准，而是采样动力学中的外部势能场。它引入的 inductive bias 是“规范可作为可微约束场作用于生成轨迹”，而不是“模型必须在参数中内化所有规则”。这在工程上更可扩展，因为一个部署后的 world model 理论上可以挂接不同 norm energies，并在采样时调整优先级。
和 prior 的本质区别不在 energy guidance 本身，而在它被放进了 joint video-trajectory world model，并且论文明确测试了 trajectory guidance 是否能通过 cross-stream denoising 传到视频。结果说明：当前架构的信息流不足以支持这个假设。
Method
方法层面需要保留的机制很少。
第一，rectified-flow clean estimate。作者利用 rectified flow 中 x0_hat = xt - t v_theta 的一阶 clean estimate，在采样时构造规则评估对象。它解决的是 energy 应该作用在哪里的问题：不直接作用于 noisy latent，而作用于模型当前认为的 clean ego plan。
第二，energy-to-velocity correction。对 x0_hat 做 energy descent 后，再反推需要的 velocity correction。这一步的意义是把规则梯度接入 flow ODE，而不是训练额外 classifier、reward model 或 condition encoder。论文附录里用 score-velocity affine equivalence 说明这不是纯 heuristic，但实现上仍是近似 guidance，而不是精确 energy-tilted sampling。
第三，只引导 ego stream。这个设计让成本极低，也避免对视频 latent 或 VAE 反传；但代价是它把“视频是否跟随”完全交给模型内部 cross-stream coupling。实验表明这个 coupling 不够。
第四，schedule 与 clipping。它们不是核心创新，而是 training-free guidance 的稳定性补丁：早期 clean estimate 噪声大，末期 velocity correction 容易因 1/t 放大失控。没有这些工程保护，guidance 很容易把 trajectory 拉出模型流形。
Key Insight / Why It Works
trajectory steering 有效的原因并不神秘：ego trajectory 是低维连续变量，energy 是直接作用在这个变量上的 MSE target，采样过程每一步都在做 test-time optimization。因此这里的主要能力来源是 test-time compute + low-dimensional latent control，而不是模型产生了新的驾驶推理能力。把 trajectory 拉向 brake target 更像在生成先验上做 constrained trajectory refinement。
更重要的 insight 是负结果：joint generation 不等于 controllable coupling。视频和 trajectory 在同一模型里 denoise，并不保证对 trajectory token 的干预会改变 video token。尤其当架构中深层 single-stream joint processing 被绕过，而交互主要停留在 double-stream attention 时，ego stream 可以被单独优化，video stream 仍沿着原来的视觉 prior 走。
所以本文真正的核心贡献不是“energy guidance all you need”，而是证明“energy guidance is not enough unless representation alignment/cross-stream coupling is strong enough”。这把 driving world model control 的问题从“怎么写规则 energy”推进到“如何让 action/trajectory variable 与 pixel dynamics 形成可干预绑定”。
哪些是辅助？rectified-flow 推导、schedule、clip、LoRA post-training 都是必要工程，但不是决定性 insight。哪些可能主要来自 scaling/data？视频 realism 和基础 rollout 能力显然主要来自 Open-Sora 2.0 backbone、nuScenes post-training 和大模型先验；本文没有证明这些能力由 norm guidance 带来。增益来源在 trajectory 指标上很清楚，但 world-model controllability 的增益来源不成立，因为视频没有被控制。
Relation To Prior Work
这篇论文位于三条技术线的交叉点：training-free diffusion/flow guidance、rule-guided trajectory diffusion planning、driving video world models。
和 FreeDoM、universal guidance、TFG、flow-matching guidance 的关系是机制继承：都是 frozen generative prior + sampling-time differentiable objective。这里的新信息不是 guidance 公式，而是把它施加到 driving world model 的 ego plan stream，并测试跨 stream 传播。
和 CTG、language-guided traffic simulation、Diffusion-Planner 更接近的是目标：用 differentiable rule energy 控制驾驶行为。但那些主要是 trajectory/simulation/planning 模型，验证的是 plan 是否合规。本文的不同点是：它关心 joint video rollout 是否也被带动。这个差异是实质性的，因为 driving world model 的价值就在视觉未来，而不是单独的 ego plan。
和 GAIA、Drive-WM、DriveDreamer、DriveLaW、Epona 等 driving world model 相比，本文不依赖训练期 map/layout/action conditioning 来表达规则。它把规则接口后移到采样时，这是可扩展性上的真正新增信息。但就当前结果而言，它还没有达到这些 conditional world model 在 video-level controllability 上想要的目标。
Dataset / Evaluation
实验覆盖范围很窄：nuScenes front-camera、离线采样、单一 counterfactual braking norm、35 个 usable clips。它足以验证一个局部机制问题：energy guidance 是否能改变 ego trajectory。答案是可以。
但 evaluation 并没有支持更强的 claim，例如“training-free norm injection makes driving world models controllable”。因为最关键的视频指标是负的：guided video 与 unguided video 的 optical flow 基本无差异。换句话说，实验支持的是“trajectory stream 可被采样时 energy 拉动”，不支持“视频世界模型可被规范端到端控制”。
没有 closed-loop driving、没有多规则组合、没有交互式 multi-agent 评估、没有真实车或仿真器中的 downstream safety metric。FVD/rule compliance 等也只是未来工作。benchmark 本身更像 mechanism probe，而不是完整系统验证。
Limitation
最大限制是方法把核心难题转移给了 representation alignment。只要 ego trajectory 和 video dynamics 没有强绑定，energy guidance 就只能改 plan token，不能改世界状态。当前论文已经观察到这一点，因此它不能被解读为解决了 driving world model controllability。
第二，energy construction 被简化了。本文使用的是已知 counterfactual braking target 的 MSE attraction，而真实交通规范通常需要感知、预测、交互推理和离散逻辑。文中未充分说明这些 targets 或 energies 在部署时如何可靠生成。如果还需要外部 planner/perception 先把规则翻译成目标轨迹，那么 world model 只是被动接受一个外部优化信号。
第三，training-free guidance 的稳定性上限明确：早期 clean estimate 不可靠，多模态场景下 x0_hat 可能是 mode average，ODE sampler 缺少 SDE 那种随机回流到数据流形的机制。强 guidance 可能得到低 energy 但低 realism 的 trajectory，尤其在多规则冲突时更明显。
第四，所谓泛化目前不能成立。单一 braking probe 不能说明 collision avoidance、lane keeping、speed limit、comfort 等规则库可以组合，更不能说明优先级投影会在复杂场景中稳定。核心能力可能主要来自数据覆盖和 backbone prior；norm reasoning 更像 test-time optimization，而不是模型内部形成了可泛化的规则理解。
Takeaway
- 1. 这篇最值得记住的不是正结果，而是负结果：trajectory guidance 容易，video-grounded controllability 很难。
- 2. 对 world model 做规则控制，关键不只是设计 differentiable energy，而是让被控制变量与视觉生成变量形成深层、可干预的绑定。
- 未来工作应优先研究 cross-stream representation alignment，而不是继续堆规则 energy。
- 3. Training-free norm injection 是一个有价值的部署接口：它让规则添加、组合、重排序不必每次重训模型。
一句话总结
这篇论文把 training-free energy guidance 引入 joint driving video world model，并清楚暴露了当前路线的核心瓶颈：采样时规则可以控制 ego plan，但没有强 cross-stream coupling 时，它还不能控制生成世界。