精读笔记

Problem Setting

这篇论文瞄准的不是一般意义上的端到端规划，而是 proposal-based E2E planner 中最棘手的中间层问题：模型需要先保留多个合理驾驶意图，再压缩成一个可执行轨迹。真正困难点在于，多模态 future 不能简单回归，否则会平均掉决策；但生成一堆候选之后，如果靠 scorer，又需要 trajectory-level quality supervision 或 evaluator proxy；如果靠 diffusion / autoregressive，又引入迭代推理成本。

所以关键矛盾是：规划需要多假设，但部署只能执行单轨迹；多假设越灵活，aggregation 越难、越容易慢、越依赖额外监督。DRIFT 的实际问题就是在这个矛盾中找一个固定深度、低延迟、无质量标签的 proposal-to-plan 接口。

Motivation

作者的核心观察是：proposal generation 已经不是唯一瓶颈，proposal 如何被最终 planner 使用才是设计关键。anchor 和 DETR-style query 的问题是 hypothesis space 有结构性限制；diffusion / autoregressive 的问题是灵活性来自 test-time compute；scorer-based refinement 的问题是把“什么是好轨迹”交给额外质量标签或 benchmark proxy。

DRIFT 缺的不是另一个更强 backbone，而是一个更合适的 proposal representation。直接在物理轨迹空间中做生成或重构，容易受高维坐标、轨迹均值、PCA truncation 或 proposal selection 的限制。作者因此把 generation 的监督放在低维 trajectory latent，把 final planning 的输入放在 hidden feature space：proposal 作为 intent feature，而不是必须被执行或被评分的轨迹。

Core Idea

DRIFT 的核心思想是把多假设规划拆成两个不同语义的空间：PCA latent 用来约束 proposal distribution，hidden proposal feature 用来服务最终 aggregation。PCA latent 提供一个驾驶轨迹 manifold 的低维几何先验，使 drifting 不必在原始 waypoint 空间里计算吸引 / 排斥场；hidden feature 则保留比 PCA 轨迹更丰富的 scene-conditioned intent 信息，供 aggregation head 重新解释。

和 prior 的本质区别在于，它不是生成 K 条轨迹后选择其中一条，也不是把 K 条轨迹平均 / attention reconstruction 成最终轨迹；它把 proposals 当作中间 latent basis。这样做引入的 inductive bias 是：多假设主要用于表达意图分布和局部可行运动族，最终轨迹由 scene-aware aggregator 再解码，可以脱离固定 PCA 子空间。这比物理空间 proposal 更 scalable，因为 proposal branch 可以低维、固定深度、batched；也比 scorer 路线更少依赖 metric-labeled supervision。

Method

第一，latent drift 解决的是高维轨迹空间中生成场不稳定、proposal 容易碎片化的问题。PCA 把 8 个未来 waypoint 的位置压到低维系数，drift loss 在这个空间里吸引专家 / road-compatible positives，同时排斥其他 generated proposals。核心变化是把 generative modeling 的几何从 waypoint coordinate space 转到 trajectory manifold space。

第二，alpha interpolation 解决的是 exploration 与 imitation 的张力。低 alpha 更接近 unconditional road-compatible prior，高 alpha 更接近专家示范。它不是简单温度采样，而是在训练目标中显式组织“地图可行行为”和“当前样本专家行为”的相对权重。

第三，feature-level aggregation 解决的是 proposal-to-plan 的决策接口问题。Aggregation Head 不需要 trajectory quality label，也不强制最终轨迹来自某个 proposal。它使用 proposal hidden features、scene features、navigation 和 ego state 直接预测 final trajectory，本质上是 learned reconstruction / intent fusion。

第四，road boundary loss 解决的是 imitation loss 对可行驶区域边界不敏感的问题。它的作用更接近局部几何 regularization，而不是安全保证；outside polygon 的常数惩罚本身没有提供投影式修正，真正拉回轨迹的仍然主要是 imitation gradient。

Key Insight / Why It Works

最可能有效的核心不是 drifting 这个名词，而是 representation alignment：proposal generation 被约束在真实轨迹 PCA manifold 上，aggregation 又不被 PCA 输出限制。这种设计同时避免了两类常见问题：在 raw trajectory space 中生成时的高维不稳定，以及在 candidate trajectory set 上做 selection / averaging 时的信息损失。

从归因看，最大贡献很可能是 learned aggregation over hidden proposals。消融里“mean of 48 proposals”掉得很明显，说明 proposal 物理均值不是有效 planning rule；而去掉 Decoder 或 road loss 的下降只有小幅。这暗示 DRIFT 的性能主要来自 aggregation head 对 proposal features、scene features 和 route state 的联合重构，而不是 48 条 proposal 本身天然高质量。

latent drift 的作用更像提供一个 structured proposal prior，而不是独立完成规划。unconditional prior 的构造方式尤其值得注意：它从其他场景中筛选满足当前 road topology 的真实轨迹。这有明显 retrieval / data coverage 味道。它把“可行运动族”从训练数据搬到当前地图约束下，可能比纯生成更稳，但也意味着泛化上限受数据轨迹库和地图匹配质量限制。

road loss 可能主要解释 DAC 改善，但不应被解读成 safety。它没有动态障碍交互、没有闭环反应、没有约束求解，只是在监督阶段增加靠近边界的代价。若 benchmark 对 drivable compliance 权重大，这类 regularizer 会很有效，但它不等价于部署安全。

V-JEPA backbone 和两阶段训练也可能贡献不少。文中把重点放在 DRIFT Decoder / Aggregation，但 full model latency 大头在 visual backbone，性能也可能部分来自强 pretrained representation。这里增益来源不清，尤其缺少同 backbone、同训练预算下更严格的替换实验。

Relation To Prior Work

最接近的是 MeanFuser：二者都是 one-step proposal generation + direct reconstruction，不走 iterative diffusion，也不依赖 scorer selection。真正差异是 proposal interface：MeanFuser 更接近 physical trajectory proposals 到 reconstruction；DRIFT 则把 proposal supervision 放到 PCA latent，把 aggregation 输入放到 hidden features。这是实质性的信息流重组。

和 diffusion / autoregressive planner 相比，DRIFT 属于固定深度 generative planner，用 batch sampling 换多假设，不用 iterative denoising 换质量。它牺牲了一部分逐步 refinement 的表达能力，换来低延迟和更简单的部署 profile。

和 scorer-based 方法相比，DRIFT 的新增信息不是“学会评分”，而是避免显式评分。它把 selection 问题变成 representation fusion 问题。这减少了 evaluator-label dependency，但也降低了可解释性：最终轨迹为什么采用某个 proposal 意图，文中没有直接给出。

看似新的 drifting，其实可被理解为对已有 generative prior / contrastive field / trajectory manifold ideas 的重组；实质创新在于把它用于 compact PCA trajectory latent，并把 latent proposal feature 接到 scene-aware aggregation，而不是把它作为最终轨迹候选。

Dataset / Evaluation

评估集中在 NAVSIM navtest，属于基于 nuPlan logs 和 map annotation 的 non-reactive pseudo-simulation。它适合验证 open-loop / pseudo-closed-loop 轨迹质量、drivable compliance、progress、comfort 等指标，但不能验证真实交互式规划能力。其他交通参与者不响应 ego，因此 aggressive / conservative 策略在真实闭环中的后果无法体现。

结果支持的 claim 是有限的：DRIFT 在该 benchmark 上是一个高效、固定深度、无 scorer label 的 proposal aggregation 方案；不充分支持“更强交互式 motion planning”或“更安全可部署 planner”。论文也没有系统测 proposal diversity、coverage、mode correctness、aggregation attention 行为，因此 multi-hypothesis claim 主要由可视化和最终分数间接支持。

由于 unconditional prior 依赖从训练场景筛选 road-compatible trajectories，benchmark 分布重叠和数据覆盖可能很关键。若 navtrain/navtest 的道路拓扑和行为模式相近，这种 prior 会非常有效；跨城市、长尾交互、罕见 maneuver 下是否仍成立，文中未充分说明。

Limitation

第一，增益归因不清。Decoder、PCA latent、unconditional prior、Aggregation Head、road loss、V-JEPA backbone、训练时长都叠在一起，消融只说明 learned aggregation 很重要，但没有证明 drifting 本身是决定性因素。

第二，所谓多假设推理可能更像 latent retrieval / manifold reuse。unconditional samples 来自其他真实轨迹并按当前 drivable polygon 筛选，这很可能把行为多样性问题转化为数据覆盖问题。核心能力可能主要来自数据覆盖，而不是模型学到了可组合的规划推理。

第三，planner 没有长期状态建模，也没有显式交互建模。4 秒、8 waypoint、front-view image history、non-reactive benchmark 下表现好，不代表在闭环交互、遮挡恢复、yield / negotiation 等场景中能稳定。

第四，road boundary regularizer 把部分安全问题转移成 map-distance penalty。它对边界 compliance 有用，但对动态碰撞、法规因果、交通参与者反应无能为力。把 DAC 提升解释成 safety improvement 会过度。

第五，feature-level aggregation 的可解释性弱。最终轨迹可以脱离 PCA subspace，这是优点，也是风险：proposal 分布是否真的约束 final plan，还是只是给 aggregator 提供额外 latent tokens，文中未充分说明。

Takeaway

• 1. 值得迁移的 insight 是：proposal 不一定要作为可执行候选轨迹存在，也可以作为 intent latent basis 被下游 planner 消费。
• 这个视角比“生成 K 条轨迹再选一条”更灵活。
• 2. 低维 trajectory manifold 是多假设生成的有效 inductive bias。
• 对于短时规划，把 generative supervision 放在 PCA / learned latent space，可能比直接在 waypoint coordinate 上建模更稳。

一句话总结

DRIFT 是一篇把 one-step generative proposal 从物理轨迹空间搬到 compact trajectory latent、再用 hidden-feature aggregation 替代 scorer selection 的固定深度 E2E planning 方法，真正贡献在 proposal-to-plan 信息接口重组，而不是单纯生成更多轨迹。