精读笔记

Problem Setting

PrismAD面对的是query-based端到端自动驾驶规划里的表示耦合问题。现有planner通常把object tokens、map tokens、ego token、command token放进一个统一规划空间，让同一个planning branch同时处理交互避碰、车道几何约束和导航意图。这个设计工程上简单，但会把不同性质的规划证据混在一起：agent交互是动态、局部、时序敏感的；道路几何是结构性、空间约束型的；导航意图则是高层条件。真正困难点不是预测6个waypoint，而是在不同场景中判断哪些因素应该主导轨迹。以前方法卡在“统一latent + 单planner”的范式里，模型可以拟合轨迹，但很难形成可分解的factor-specific reasoning，也很难解释某次规划究竟依赖了哪类证据。关键矛盾是：端到端系统需要统一优化，但规划决策天然由异质约束共同决定；过度耦合会提高拟合便利性，却削弱可控性、可解释性和场景条件化能力。

Motivation

作者认为已有路线缺的不是更大的backbone或更复杂的trajectory decoder，而是规划阶段的语义分工。传统E2E planner已经有稀疏scene representation，但在planner里仍倾向于把所有token作为同质上下文；已有MoE for driving也多按场景类型、驾驶skill、VLA能力、reward objective或中间层计算做专家化，没有直接按“决定ego trajectory的因子”来组织专家。这里的核心观察是：motion prediction和ego planning对因子的偏好不同。预测周围agent更依赖interaction，ego planning则更受road geometry和command/status约束。如果两者共享同一个融合权重或同一个planner latent，模型会被迫学习一个折中表示。PrismAD的动机就是补上这个缺口：在planning level显式建立语义因子分解，并让融合权重随场景和任务目标变化。

Core Idea

论文真正的核心不是“用了MoE”，而是把MoE从通用网络层提升到规划语义层：每个专家不是FFN里的一个可替换子模块，而是一个完整的motion-planning branch；每个branch只接收与某类规划因子对齐的token。这样模型的信息流被重新组织为：先按语义因子分解证据，再独立形成规划假设，最后根据场景由router融合。这个建模方式引入了明确的inductive bias：交互、几何、意图是不同类型的约束源，不应在规划前端被无差别attention混合。

直觉上它可能有效，是因为多数驾驶错误并不是所有信息都缺，而是某类约束在统一表示中被弱化。例如转弯场景中command和lane topology应强约束轨迹，密集交通中interaction应主导避碰。单planner需要在同一参数空间里处理这些模式切换，容易学到平均策略；PrismAD把模式切换转移到router，把因子建模交给专家。和prior的本质区别在于，它不是按场景分专家，也不是扩大模型容量后让网络自己发现分工，而是用先验语义直接规定专家的职责边界。这比纯数据驱动的MoE更强约束，也可能更省样本，但上限受限于语义划分是否正确。

Method

关键机制可以压缩为三层。

第一，semantic token partition解决的是异质证据过早混合的问题。interaction tokens来自动态object queries，geometry tokens来自map queries，intent tokens来自command和ego状态。每个集合都加ego token，保证专家仍在同一ego-centric坐标下做规划。这一步的核心变化是把scene representation从“token集合”变成“规划因子集合”。

第二，decoupled planning experts解决的是单一planner表征容量被多种语义目标共享的问题。每个专家架构相同但参数独立，并分别输出motion和planning。重要的是专家之间没有cross-expert attention，这等于阻止表示层面的重新耦合。它带来的核心变化是：专家输出成为可融合的规划假设，而不是一个共享latent中的局部特征。

第三，semantics-aware router解决的是不同场景下因子重要性不同的问题。router用ego/cmd作为query，从detection/map tokens中聚合上下文，然后分别产生motion routing weights和planning routing weights。这个分离是有必要的：他车预测与自车规划不是同一个决策目标。noisy top-k gating和interaction always-on更像工程稳定性设计，分别用于避免expert collapse和保证基础交互能力不被router错误关闭。

三阶段训练的机制意义在于优化隔离：先获得可靠base tokens，再让专家各自成型，最后只训练router学习组合策略。它不必被理解成理论贡献，但很可能是结果能稳定出来的关键工程条件。

Key Insight / Why It Works

最可能的有效原因是better inductive bias，而不是纯粹的MoE scaling。驾驶规划中的约束本来就有结构：interaction负责动态可行性，geometry负责道路合法性和空间边界，intent负责目标方向。PrismAD把这种结构硬编码进planner的信息流，使模型不必从有限nuScenes数据中完全自发地发现这些分解。这个bias在Turning-nuScenes上更有效也符合预期，因为转弯样本中geometry和intent的权重更高，单纯interaction-driven trajectory imitation容易偏向直行或保守轨迹。

真正核心贡献应是“planning-level expert specialization + task-specific routing”。semantic token partition单独看并不新，很多系统早已有object/map/command token；MoE也不新。新意在于把这两者绑定：专家的输入语义、输出任务和router权重都围绕planning factor组织。尤其motion和planning使用不同routing weights，这比简单三专家融合更合理，因为它承认预测与规划的因果依赖不同。

哪些可能只是辅助：noisy gating主要是MoE常规稳定技巧；top-k sparse activation更多是效率/鲁棒性工程；t-SNE只能说明branch feature distribution不同，不能证明语义因果分解成立。三阶段训练可能贡献很大，但它更像curriculum和optimization isolation。增益也可能部分来自capacity和ensemble：三个完整planner专家显著增加参数与表示路径，即使没有完美语义分工，也可能通过多假设输出提升安全指标。论文的uniform fusion消融说明learned router必要，但没有充分排除“更多branch + 更长训练”的影响。

从机制归因看，这篇不是retrieval，也不是长期memory建模；它更接近latent structure alignment和conditional computation。它没有解决长期状态建模，也没有展示真正的交互博弈推理。所谓reasoning更可能是基于token表示的条件化轨迹校正，而不是显式因果推理。闭环安全提升值得关注，但在NeuroNCAP这种nuScenes派生环境里，仍可能受benchmark分布、底座planner先验和训练数据覆盖影响。

Relation To Prior Work

它最接近三条线：SparseDrive/VAD/UniAD这类query-based E2E planning，DiffusionDrive这类强trajectory decoder，以及MoE-for-driving/VLA/skill planner路线。和第一类相比，PrismAD不改变感知到规划的大框架，而是在planning head中改变token组织方式；和DiffusionDrive相比，它不是改生成机制，而是给生成/规划头提供因子化专家；和MoE路线相比，它不是按场景或skill分配专家，而是按规划语义因子分配专家。

看似新的部分里，token partition本身并不新，object-map-command分离是自动驾驶模型的常见结构；noisy top-k gating也是标准MoE技术；三阶段训练也属于常规稳定化。实质创新在于把这些已有思想重组到一个清晰的planning-level decomposition框架里，并明确区分motion routing和planning routing。这个新增信息是有价值的：它告诉我们MoE在自动驾驶中不一定要按scenario cluster或driving skill组织，按因子约束组织可能更贴近规划问题本身。

从技术谱系看，PrismAD属于结构先验增强的端到端规划方法，而不是大模型式VLA路线，也不是纯生成式轨迹建模路线。它推动的是planner head的语义结构化，而非感知、世界模型或语言推理能力。

Dataset / Evaluation

评估覆盖了标准nuScenes open-loop、NeuroNCAP closed-loop和Turning-nuScenes。这个组合基本能验证三件事：常规轨迹拟合是否下降，闭环安全是否改善，几何/意图敏感场景是否更受益。Turning-nuScenes上的提升对论文claim最有支撑，因为它更直接考察geometry和intent是否补足interaction-only planner的短板。NeuroNCAP结果也说明该方法不只是open-loop L2优化，至少在仿真闭环里对安全有帮助。

但评估仍不足以完全支撑“generalizable semantic reasoning”。所有主要benchmark都基于nuScenes或其派生设置，没有跨城市、跨数据集、跨传感器、跨控制栈，也没有真车或高保真多样闭环部署。open-loop L2和collision本身对规划能力的解释有限，容易被数据分布和轨迹模仿主导。NeuroNCAP比open-loop更强，但仍是由nuScenes logs构造的闭环渲染，不等同于真实交通交互。论文也没有系统分析router权重是否与真实场景因子因果一致，只展示了定性可视化；因此“解释性”claim目前更多是可观察性，而不是严格解释。

Limitation

第一，方法成立依赖语义token本身已经可靠。若object query漏检、map query错误、command噪声或ego状态存在shortcut，专家分工会被污染。PrismAD没有解决上游感知不确定性，只是在planner层重新组织已有token。

第二，scalability上限来自手工语义划分。interaction/geometry/intent是合理但粗粒度的三分法，复杂驾驶还涉及交通规则、信号灯、社会行为、遮挡风险、可行控制边界、舒适性等因素。继续扩展专家数量会带来router训练、专家冗余和数据覆盖问题；不扩展则语义分解可能不够细。

第三，增益归因不清。三个完整专家带来更多参数和类似ensemble的多路径能力，三阶段训练也可能带来额外优化收益。论文没有充分证明提升主要来自semantic factorization，而不是capacity、curriculum或底座planner本身的强先验。

第四，所谓规划推理可能仍是轨迹模仿下的条件化校正。模型没有显式长期状态、交互博弈、可达性约束或控制可行性保证。闭环表现改善不代表已经形成真实因果规划能力。

第五，泛化证据有限。nuScenes系benchmark可能存在场景分布重叠和implicit memorization，尤其Turning-nuScenes样本规模很小。文中未充分说明router在OOD场景下是否会稳定选择正确专家，也没有展示expert specialization在失败案例中的边界。

Takeaway

• 1. 最值得记住的是：自动驾驶MoE不一定要按场景或skill分专家，按规划因子分专家可能更符合任务结构。
• 这个insight可以迁移到其他具备异质约束的决策问题，例如机器人导航中的obstacle/topology/goal分解，或操作任务中的contact/geometry/instruction分解。
• 2. PrismAD推动的是planner head结构化，而不是端到端系统整体范式革命。
• 它说明在强baseline上，合理的latent structure alignment仍能带来安全收益，尤其在几何和意图更关键的长尾场景。

一句话总结

PrismAD是端到端自动驾驶规划中一种结构先验驱动的planning-level MoE演化：它把object/map/intent等已有信息从统一planner latent中拆成语义专家，并通过任务分离的router做自适应融合，真正贡献在于规划因子化的信息流重组，而不是单纯使用MoE。