精读笔记

Problem Setting

BadWAM 研究的不是普通 adversarial policy attack，而是 WAM 特有的接口一致性失败：同一个观测扰动同时进入 future imagination 和 action generation，但两个输出在扰动下可以不同步。真正困难点在于，WAM 的吸引力恰恰来自“动作和未来预测耦合”，而这篇论文指出这种耦合不是安全保证，只是训练/架构层面的相关性。

以前的安全检查大多卡在 future plausibility：如果 imagined rollout 看起来合理，就倾向于认为 action 是可接受的。但这个假设漏掉了动作是否仍然对应这个 future。关键矛盾是：WAM 提供了额外的可检查信号，却没有提供可验证的 action-future binding；攻击面正是这个 binding 的脆弱性。

Motivation

已有路线不够的地方在于，它们把 world model output 当成安全代理变量。对 imagine-then-act 或 future-aware controller 来说，这个代理变量只有在 action 与 imagination 保持同步时才有意义。一旦二者可被扰动解耦，监控 future 就可能产生虚假的安全感。

作者的核心观察是：失败 episode 往往伴随较大 action shift，但 future shift 与成功/失败的区分并不强。这说明失败不是因为模型“梦坏了”，而可能是因为模型仍然梦得像 clean case，但动作通道已经漂移。缺口因此很明确：现有评估没有把 action-imagination synchronization 当作一等安全属性。

Core Idea

论文的核心思想是把 WAM 攻击建模为 world-action drift：在 bounded visual perturbation 下，不只是让动作变坏，而是研究动作变化和想象变化之间的相对关系。这个视角改变了攻击对象：prior attack 主要打 perception label、world rollout 或 policy action；BadWAM 打的是两个能力之间的接口。

直觉上它会有效，是因为 WAM 的 action head 和 future head 即便共享表征，也通常有不同的解码目标、损失几何和局部 Lipschitz 行为。未来视频/latent 预测往往更平滑、更受数据先验约束，而 action chunk 对局部几何、抓取时机、末端位置更敏感。攻击只需要找到让 action manifold 偏移、但不显著离开 future manifold 的方向。这不是引入更强模型，而是重新定义了 WAM 安全评估的 inductive bias：从“未来是否合理”转成“动作是否仍能实现这个未来”。

Method

方法层面应抓住三个机制。

第一，action-only attack 解决的是强破坏性问题：在黑盒 query 下最大化 clean/attacked action chunk 的距离。它的必要性在于建立高强度端点，证明 WAM 的 future coupling 并不会自动提供 action robustness。核心变化是攻击不依赖 task reward 或 expert action，只需要模型输出动作，因此更接近部署 API 威胁模型。

第二，imagination-preserving attack 解决的是 stealth 问题：在推动 action drift 的同时惩罚 future drift。这个项不是为了提升攻击强度，而是为了构造 WAM-specific failure：安全监控看到的 imagined future 仍接近 clean，但实际执行动作已经偏离。核心变化是把攻击目标从单输出扰动变成 action/future 的相对解耦。

第三，闭环在线 zeroth-order optimization 解决的是部署可行性与动态累积问题。每个 replanning step 重新搜索扰动，使攻击适应当前状态；小偏差通过后续观察和 replan 累积成任务失败。这一点比 single-step action distance 更关键，因为机器人任务的失败通常来自接触、几何和时序误差的累积，而不是单帧输出异常。

Key Insight / Why It Works

最核心的 insight 是：WAM 的“耦合”主要是统计和架构上的，不是因果或约束意义上的。模型可以同时输出一个 plausible future 和一个不再对应该 future 的 action。BadWAM 有效不是因为发现了新的优化技巧，而是因为它利用了 representation alignment 的缺口。

真正贡献在于把 future prediction 从安全保证降级为一个需要被验证的接口。未来预测越强，反而越可能让 monitor 过度信任；如果 action head 可以沿着对任务敏感但对 future distance 不敏感的方向移动，那么 visually plausible imagination 会掩盖执行风险。

最可能是核心贡献的部分是 imagination-preserving objective 与 matched-strength comparison。它直接证明“保持 future 接近”与“动作安全”不是同一件事。action-only attack 本身更像已有黑盒 policy attack 的 WAM 版本，贡献较弱；zeroth-order search 也是标准 test-time compute/black-box optimization，不是新算法。

有效性主要来自三类因素：第一，better attack objective，即显式优化 action/future decoupling；第二，test-time compute，每个 replan 用 query search 找局部脆弱方向；第三，WAM 表征中的 alignment gap。不是 scaling，也不是 retrieval；也不像规划能力被攻破，更像 action decoder 对观测扰动的局部敏感性被系统性利用。

需要保留判断：future drift 用像素或 latent 距离衡量，可能低估语义层面的 imagination change。所谓“dream right”在论文里更多是“与 clean prediction 距离近”，不等价于真实未来正确。这个表述有一定宣传性。

Relation To Prior Work

它最接近三条线：黑盒 adversarial policy attack、world model attack、以及 imagine-then-check WAM safety。和普通 policy attack 的差异是 BadWAM 不只看 action deviation，而把 action 与 future 的同步性作为攻击面。和 BadWorld 这类 world-model attack 的差异是它不是主要破坏 rollout，而是保留 rollout 同时破坏执行。和 oracle-level imagine attack 的差异是目标不是污染 trusted imagination，而是让 trusted imagination 与 action 脱钩。

看似新的部分里，query-based finite difference、Lagrangian penalty、bounded visual perturbation 都是已有思想重组。实质创新在问题定义和诊断协议：把 WAM 安全从 future plausibility 重新表述为 synchronization safety，并用 action distance、future distance、闭环成功率、horizon/channel shift 一起刻画。

它属于“foundation robot policy 的接口安全评估”谱系，而不是提出新 WAM 架构。论文价值更像安全 lens：告诉后续 WAM 不能只 report future quality 或 clean success，必须 report action-future consistency under perturbation。

Dataset / Evaluation

评估覆盖 LIBERO 和 RoboTwin，任务上包含多 suite、多任务、长短 horizon 和多 WAM 变体，足以支持“这不是单一模型 artifact”的基本 claim。闭环执行是必要且正确的选择，因为这类攻击的真实危害来自 action drift 在环境中的累积。

但 evaluation 仍然主要是仿真，没有真机、物理扰动实现、相机链路、实时约束和安全 monitor 的真实部署。RoboTwin 上攻击降幅明显小于 LIBERO，说明任务/训练/视觉冗余会显著影响脆弱性。部分 transfer、defense、budget ablation 用 balanced subset，作者也承认计划扩展到 full sweep，因此这些结论目前只能看趋势。

实验支持核心 claim：future-preserving attack 可以在保持较低 future drift 的同时造成任务失败。但它没有完全证明“人类或真实 monitor 会被骗”，因为 future plausibility 的 operationalization 仍偏距离指标，而不是实际安全判定器。

Limitation

第一，攻击假设较强：每个 replanning step 都能改视觉输入，并能进行多次 query。现实部署中 query budget、延迟、传感器访问权限、输入 pipeline 都会限制攻击可行性。文中未充分说明实时攻击链路。

第二，dream right 的证据并不充分。future 与 clean prediction 接近，不代表 future 真实正确，也不代表语义上安全。若 clean imagination 本身就粗糙或不接触物理细节，保持接近并不难。

第三，增益归因不完全清晰。攻击强度可能部分来自 WAM/action policy 本身的普通视觉脆弱性，而 WAM-specific decoupling 通过 future-preserving comparison 得到支持，但内部机制没有被充分定位。是 shared representation 的局部非对齐、action decoder 的高敏感性，还是 future decoder 的平滑先验，文中未充分说明。

第四，防御实验较弱。Gaussian/JPEG preprocessing 能明显恢复 attacked success，说明当前攻击对输入变换不自适应；但 adaptive attack 下是否仍成立没有结论。简单 detector 低 recall 只能说明 naive consistency check 不够，不能排除更强 action-conditioned monitor。

第五，泛化仍有限。transfer across WAM variants 是有价值证据，但这些模型可能共享训练 recipe、数据分布和视觉 backbone。泛化可能依赖 benchmark overlap 或 shared preprocessing，而不是普遍的 WAM 脆弱性。

Takeaway

• 1. WAM 安全的核心变量不应是 imagined future 是否 plausible，而是 action 与 imagined future 是否仍同步。
• 2. Future prediction 不是天然 safety signal；如果没有 action-conditioned consistency check，它甚至可能成为误导性证据。
• 3. 这篇最可迁移的 insight 是“多头/多接口 foundation controller 的安全性要检查接口绑定，而不是分别检查每个输出”。
• 同样逻辑可迁移到 VLA、planner-controller、world-model-MPC、tool-using agent。

一句话总结

BadWAM 是一篇把 WAM 鲁棒性问题从“未来预测是否可信”推进到“想象与执行是否同步”的安全评估论文，实质贡献在于定义并验证了 action-imagination decoupling 这一 WAM 特有攻击面。