精读笔记

Problem Setting

《Steering Robustness into World Action Models via Mechanistic Interpretability and Optimal Control》（arXiv preprint / 2026）。这篇论文处理的不是一般 WAM policy improvement，而是 WAM 在不可穷尽扰动下的 inference-time robustness。关键矛盾是：WAM 内部可能已经编码了与成功执行相关的世界/动作表征，但这些表征在 camera shift、gripper initialization shift、sensor noise 下会偏离；如果靠再训练或数据增强，需要覆盖大量 nuisance factors，成本和泛化都不可控。

以前的路线基本卡在两端：一端是 benchmark-driven robustness，通过更多数据、finetuning、RL post-training 提升平均性能，但很难解释失败机制；另一端是 activation steering，多数来自 LLM/VLA，通常 open-loop 加向量，缺少对 WAM diffusion dynamics 和 action degradation 的控制。本文真正想解决的是：能否先判断一个 WAM 是否“可被 steering”，然后用低成本推理时干预把它拉回更鲁棒的内部状态。

Motivation

作者的核心观察是：WAM 的失败不一定只表现为最终 action 错误，它可能在 hidden activation 中已经体现为某种 robustness-relevant feature displacement。如果 nominal/successful 与 perturbed/failed rollout 在激活空间中可以用低维线性方向区分，那么这个方向就不只是 probe target，也可能是 intervention target。

已有路线缺的是一个从“可解释诊断”到“可控干预”的闭环。LLM 的 ActAdd 假设语义方向线性可加，但 WAM 的 activation 会沿 denoising timestep、transformer depth、action chunk 共同演化，固定向量相加很容易过度 steering。控制视角的引入是自然的：既然 WAM activation dynamics 在局部近似线性，就可以把 feature correction 写成 tracking problem，而不是一次性 perturbation。

Core Idea

论文的核心思想是把 WAM 的中间激活重新建模为一个低维、局部线性的受控系统，而不是把它只看成不可解释的 policy representation。contrastive rollout 提供了扰动/成功相关的方向；SVD/PCA 提供低维 feature subspace；LQR 提供沿 transformer layers 的最小干预反馈。这样，robustness steering 从“往某层加一个经验向量”变成“在线测量当前 feature strength 与目标 setpoint 的偏差，再根据局部 dynamics 施加 correction”。

本质区别在 inductive bias：它假设鲁棒性相关失败可以被投影到少数 activation directions，并且这些 directions 在模型内部传播时满足局部线性动力学。这个 bias 比直接 finetuning 更轻，比 prompt steering 更接近 action-generating mechanism，比 ActAdd 更保守，因为它只在偏离目标 feature strength 时干预。

Method

第一步是 steerability diagnosis。作者不是直接假设所有 WAM 都有线性 feature，而是用 contrastive activations 做 PCA，再在前三个主成分上用线性 SVM hinge loss 测 separability。这个步骤解决的是“该不该 steering”的问题：如果低维不可分，后续 activation steering 很可能只是噪声注入。

第二步是 contrastive feature construction。对 paired nominal/perturbed 或 successful/failed inputs 取 activation difference，并在 action chunks 上聚合，得到 feature direction。这个方向的作用不是解释扰动本身，而是定义希望模型内部靠近的 activation setpoint。

第三步是 reduced-order WA-LQR。高维 activation 不能直接做 LQR，所以先用 contrastive directions 的低秩子空间压缩，再在线计算 feature tracking error。LQR 控制的是 transformer block depth 内的 latent dynamics；每个 denoising timestep 近似为一个独立的 L-step controller。核心变化是从固定强度的 open-loop steering 变成根据当前 activation 自适应调节的 feedback intervention。

Key Insight / Why It Works

这篇论文最有价值的 insight 是：activation separability 可以作为 steering success 的前置诊断，而不是事后解释。Cosmos-Policy / DiT4DiT 能 steer，LingBot-VA 基本不能 steer，这说明 robustness intervention 的瓶颈不只是控制算法，而是模型内部是否保留了可线性访问、可因果操纵的 feature geometry。

WA-LQR 有效的原因大概率不是 LQR 带来了强规划能力，而是它给 ActAdd 加了两个约束：低维 subspace 约束和 feedback magnitude 约束。前者减少无关激活扰动，后者避免 feature 已经足够时继续硬推。它更像 representation alignment + test-time control，而不是新的机器人 planning 方法。

哪些是核心贡献：steerability diagnostic 与 reduced-order feedback steering 的组合是实质贡献；把 LQR 套在 DiT block dynamics 上是合理但更多是已有控制思想的迁移。哪些可能只是辅助：chunk-wise decay、具体 timestep/layer partition、rank-64 SVD 等更像 engineering choices。Gaussian noise 下 ActAdd 能超过 WA-LQR 也说明，当 feature 极强线性可分时，复杂控制不是必要条件。

需要警惕的是，成功可能部分来自 benchmark 中任务结构共享和数据覆盖，而不是开放世界泛化。task grouping 是经验发现的，跨任务迁移更像共享 latent cluster reuse，不等于真正的 compositional robustness。文中没有充分证明 steering 方向对成功是因果充分的；它展示了 intervention correlation，但还没有完全排除 shortcut feature 或 evaluation bias。

Relation To Prior Work

这条线最接近三类工作：LLM activation steering / representation engineering，VLA mechanistic interpretability，以及 diffusion/video generation 的 activation control。本文的新意不是 contrastive vector，也不是 LQR，而是把这些东西放进 WAM 的 action-generating DiT dynamics 中，并把 separability 明确用作是否值得 steering 的诊断信号。

相对 LLM ActAdd，本文的本质差异是把 intervention 从 layer-local open-loop addition 扩展为沿 transformer depth 的 closed-loop tracking。相对 VLA MI，本文关注的是 WAM 中耦合未来状态和动作的 DiT backbone，而不是仅解释 reactive policy hidden states。相对 robustness finetuning / RL post-training，它不改变权重，属于 test-time representation control。

看似新的部分中，contrastive directions、低秩子空间、局部线性化和 LQR 都不是新概念；实质新增的信息是：WAM 的 robustness-relevant activation 在某些架构中确实呈现可利用的低维线性结构，并且这种结构能预测 steering 是否有效。

Dataset / Evaluation

评估主要在 LIBERO-10 风格的模拟 manipulation 任务上，覆盖 camera orientation、initial gripper position、Gaussian visual noise 三类扰动，并比较 Cosmos-Policy、DiT4DiT、LingBot-VA 三种 WAM 架构。任务不是单一场景，但仍属于相对模板化的 offline benchmark；没有真实机器人结果，也没有更开放的自然分布扰动。

实验支持的 claim 是有限但明确的：在具有低维线性 separability 的 WAM 上，activation steering 可以提升 OOD success rate；低 separability 的模型上增益弱。这支撑“MI 可诊断 steerability”和“WA-LQR 可作为 training-free intervention”的主张。

但 evaluation 还不足以证明更强的说法，例如 WAM 获得了真正稳健的世界建模、长期 planning 能力或开放部署鲁棒性。task transfer 是在同一 benchmark 内的任务 cluster 之间完成的，泛化边界没有被充分拉开。prompt steering baseline 很弱，不能代表强 test-time adaptation baseline。

Limitation

最大限制是方法把 robustness 问题转移成了“找到可迁移的低维因果 activation subspace”。如果模型内部没有这种结构，或者结构与任务成功不是因果相关，WA-LQR 没有根本办法。LingBot-VA 的结果已经说明这不是 architecture-agnostic 方法。

第二个限制是 scalability。每个扰动、任务 cluster、模型架构都要做 activation collection、separability analysis、SVD/Jacobian/LQR setup。文中未充分说明如何自动发现 task clusters，也没有给出 deployment 中面对未知扰动时的在线诊断机制。

第三个限制是增益归因不够清晰。提升可能来自把 activation 拉回训练分布附近，而不是提升了模型对扰动的物理理解。所谓 robustness 更像 latent distribution correction；所谓 control 更像 feature-level feedback regularization。对于 long-horizon reasoning、contact-rich dynamics、真实相机/机器人标定误差，论文没有证据。

第四，局部线性假设只在小幅 steering 和特定 subspace 内成立。强 intervention 会破坏动作质量，ActAdd 的 gamma sensitivity 已经暴露这一点。WA-LQR 缓解但没有消除这个上限。

Takeaway

• 1. 对 WAM 做 robustness steering 之前，先测 activation separability；不可分的模型上强行 steering 大概率只是注入扰动。
• 2. 这篇真正推动的是“mechanistic diagnosis -> test-time control”的闭环，而不是单独提出一个更强的 controller。
• 3. WAM robustness 的一个可迁移 insight 是：很多 OOD failure 可能表现为低维 latent feature drift；如果能定位 drift，就可以用轻量 feedback correction 代替 retraining。
• 4. 未来更值得做的是自动发现可迁移 subspace、验证 feature causality、扩展到真实机器人和未知扰动，而不是继续堆更复杂的 LQR/steering 超参数。

一句话总结

这篇论文把 WAM 鲁棒性问题从权重训练转向可诊断的 activation-space 反馈控制，真正贡献在于证明低维线性可分表征可以预测并支撑 training-free steering，而不是证明 WAM 已经具备通用鲁棒规划能力。