精读笔记

Problem Setting

Patch Policy: Efficient Embodied Control via Dense Visual Representations（arXiv preprint / 2026-07-21）。这篇论文针对的是 vision-based imitation learning 中一个很具体但长期被低估的问题：policy 端的视觉输入通常已经被 encoder 压成单个 global token，导致后续 action model 再强也无法恢复精细空间信息。真正困难点在于，机器人控制需要的不是图像分类式的 scene summary，而是局部几何、物体边界、接触位置、目标-末端执行器相对关系这些可定位的信息。此前路线卡在两端：轻量 policy 快但视觉表示过度压缩；VLA 保留 dense tokens 但把问题绑定到大模型、语言建模和高延迟推理上。关键矛盾是：精细控制需要 dense perception，但实时控制和小数据 imitation 又承受不了 full VLM/VLA 的计算与训练成本。

Motivation

已有路线不够的原因不是 policy head 不够复杂，而是信息在进入 policy 前已经丢了。CLS token 或 avg pooling 对语义识别合理，但对“插头还差 2mm 对齐”“哪个 cube 在哪个目标附近”“手爪相对 hook 的局部姿态”这类控制变量是错误抽象。作者的核心观察是：大规模 ViT 预训练已经产生了可迁移的 dense visual field，机器人学习没有必要重新训练视觉 backbone，也不必通过 VLA 间接获得 dense features。关键缺口是一个轻量、因果、可接入现有 transformer policy 的机制，让 patch tokens 作为控制状态直接进入 action model。

Core Idea

论文真正的核心思想是：把 embodied control 的视觉状态从 global embedding 改写成 patch-token sequence，并让 policy 在这个 dense spatial field 上直接建模动作。这样做改变了信息流：视觉 encoder 不再负责提前决定哪些空间细节重要，policy 可以根据当前任务和历史上下文动态选择 patch 间关系。

这个设计引入的 inductive bias 很直接：同一时刻的空间 token 应该互相可见，因为控制依赖完整场景几何；不同时刻之间必须保持因果，因为部署时不能访问未来。block-causal attention 正好把这两件事分开。和 prior 的本质区别是，它不把 dense perception 作为大 VLA 的副产品，也不训练视觉 backbone 学 patch features，而是把 frozen Internet-pretrained ViT 的 patch grid 当作轻量 policy 的原生输入。这比 VLA 更 scalable 的地方在于参数和训练成本不随语言模型规模绑定；比 global policy 更 generalizable 的地方在于下游任务可以重用空间结构，而不是重学被压缩掉的局部变量。

Method

方法层面真正重要的是三个机制。

第一，保留 frozen ViT 的全部 patch features。它解决的是 spatial bottleneck：CLS/avg pool 把局部位姿和多物体关系压成单点摘要，而 patch grid 保留可被 action model 查询的空间分辨率。冻结 backbone 的意义不是技术新颖，而是把视觉泛化能力外包给大规模视觉预训练，同时让 robot policy 的训练保持小样本和低成本。

第二，使用 block-causal attention。它解决的是 dense token 与时序控制之间的结构冲突：如果完全 causal 到 token 级别，同一帧早期 patch 无法看到同帧其他 patch；如果 full attention，又在训练中引入未来帧信息。block-causal 的核心变化是把“帧内空间推理”和“帧间时间因果”解耦。

第三，只替换 observation representation，不重新发明 action head。把同一套 dense representation 接到 VQ-BeT 和 Diffusion Policy 上，是为了证明主要变量是视觉 tokenization，而不是某个动作分布建模技巧。这里的贡献更像 policy input interface 的修正，而不是新的 imitation objective。

Key Insight / Why It Works

最可能的核心贡献是 dense pretrained patch representation 与 block-causal policy interface 的组合。它有效不是因为模型产生了新的高级推理能力，而是因为它避免了错误的信息压缩，并让下游 transformer 能在空间 token 上做 task-conditioned binding。很多机器人任务失败的根因是局部误差积累：接触点、目标边界、手爪-物体相对位姿一旦被 pooling 平滑掉，policy 只能依赖粗语义或轨迹先验。Patch Policy 保留这些局部变量，因此在精细、多物体、低容差任务上收益最大。

这更像 better inductive bias + representation reuse，而不是 planning、test-time compute 或 latent reasoning。所谓超过 VLA 的部分也不能解读为“小模型比大模型更会机器人推理”；更合理的判断是，在这些 in-domain BC benchmark 上，语言模型规模不是瓶颈，dense spatial signal 才是瓶颈。OpenVLA-OFT 的劣势可能来自动作接口、延迟、fine-tuning 难度、模型过大带来的 optimization mismatch，而不只是“VLA 不如 patch policy”。

哪些可能只是辅助：policy head 选择、action chunking、具体超参数、ViT-L/WebSSL 的更大特征维度，都可能贡献一部分 engineering/scaling 增益。模型 size ablation 显示性能随 policy capacity 增长，说明结果并非纯表示胜利；部分提升可能来自更大的 transformer trunk 能更好消费长 token sequence。文中未充分说明在相同 FLOPs、相同 trainable capacity、相同 encoder pretraining data 下 dense token 的净收益有多大。

compression ablation 是很有价值的证据：把 256 patches 压到更少会显著掉点，说明至少在 Push-T 上，空间分辨率不是冗余。但这只否定了 naive convolutional compression，不否定 object-centric tokenization、attention pooling、learned token pruning 等更结构化压缩。当前结果支持“不要过早全局池化”，不支持“所有 patch 永远都必须保留”。

Relation To Prior Work

它最接近三条技术线：一是 R3M/DynaMo/CAP 这类视觉表示用于控制的路线；二是 ACT、Perceiver-Actor、RVT 等使用 spatial tokens 的机器人 policy；三是 OpenVLA/RT 系列 VLA。Patch Policy 的不同点在于把“pretrained dense ViT features”从大 VLA 中剥离出来，接到普通 lightweight transformer policy 上。

看似新的地方，有相当一部分是已有思想重组：ViT patch tokens、frozen visual backbone、transformer policy、causal mask 都不是新组件。实质创新在接口层：它指出 robot policy 不应该默认消费 global feature，而应该把 patch grid 作为基本 observation unit；同时给出一个足够简单的 block-causal mask，使这个接口兼容标准序列 policy。这个贡献的价值在于改变默认建模选择，而不是提出复杂架构。

相对 VLA，它去掉语言和 generative LLM，只保留 dense visual representation；相对 ACT，它不从 scratch 学视觉 patch，而是利用互联网规模预训练；相对 DynaMo/CAP，它不把 representation 压到全局 latent。它属于“foundation visual representation as control state”的谱系，而不是 generalist robot agent 或 language-conditioned planner 的谱系。

Dataset / Evaluation

评估覆盖了仿真与真实机器人，任务包括 planar pushing、多任务 goal manipulation、多物体放置、pick-and-place、tool hanging、pen collection、cable insertion，以及附录中的 zero-shot pickup/real-to-sim。这个覆盖面足以支持一个较窄但明确的 claim：dense pretrained visual features 对精细视觉模仿控制有稳定收益，并且这种收益不局限于单一 policy head 或单一环境。

但 evaluation 没有充分证明更强的泛化 claim。大部分主实验仍是 in-domain BC：训练和测试属于同一任务分布或轻度随机化，真实机器人每个任务的数据规模也不大但场景受控。zero-shot pickup 结果有意义，但更像在已有 CAP 数据覆盖下的 representation upgrade，而不是开放世界泛化。与 OpenVLA-OFT 的比较能说明效率和 in-domain 性能优势，但不能说明 Patch Policy 替代 VLA 的语言条件、多任务迁移或语义泛化能力。

benchmark 对核心论点的支持是强的：patch vs CLS/avg pool 的对照直接打中空间压缩问题；attention mask ablation 也支持 block-causal 的必要性。但增益归因仍不完全干净，因为不同 backbone 的参数规模、patch size、pretraining 数据、feature dimension 都不同。文中未充分说明是否存在 benchmark overlap 或 web pretraining 数据中对仿真视觉分布的隐式覆盖，不过对真实机器人任务而言，这个风险较小。

Limitation

最大限制是方法没有真正建模长期状态或规划。它使用短 observation window 和 receding horizon action chunk，本质上仍是 reactive / short-horizon BC。任务成功依赖当前视觉能直接暴露关键状态；一旦出现遮挡、需要记忆隐藏变量、需要长期子目标搜索，dense patches 本身不会自动形成 planner。所谓 reasoning 更像 spatial retrieval 与局部对齐，而不是符号或任务级推理。

第二，泛化能力很可能主要来自 pretrained visual backbone 和 demonstration coverage。Patch Policy 把视觉泛化外包给 DINO/WebSSL，把动作泛化留给 BC policy；如果测试分布的动作修正模式没在 demos 中覆盖，patch tokens 不会凭空提供控制策略。真实任务的场景约束较强，例如固定 NUC 位置、有限物体扰动、固定硬件与相机配置，因此不能过度外推到开放场景。

第三，scalability 上限来自 token length。多视角、高分辨率、长历史窗口会让 attention 成本快速上升。当前 latency 在 H200 上可接受，但这不是普遍 deployment 条件。文中提到 FlashAttention，但这只是工程加速，不改变二次复杂度的基本压力。

第四，增益来源仍有混杂。Patch density、encoder pretraining quality、encoder size、policy capacity 同时变化；WebSSL 的优势可能部分来自更大 feature dimension 和数据规模，而不是某种更适合控制的目标。SigLIP2 表现差被解释为语言语义对齐牺牲几何，但这个判断还缺少诊断实验支持。

Takeaway

• 第一，视觉控制里“global feature as state”的默认假设应该被废弃，至少在精细 manipulation 中不成立。
• 更合理的默认接口是 frozen dense visual field + lightweight control head。
• 第二，VLA 的一部分机器人性能可能来自 dense pretrained vision，而不是语言模型本身。
• 未来很多 in-domain robot learning 场景可能会从 heavy VLA fine-tuning 回到小 policy + strong frozen visual representation。

一句话总结

Patch Policy 是一篇把机器人模仿学习从 global visual embedding 推向 frozen dense ViT token control interface 的论文，真正贡献不是新 policy head，而是证明精细控制的关键瓶颈往往是过早空间压缩而非模型规模不足。