精读笔记

Problem Setting

这篇论文实际在解决连续控制里的 adaptive inference 问题：policy 不应只是在 observation 上一次性回归 action，而应能根据状态复杂度动态分配内部计算。困难点是控制动作需要高频、连续、细粒度的空间/接触信息，语言式 chain-of-thought 的符号粒度和延迟都不合适；而 diffusion、VQ-BeT、FAST 这类 generative control/tokenization 路线虽然能表达多模态动作分布，但通常计算预算固定，且中间表示不是为“何时多想、何时少想”设计的。关键矛盾是：需要更强的内部表达和多模态性，但又不能让 latent 成为无约束的记忆索引或固定成本的过拟合通道。

Motivation

作者真正抓住的缺口是：robot policy 缺少一个天然的 reasoning medium。LLM 可以在语言 token 上展开推理，机器人动作却不能简单借用语言，因为低层控制的歧义、接触、时序和几何精度很难压进自然语言中。已有 embodied reasoning 往往需要人工设计中间接口，例如子任务、空间描述、系统 1/2 切换或 stopping criterion；这些接口本身会限制粒度。LMP 的动机是让中间推断空间端到端从 action prediction 中长出来，并且让计算长度成为模型自己选择的变量。

Core Idea

核心思想是把“推理”定义成 posterior inference over variable-length latent paths。训练时，posterior q(z|o,a) 看到动作，可以把 observation-action 对编码成一条离散 latent path；prior p(z|o) 只能看 observation，学习在测试时复现这种 path 分布；decoder p(a|o,z) 再把 path 解释成动作。这样，控制策略不是直接映射 o 到 a，而是先从 o 中采样一段内部 latent trace，再通过 trace 生成 action。

这改变了建模方式：latent 不再是固定瓶颈，而是 autoregressive、可终止、可变计算量的结构。新的 inductive bias 是“用尽可能短的 latent path 表达足够确定的控制信息”。相比 diffusion 的固定 denoising steps，它把 compute allocation 显式变成策略分布的一部分；相比 VQ/action tokenization，它不是先离线量化动作再训练 policy，而是通过 variational objective 让 latent 同时服务 reconstruction、prior alignment 和 adaptive stopping。

Method

第一，autoregressive latent + EOS 解决固定维 latent 无法按输入复杂度调节计算的问题。latent sequence 的长度本身成为 policy 的内部资源变量，而不是一个预设超参数。

第二，ELBO 解决 latent trace 失控的问题。posterior 可以利用动作做编码，但 KL 要求它不能偏离 observation-conditioned prior 太远；这迫使 latent path 学到测试时 prior 能复现的控制相关结构，而不是任意压缩标签。

第三，长度相关 decoder variance 是核心 compression mechanism。随着 latent length 增加，Gaussian likelihood 变尖；更长 trace 会提高精度要求，因此只有当额外 token 真能降低 reconstruction error 时才有价值。这个设计把“多想一步”变成一个 precision-cost tradeoff，而不是单纯鼓励越长越好。

第四，latent-space RL 是优化手段而不是环境 RL。由于可变长离散采样不可微，作者把 posterior rollout 看成 latent episode，用 PPO-style clipped surrogate 优化 ELBO，并用逐步 KL 分解降低方差。这里的 RL 主要解决训练可行性，不是让机器人通过在线交互学控制。

Key Insight / Why It Works

我认为最核心的有效机制不是“memory palace”隐喻，而是 variational compression under variable-length discrete latents。posterior-prior KL 让 latent trace 成为可被 observation 检索的中间代码；variance schedule 让 latent length 与可预测性绑定；EOS 让 compute allocation 进入模型本身。这三者合起来形成一种 action-conditioned retrieval distillation：训练时从动作中找可压缩解释，测试时从 observation 中检索类似解释。

所谓 adaptive reasoning 更像是“可变长 latent retrieval / mode selection”，不太像传统意义上的 planning。证据是 latent steps 与 KNN action variance 负相关，且 gripper timing 这种 demonstration-intrinsic uncertainty 会导致更短 trace；这说明模型在不确定、不可由 observation 消除的地方少花 compute，在可预测几何调整处多花 compute。这是合理的，但它不是在搜索未来状态，而是在学习何处值得提高动作精度。

最可能贡献性能的是 latent structure + compression regularization，而不是 PPO 本身。PPO-style 训练是让这个目标可优化的工程必要条件，但增益很可能来自：可变长离散 bottleneck 缓解多任务 interference；posterior-prior 对齐形成 observation-conditioned retrieval；长度惩罚避免 decoder 忽略 latent 或 posterior 过度 splatting。LMP-tok 的结果也支持这一点：同样下游 AR policy 下，variationally trained variable-length tokenizer 比纯 reconstruction 或手工 DCT/BPE tokenization 更有效。

需要保持怀疑的是 scaling/data 的贡献。DROID/LIBERO 多任务设置里模型规模、视觉 encoder、语言条件、大数据覆盖都可能显著影响结果；文中没有完全隔离这些因素。单任务 RoboMimic/D3IL 上 DP 与 LMP 差距不稳定，说明 LMP 的优势不是普适地来自“推理”，更可能在多任务、高干扰、需要检索不同行为模式的场景中体现。

Relation To Prior Work

它最接近三条线的交叉：VAE/latent variable control、discrete action tokenization、test-time compute/latent reasoning。和普通 conditional VAE 的本质差异是 latent 从固定向量变成可变长 autoregressive trace；和 VQ-BeT/BeT 的差异是 token 不是静态动作码本，而是通过 posterior-prior variational alignment 学到的推断路径；和 Diffusion Policy 的差异是迭代过程不在 action denoising space 中固定展开，而是在 learned latent space 中可变长展开。

看似新的部分里，“用 latent 作为 reasoning trace”“用 KL 做 posterior-prior distillation”“用 PPO 优化离散采样”都不是全新思想，而是已有 VAE、RLHF/PPO、latent reasoning 的重组。实质创新在于把这些组合成一个适合连续控制的结构：EOS-terminated autoregressive latent + length-dependent likelihood compression + latent-space RL optimization。相对 RD-VLA 这类 recurrent-depth action head，LMP 的 stopping 不是基于手工 action-change threshold，而是从 probabilistic objective 里内生出来，这是更干净的建模差异。

Dataset / Evaluation

evaluation 覆盖面比较强：有真实 DROID，有 LIBERO 多任务，有 D3IL 多模态和 RoboMimic 精细操作，也单独评估 tokenizer。它确实验证了 LMP 可以作为 performant generative control policy，也验证了 variable-length variational tokenizer 对下游 AR policy 有价值。

但它对核心 claim 的支持仍有限。论文声称 iterative/adaptive reasoning，但主要证据是 latent length 的可视化、与 KNN action variance 的相关性、以及 truncation/variance schedule ablation。这能说明模型学到了 adaptive compute allocation，却不能说明它在做规划或因果推理。真实世界任务数量和每任务评估规模较小，zero-shot 也可能受 DROID 数据覆盖影响。LIBERO bottom-10 improvement 支持 reduced cross-task interference，但这仍可能是更好的 regularized latent retrieval，而不是更强 semantic generalization。

Limitation

方法成立依赖几个强前提：demonstration distribution 足够覆盖动作模式；observation 足以预测 posterior 中的 latent path；action uncertainty 可以通过 likelihood/variance schedule 合理区分为可约减与不可约减；latent discrete bottleneck 不会 collapse。任何一个前提不成立，LMP 都可能退化成短 trace deterministic policy、posterior splatting、或 decoder 忽略 latent。

scalability 的上限在优化而非表达。采样式 latent RL、rollout buffer、free nats、uniform mixing、clip surrogate 都说明训练很脆；这不是一个天然稳定的 maximum likelihood pipeline。文中未充分说明在更长 horizon、更大 vocab、更复杂 action distribution 下是否可扩展。

“reasoning”表述偏强。当前 latent 每个 action chunk 重新生成，没有 persistent memory，也没有显式 world model rollout 或 long-horizon search。它更像局部动作分布的可变长编码/检索。planner 实际没有形成长期状态建模；所谓推理主要体现在 test-time latent compute allocation。

增益来源不清。多任务真机上的提升可能来自更好的 scaling、data coverage、视觉/语言 backbone、压缩正则或 tokenizer inductive bias。论文做了必要 ablation，但还不足以把“autoregressive variational inference”与“更强模型/更好正则/更合适 action representation”完全拆开。

Takeaway

• 第一，控制中的 test-time compute 不一定要发生在语言或 diffusion steps 里；把 compute 放进 learned latent path，并用 probabilistic objective 约束，是一条更适合低层动作的路线。
• 第二，最值得迁移的是“可变长 latent bottleneck + compression pressure + posterior-prior distillation”这个组合。
• 它可以用于 action tokenization、world-action modeling、甚至其他连续决策问题。
• 第三，未来真正有价值的方向不是继续包装 memory palace，而是让 latent persistent across episode、和 world model / value estimate 接上，并解决采样式训练不稳定的问题。

一句话总结

LMP 是一类把连续控制中的内部推断建模为可变长自回归 latent variational inference 的方法，实质贡献在于用压缩约束的 latent retrieval 机制实现 adaptive test-time compute，而不是证明机器人已经学会了显式规划推理。