精读笔记

Problem Setting

这篇论文真正处理的是 interactive human motion generation 的在线可控性问题：系统必须在 runtime 连续生成动作，同时接受动态文本 prompt 和稀疏/密集 kinematic constraints。关键矛盾是，交互系统要低延迟和局部重规划，而文本语义和空间目标往往需要较长上下文甚至远期条件。

以前方法的卡点很清楚：offline diffusion/masked generation 能做复杂 text + constraints，但推理方式是整段并行生成，不适合实时响应；online autoregressive 方法能实时，但通常只看短 history/future，控制类型有限，或者依赖 test-time optimization / RL policy。ARDY 要解决的不是“生成更好看的 motion”，而是在 streaming setting 下把 controllability 变成模型的原生能力。

Motivation

已有路线不够的根因是表示和条件接口没有对齐交互任务。纯显式 motion representation 对 diffusion 来说维度高、冗余强，少步采样时难以保持质量；纯 latent representation 对全局 root/path 这类用户最常控制的变量不透明，难以精确覆盖。短窗口 AR 模型虽然快，但对于“先做 A 再做 B”这类非循环文本，缺少判断当前进度的状态。

作者的核心观察是：交互动作的控制主轴通常是 root trajectory / heading / target reaching，而身体姿态细节更多是条件化生成问题。缺口在于一个既能显式操控 root、又能用 compact latent 学身体分布、还能在 AR 流程中注入远期目标的统一建模方式。

Core Idea

ARDY 的真正核心不是把 diffusion 改成 autoregressive，而是重新组织 motion 的信息流：root motion 作为显式、全局、可覆盖的低维控制变量；body motion 作为 latent token，由 tokenizer 压缩后生成。这样 root 承担 task-level spatial control，body latent 承担 pose-level realism。

two-stage denoising 进一步把这个分解变成生成过程中的 inductive bias：先预测 clean root，再以 root 为条件预测 clean body latent。直觉上，这让模型先决定“人在哪里、朝哪里、如何接近目标”，再决定“身体如何自然地完成这个运动”。相比 prior 中把全身 pose 一起 denoise 或在 test time 用优化硬拉 constraint，ARDY 更像是把控制结构预先嵌入生成模型，使其在 few-step diffusion 和 streaming replanning 下仍可用。

Method

关键机制只需要看四个层面。

1. Hybrid representation：显式保留 global root position/heading，body 用 learned latent embedding。它解决的是“精确控制”和“高效生成”之间的冲突。核心变化是把空间控制变量从高维身体姿态中解耦出来。

2. Causal body tokenizer：tokenizer 把多帧 body motion 压成 latent token，decoder 接收 root 条件重建 body。这里重要的不是 tokenizer 类型本身，而是让 denoiser 在低维 body space 中工作，同时保留 root-to-body 的条件通道。decoder 中 global-to-local root conversion 对减少 foot skating 有实用价值，本质上是让身体重建看到更稳定的局部运动坐标。

3. Variable-history autoregressive formulation：每次生成一个短窗口，但可接收可变长度历史和未来约束。它解决复杂文本和 long-horizon goals 需要上下文的问题。这里的“长期”仍是有限窗口内的长上下文，不是无限记忆。

4. Masked constraints + two-stage denoiser：约束被编码成 masked explicit motion sequence；root constraints 可直接 overwrite noisy root，body constraints 作为 masked features 输入。root transformer 先给出 clean root，body transformer 再预测 body latent。这个机制的作用是减少控制和生成之间的竞争，让空间目标先影响低维 root，再影响高维姿态。

Key Insight / Why It Works

我认为最核心的贡献是 representation alignment，而不是 diffusion architecture 本身。交互控制中最需要精确性的变量是 root/path/heading；motion realism 中最难建模的是高维 body pose distribution。ARDY 把这两个问题拆到不同表示空间里：root 用 explicit features 保证可控，body 用 latent tokens 降低生成难度。这是它能在 4-10 step diffusion 下工作的主要原因。

第二个关键点是 root-first 的信息流。很多 motion constraint failure 不是因为模型不知道目标，而是因为目标同时作用在 root 和 body 上时梯度/条件信号混杂，高维姿态先验会抵消空间控制。先生成 root 相当于把全局运动计划压成一个低维轨迹，再让 body 跟随；这比直接 joint denoise 更稳定。

第三，long-horizon goal 能力更像是条件补全 + 数据覆盖，而不是显式 planning。模型看到 future constraint tokens，并根据训练中采样的 ground-truth constraints 学会从当前窗口朝目标移动。它可能能处理 10 秒内的路径/关键帧，但不应被理解为形成了抽象任务规划能力。所谓“理解复杂文本”的一部分也可能来自 variable history 避免重复动作，另一部分很可能来自大规模 mocap + paraphrased labels 的覆盖。

哪些可能只是辅助：FSQ tokenizer 相比 AE/VAE 的优势主要是训练稳定性，不是概念性突破；latency-aware replanning 是系统工程，重要但不是模型贡献；4-step vs 10-step 的 trade-off 更多是工程调参。哪些可能来自 scaling / data：Bones Rigplay 700 小时、高质量 retarget、LLM paraphrase、强文本 encoder 都可能贡献很大，文中没有完全隔离这些因素。

Relation To Prior Work

ARDY 属于 autoregressive motion diffusion + latent motion representation 这条谱系，最接近 MotionStreamer、DartControl、DiP、AMDM/CAMDM，以及 offline controllable diffusion/masked generation 如 MaskControl/Kimodo。

和 offline controllable models 的本质差异是生成范式：ARDY 不是整段并行生成后优化，而是在 streaming autoregressive loop 中原生接收在线输入。和 DiP/CAMDM 这类在线 diffusion 的差异是上下文和控制接口：ARDY 允许 variable history 和 beyond-window constraints，并且支持更宽的 constraint 类型。和 MotionStreamer 的差异是 ARDY 不只是 text-conditioned causal latent diffusion，而是把 kinematic control 纳入原生条件。和 DartControl 的差异是 ARDY 不依赖额外 RL policy 或 test-time optimization 来处理 long-horizon control。

看似新的部分中，masked constraints、root overwriting、latent tokenizer、two-stage root/body decomposition 都能在 prior 中找到相近思想；实质创新是把这些机制组合进一个在线生成架构，并且让 explicit root + latent body 成为统一的信息组织原则。真正新增的信息不是单个模块，而是对交互 motion generation 的表示分解。

Dataset / Evaluation

评估覆盖了两个层面：大规模 proprietary Bones Rigplay 用于设计分析和交互 demo，HumanML3D 用于和公开方法比较。任务覆盖较宽，包括 text-only、root trajectory、waypoints、full-body keyframes、end-effector position/rotation、in-horizon 和 out-of-horizon goals，基本对齐作者关于 flexible kinematic constraints 的 claim。

但 evaluation 仍有明显限制。最强的系统展示建立在 Bones Rigplay 上，这是高质量、大规模、专有、统一骨架、文本丰富的数据；它更像 production-quality data scaling 的验证，而不是纯 architecture 归因。HumanML3D 比较提供公开可复现的支撑，但该 benchmark 本身规模小、动作语义有限，而且作者使用自己的 retarget pipeline，会让指标解释更复杂。

out-of-horizon 对 DiP 的比较确实支持“短 future window 不够”的论点，但这主要验证稀疏目标在 9-10 秒范围内的条件传播，不等于证明真实长期规划。没有真实机器人部署，也没有物理仿真闭环；interactive demo 是强应用证据，但不是严格 evaluation。

Limitation

最大的隐含前提是数据覆盖。ARDY 学到的是在训练分布中，给定文本和 masked kinematic goals 时合理动作如何填补；如果目标组合、接触模式、环境约束或动作语义超出 mocap 覆盖，模型没有显式机制保证可行。核心能力可能主要来自数据覆盖，尤其是在 Bones Rigplay 这种大规模高质量数据上。

所谓长期推理更像 retrieval / conditional interpolation，而非 planner。模型没有符号状态、任务进度变量或显式 memory compression；history 是直接塞入 transformer 的 motion tokens，future goals 超过截断窗口就不可见。因此 scalability 上限会受 context length 和训练窗口限制。

方法把一部分难题转移到了 tokenizer 和数据表示上。body latent 是否保留足够细粒度的 contact、object interaction、hand motion、非典型姿态，文中未充分说明。root-first bias 对 locomotion 很合理，但对原地复杂上肢动作、多人互动、物体操作可能不是最优。

物理层面仍然弱。foot skating loss 和 FK consistency 只是 kinematic regularization，不能保证动力学一致、力可实现或机器人可跟踪。对于 humanoid robotics，ARDY 更适合作为 motion prior / reference generator，而不是直接控制策略。

Takeaway

• 1. 交互式 motion generation 的关键不只是加速 diffusion，而是把控制变量和生成变量在表示层拆开；explicit root + latent body 是一个很值得迁移的设计。
• 2. 对于在线生成，long context 和 future goal tokens 比单纯扩大模型更重要；很多“语义理解”失败其实是状态不可见导致的。
• 3. root-first / global-plan-first 的生成顺序是强 inductive bias，尤其适合 locomotion、path following、waypoint reaching；未来可以扩展成更一般的 factorized control hierarchy。
• 4. 这个方向下一步真正值得做的是结构化 memory、物理可执行性、环境/物体接触建模，以及更干净地区分 architecture gain 和 data scaling gain。

一句话总结

ARDY 是把 offline controllable motion diffusion 的能力通过 explicit-root/latent-body 表示分解和 two-stage autoregressive denoising 搬进实时交互系统的一步，本质贡献是交互控制导向的 representation alignment，而不是单纯更快的 diffusion。