精读笔记

Problem Setting

这篇论文实际在问：ACT 在接触丰富操作中的成功，到底是模型学到了接触动力学，还是 leader-follower teleoperation 数据给了它一个隐藏的力觉通道。标准 ALOHA-style 数据里，leader command 和 follower execution 在接触时会产生 tracking lag，这个 lag 与外部阻力、约束冲突、接触 onset 强相关。ACT 预测 leader joints 时，这个差值被间接保留下来，因此模型可能借用了一个并未被显式声明的 supervision signal。

真正困难点不是“接触操作需要力觉”这个常识，而是接触状态在视觉和关节位置中经常不可辨：同一个图像和相近的 joint configuration，可能对应自由空间、轻触、卡住、压缩、插入失败等完全不同的物理状态。以前很多 ACT 结果默认采集接口成立，却没有隔离 data collection interface 对 policy observability 的贡献。关键矛盾是：低成本模仿学习希望只靠视觉和 proprioception，但实际成功可能依赖一个只有特定 teleoperation setup 才有的隐式力觉残差。

Motivation

已有路线不够的地方在于，它们要么假设有专用 F/T sensor、tactile sensor 或 bilateral/haptic interface，要么把 leader-follower teleoperation 下收集到的动作当作普通动作标签，没有追问标签里是否已经混入了接触反馈。对于 ACT 这类低数据、高频 VA policy，这个问题尤其重要，因为小数据 regime 下模型很可能利用最容易的相关变量，而不是学习真正可迁移的物理规律。

作者的核心观察是：leader-follower discrepancy 不是普通执行误差，而是一个由硬件闭环和人类操作共同生成的 latent interaction cue。这个 cue 在 kinesthetic teaching、高透明控制器、直接 joint-space replay、非同构 teleoperation 等设置里可能不存在。因此关键缺口不是再证明 force helps，而是系统性回答：当这个隐含 cue 被拿掉后，ACT 是否还会接触操作；如果不会，平台已有的 motor current / effort 能否作为足够便宜的替代信号。

Core Idea

论文的核心思想是把“隐式力觉”和“显式力觉 proxy”放在同一个 ACT 框架里做可控拆解。标准 ACT 的 prediction target 是 leader action joints，这保留了人手在 leader 端继续推动而 follower 因接触受阻所产生的差值；作者构造 ACT-o，让模型预测未来 follower joint states，而不是 leader commands，从而把这条 teleoperation-induced discrepancy 从监督目标中去掉。这个改动的意义不在于 follower-state prediction 本身更优，而在于它是一个观察 ACT 对隐含接触监督依赖程度的干预。

随后，作者把 joint effort/current-derived torque proxy 作为显式输入注入 ACT，使模型直接看到接触负载变化。这里引入的 inductive bias 很明确：接触状态应当通过与力/扭矩相关的通道进入 representation，而不是寄生在动作标签和执行误差之间。和 prior 的本质区别在于，这不是简单多模态堆传感器，而是把原本由 teleoperation artifact 偷偷提供的信息显式化、可替换化，并检验其是否足以恢复接触行为。

Method

方法上应关注机制而不是架构细节。

第一，observation-centric target 解决的是隐含监督污染问题。把预测目标从 leader joints 改成 follower future states 后，模型不再直接模仿人类 leader command 中包含的“继续推但机器人没动”的信息。核心变化是动作标签从 human-command space 转到 realized-robot-state space，接触残差被剥离出来。这一步本质上是一个因果 ablation：去掉 teleoperation interface 贡献，观察 policy 是否还能完成接触阶段。

第二，torque proxy 解决的是接触状态不可观测问题。motor current / effort 虽然不是干净的外力估计，混有重力、摩擦、惯性和电机特性，但在低速、准静态、接触占主导的阶段，它的变化模式与外部 resistance 高度相关。把它作为 first-class input，可以让 Transformer 把视觉/关节状态相近但力学状态不同的样本分开。

第三，四模型对照解决的是归因问题。Base ACT 测 implicit cue；ACT-o 测去掉 cue 后的下限；ACT+torque 测 explicit cue 是否能增强已有 implicit cue；ACT-o+torque 测 explicit proxy 是否能替代 implicit cue。这个实验设计比单纯报告 torque-augmented ACT 提升更有价值，因为它把“增强”和“恢复”分开了。

Key Insight / Why It Works

最重要的 insight 是：在 ACT/ALOHA 体系中，force-awareness 可以不是模型内部涌现出来的能力，而是由数据采集接口提供的隐藏状态变量。leader-follower lag 在接触时相当于一个低维、高信噪比的 contact event encoder。标准 ACT 通过预测 leader command 间接学习到“当 follower 被阻挡时，leader 仍然处在更深/更远的位置”这一模式，因此能在接触阶段表现得像有力觉。

ACT-o 失败说明，视觉和 follower joint state 在这些任务里不足以恢复接触状态。尤其软瓶刚度、擦板 normal force、插头微调、泡棉停止这类场景，都存在视觉弱可观测或状态混叠。torque proxy 有效，不是因为它精确估计了 task-space wrench，而是因为它提供了 representation alignment：把 policy 的状态空间按接触负载重新切开。对于 imitation learning，这种切分比物理量标定更重要。

我认为核心贡献是“揭示并隔离 ACT 的 hidden supervision channel”，其次才是“torque proxy 可用”。加入 effort 的工程实现本身并不新，甚至可以说是预期内有效；真正有价值的是作者证明了 Base ACT 的一部分接触能力可能来自 teleoperation artifact，而不是 architecture。ACT+torque 的提升也可能主要来自更好的 inductive bias 和状态可分性，不是 scaling、test-time compute、planner 或长期 reasoning。

需要谨慎的是，论文里的 torque-aware 行为更像 reactive state disambiguation，而不是显式 force control。所谓 adjustment taps、equilibrium convergence 可能是从 demonstrations 中检索到的局部反应模式。核心能力可能主要来自数据覆盖：如果训练中见过足够多“effort spike 后退出/调整/停止”的轨迹，模型就能学到条件反射；这不等价于学会了可组合的接触动力学模型。

Relation To Prior Work

这篇属于 ACT-style low-data visuomotor imitation learning 与 force/torque-aware manipulation 的交叉，但它的切入点不是提出新的大模型或新传感器，而是重新审视数据采集接口对 policy 可观测性的影响。最接近的路线包括 ACT/ALOHA、bilateral-control-based ACT、few-shot force-feedback imitation、torque-aware/VLA force-aware models。

和 ACT/ALOHA 的本质差异是：原工作把 leader action 当作自然动作标签，这篇把它视为可能包含 hidden force cue 的变量，并用 follower-state target 做隔离。和 bilateral/haptic imitation 的差异是：那些工作强调利用双边控制或力反馈提升示教质量，这篇更关注普通 leader-follower tracking discrepancy 是否已经在暗中提供接触监督。和 ForceVLA / torque-aware VLA 的差异是：本文不追求大规模语义泛化，而是在低数据、高频控制、真机接触中检验 torque proxy 的实际边际价值。

看似新的部分，例如 effort 与 joint state 拼接、用 current 估 torque，并不是实质创新；这些是已有思想的合理重组。实质新增的信息是一个清晰的 empirical diagnosis：ACT 接触表现中存在 teleoperation-induced implicit force channel，而 onboard torque proxy 可以在一定条件下替代或增强它。

Dataset / Evaluation

评估覆盖了四类真机接触行为：持续表面接触、精密插入、刚度区分、基于阻力停止。任务选择是合理的，因为它们都针对视觉/运动学弱可观测的接触状态，而不是普通 pick-and-place。真机实验比仿真更有说服力，尤其 motor current proxy 的价值必须在真实噪声、摩擦和控制闭环中验证。

实验确实支持核心 claim 的主要部分：去掉 implicit cue 后性能显著下降；加 torque 后恢复或提升。尤其 ACT-o 与 ACT-o+torque 的差异，是支持“torque proxy 可替代 hidden cue”的关键证据。Base ACT 与 ACT+torque 的差异则说明显式 proxy 不只是补救无 leader 设置，也能增强已有 pipeline。

但 evaluation 的外推能力有限。任务数量少，硬件单一，数据规模低，且多为准静态或低速接触。没有跨机器人、跨末端执行器、跨控制器透明度、跨材质大规模验证。文中未充分说明随机化范围和 demonstration coverage 是否足以排除记忆式策略。Plug insertion 允许两步 rollout 的定义也会让成功率解释更复杂。整体上，benchmark 能验证“在这个 ALOHA-like 真机设置中 torque proxy 有用”，但不能验证“normalized torque 是通用接触语言”。

Limitation

方法成立依赖几个前提。第一，motor current / effort 必须与外部接触负载有稳定相关性；在高速运动、强惯性、姿态变化大、摩擦/温升明显、负载变化复杂时，这个相关性可能被内部动力学淹没。论文虽然写到无需显式补偿 τ_dyn，但这只在当前任务 regime 下成立，不能泛化成一般结论。

第二，任务大多是 reactive contact disambiguation，而不是长期接触规划。模型看到 torque spike 后停止、退出、继续压或轻敲，这更像局部 feedback-conditioned imitation，不是形成了长期状态估计或物理推理。planner 实际没有形成长期状态建模；它仍然依赖 demonstrations 中覆盖过的接触-动作映射。

第三，泛化证据不足。ACT-o+torque 能恢复性能，不代表 torque proxy 可以跨平台迁移。不同电机、减速器、控制环、effort estimator 标定都会改变信号分布。所谓 screw-torque proxy 如果没有归一化、动态补偿和跨硬件校准，很可能只是当前 ViperX/ALOHA 系统的 domain-specific cue。

第四，增益来源不清。ACT-o 的下降可能不完全来自去掉 implicit force cue，也可能来自 target distribution 改变：预测 follower state 与预测 leader action 的学习难度、执行闭环语义、trajectory multimodality 都不同。文中对这一点没有充分拆解。ACT+torque 的提升也可能部分来自更高维 proprioceptive input 或更强 regularization，而不仅是 force information。

Takeaway

• 第一，ACT 在接触任务中的表现不能脱离 demonstration interface 讨论；leader-follower lag 可能是隐藏监督，而不是无关实现细节。
• 第二，对低数据接触操作来说，粗糙但同步的 torque/effort proxy 往往比精确物理建模更有用，因为它解决的是状态可分性问题，而不是准确力估计问题。
• 第三，未来值得做的不是简单把更多传感器拼进 policy，而是系统地区分哪些信息来自人类示教、哪些来自机器人执行、哪些来自环境接触，并设计能跨采集方式保持语义一致的 representation。
• 第四，这篇给其他 imitation learning 场景的迁移 insight 是：很多“模型能力”可能实际来自数据管线中的隐含变量；真正可泛化的进展需要先把这些变量显式化、可替换化、可诊断化。

一句话总结

这篇论文在 ACT 接触操作谱系中的位置，是把 ALOHA-style teleoperation 中被默认忽略的 leader-follower discrepancy 重新定义为隐式力觉监督，并证明廉价 torque proxy 可以在低数据真机接触任务中替代或增强这条隐藏通道。