精读笔记

Problem Setting

这篇论文处理的是 whole-arm manipulation 中最麻烦的一类控制问题：机器人必须主动利用手臂多处表面与环境或人体接触，而不是把非末端 link 接触当成 collision failure。任务难点不是“有接触”，而是接触拓扑和力随 arm configuration 改变，且 contact state 在视觉遮挡、触觉稀疏、数据覆盖不足下部分可观测。

以前方法卡在两端：纯学习方法能吸收复杂观测，但在多 link、多接触、力约束场景下容易预测不物理，尤其是数据中罕见的接触组合；纯解析/MPC 方法能表达几何和安全，但很难处理视觉-触觉上下文、接触形成/断开和复杂任务进展。关键矛盾是：控制器既要在接触切换时足够 adaptive，又要在 force regulation 上有硬结构，不能把安全完全交给 learned cost。

Motivation

作者的动机不是做一个更强的 visuomotor policy，而是指出 whole-arm manipulation 缺的是 contact-conditioned decision interface。对这类任务，标准 RGB-D latent state 太间接，joint torque 又不足以定位接触；如果 planner 不知道哪些 joint-space direction 会改变当前接触法向速度，那么 sampling-based MPC 会把大量算力浪费在无效或危险方向上。

核心缺口是：已有 visuotactile learning 多数把 touch 当额外 observation，已有 whole-arm MPC 多数把 contact 当约束或局部反馈；TACTIC 试图把 contact 变成 representation、proposal distribution 和 rollout cost 的共同中心。这个方向的合理性在于，whole-arm task 的瓶颈不是动作生成本身，而是接触状态的可控性表达。

Core Idea

TACTIC 的真正核心是 hybrid contact-centric MPC：用 learned latent dynamics 处理复杂、部分可观测、难以解析的接触演化，用 contact Jacobian 和 forward kinematics 提供局部物理结构，让 planner 在短 horizon 内知道哪些动作会改变接触力。

和 prior 的本质区别在于，它不是 end-effector-centric policy 外加 tactile input，也不是传统 tactile MPC 外加视觉 feature；它重新组织了信息流：触觉不仅进入状态估计，还直接决定采样分布；视觉不仅提供 scene representation，还通过 proximity mask 被压缩成接触相关场；解析运动学不仅用于约束检查，还参与 force-aware rollout scoring。这个 inductive bias 比单纯扩大 world model 更可扩展，因为它避免让网络从数据中重新学习机器人几何和接触可控方向。

Method

方法可以理解为三种约束注入。

首先是表示约束：proximity mask 把机器人表面与物体/人体的近接关系变成 dense 2D signal，并与 taxel contact fuse。它解决 sparse tactile 只能事后响应的问题，让 learned model 看到“接触即将发生”的空间结构。

其次是采样约束：用 active contacts 的 weighted normal contact Jacobian 构造 force row-space / null-space 分解，放大能改变 normal contact velocity 的扰动；对超过安全阈值的接触，再通过 QP 投影保证 sampled action 至少不继续压入接触。这不是单纯加安全 cost，而是改变 MPPI 的探索分布。

最后是预测约束：learned latent dynamics 预测 contact onset、latent progress 和未来状态；analytical branch 推进 joint kinematics、contact Jacobian 和 active-contact spring-force proxy。两者结合的意义是把“可解析的机器人几何”从 learning burden 中拿出来，把模型容量留给接触切换和任务上下文。

Key Insight / Why It Works

最可能的核心贡献是 contact-aware action sampling，而不是 DINO/ViT world model 本身。原因很直接：在 whole-arm contact 中，随机 joint perturbation 绝大多数不会有效调节当前接触力，甚至会增加压缩。contact Jacobian row-space 给了 planner 一个低成本、局部正确的 controllability prior，使 MPPI 不必靠大量 rollouts 从 scalar cost 里反推接触可控方向。这个机制解释了为什么安全 violations 和 jerk 会下降。

第二个关键是 representation alignment。proximity mask 把视觉空间中的 near-contact 区域和 taxel contact 对齐，降低了 latent dynamics 的推断难度。它不是更丰富的感知，而是更偏置的感知：只保留对接触规划有用的 dense geometry cue。这个 bias 对数据稀缺尤其重要。

hybrid rollout 的作用更像防止 learned model 漂移和提供几何 grounding。latent-only 会学到任务模式但缺物理一致性；kinematics-only 有局部安全但不知道接触何时出现/消失。TACTIC 的有效性来自二者分工，而不是某个模型精确预测真实 contact dynamics。

需要直接指出：不少增益可能来自 engineering + data + test-time compute 的组合。DINO backbone、custom tactile skin、exoskeleton demonstrations、segmentation pipeline、hand-designed costs、subgoals/IQL value 都在提供强先验。这里的“reasoning”更像短视野 MPC 中的 structured search 加 offline trajectory prior，不是通用 contact reasoning。

Relation To Prior Work

TACTIC 属于 tactile/visuotactile model-based control、sampling-based MPC、whole-arm manipulation 的交叉谱系。和 LeTac-MPC、touch-based predictive control 的接近点是用触觉闭环和 learned dynamics 做 planning；不同点是它把分布式 whole-arm contact 的 Jacobian structure 显式放入 sampler，而不是只在 observation 或 cost 中使用 touch。

和 DreamerV3、TD-MPC2、DINO-WM/V-JEPA-style world model 相比，TACTIC 的差异不是 latent predictor 更强，而是拒绝让 world model 独自学习机器人几何和接触力调节。它把几何可解析部分硬编码进 rollout 与 sampling，这一点是实质新增信息。

看似新的部分中，proximity mask、MPPI、contact Jacobian、spring force penalty、IQL terminal value 都不是新概念；创新在于把这些已有思想组织成一个 contact-centric control stack，并证明这种组织在 whole-arm multi-contact 场景里比 generic learning pipeline 更有效。

Dataset / Evaluation

evaluation 覆盖了仿真和真机，这比多数 whole-arm contact 论文更强。仿真任务用于隔离表示、采样、hybrid rollout 的贡献；真机任务集中在动态 maze 和 manikin caregiving-style manipulation，确实贴近论文声称的 pHRI/whole-arm contact 场景。

但它验证的是“在同一硬件、同类数据、有限任务族上，structured MPC 比 generic learned policy 更可靠”，不是验证开放泛化。真实任务数量有限，DP baseline 的失败可能混合了 offline imitation 不闭环、数据量不足和 horizon mismatch；expert teleop force violations 高也不一定说明 TACTIC 比人更懂安全，可能是 cost function 明确优化了这个指标。

仿真 ablation 支持核心机制，但仍未完全拆开数据覆盖、mask quality、tactile calibration、cost tuning、two-fidelity compute 的贡献。尤其是 long-horizon task 借助 progress variables/subgoals/IQL value，这部分对真实部署的可获得性需要谨慎看。

Limitation

TACTIC 的隐含前提很强：需要已知 robot model、taxel pose、taxel normal、可靠 force calibration、可用 segmentation、接触主要发生在有传感覆盖区域，并且短 horizon 内 contact normal 不剧烈变化。它不是 plug-and-play whole-arm manipulation 方法，而是一个需要精细硬件和系统集成的 controller framework。

scalability 的主要瓶颈是 sensing/data pipeline。22 个 normal-only FSR 无法观测 shear/friction，未覆盖区域接触会被漏掉；换机器人、换皮肤、换 camera pose 都可能需要重新 calibration 和数据收集。论文提到 cross-embodiment learning，但当前证据不足。

泛化上限也明显。方法能处理局部接触调节，但长期策略仍依赖 demonstration、subgoal 和 value shaping。所谓 multi-contact planning 很可能在很大程度上是对训练分布中接触模式的复用，再通过 Jacobian 局部调整；遇到新的 contact topology、柔软人体差异或未见过的障碍布局时，能否产生新策略文中未充分说明。

安全方面没有 formal guarantee。contact-aware projection 只对当前超过阈值的 active contacts 起作用，且依赖正确 normal；预测 force cost 只是 spring proxy。它降低 unsafe actions 的频率，但没有提供可证明的 force bound。

Takeaway

• 1. 对 contact-rich whole-arm manipulation，最值得迁移的 insight 是：不要只把触觉当 observation，要让触觉改变 planner 的 action proposal distribution。
• 2. hybrid model 的价值不在于“learned + analytical”这个口号，而在于清楚划分哪些变量应由解析结构承担：机器人几何、contact controllability、局部 normal motion；哪些变量才交给 learned latent：接触切换、遮挡下状态、任务进展。
• 3. proximity/contact-centric representation 是比通用 RGB-D latent 更合适的状态压缩方式。
• 它牺牲通用性，换来数据效率和规划可控性；在机器人部署里这通常是正确 tradeoff。

一句话总结

TACTIC 是一篇把 whole-arm manipulation 从 generic visuomotor learning 拉回到 contact-structured MPC 的工作，真正贡献在于用分布式触觉和 contact Jacobian 重塑测试时搜索空间，而不是单纯提出一个新的 world model。