精读笔记

Problem Setting

这篇论文处理的是长程、接触密集、需要灵巧手操作的真机 manipulation，其中失败往往不来自“看不懂任务”，而来自接触状态不可见或反馈太慢：抓持是否稳定、插入是否对齐、物体是否滑动、力是否过大，这些状态视觉/语言很难可靠给出。

以前的 VLA 或 tactile policy 的瓶颈在于把语义推理、动作 chunk 生成和接触反馈压进同一个模型、同一个频率。结果是模型可能在任务层面走对方向，但在接触层面错过纠偏窗口。这里的关键矛盾是：长程任务需要抽象、低频、可组合的表示；接触控制需要局部、高频、强反馈的表示。单体策略天然不适合同时优化这两个目标。

Motivation

已有路线缺的不是触觉传感器，也不是把触觉 token 塞进 Transformer 的能力，而是对触觉控制角色的拆分。触觉既可以告诉策略“未来应该达到什么接触模式”，也可以在执行中告诉控制器“现在哪里偏了”。这两类信息的时间尺度、监督信号和控制语义都不同。

作者真正抓住的缺口是：monolithic tactile VLA 把 contact prediction、contact-conditioned action generation 和 online correction 混在一起，导致模型容量和控制频率都被错误分配。TouchWorld 的动机就是重新分配这些职责，让慢速语义、预测性接触目标和快速触觉反馈分别进入合适的控制层。

Core Idea

TouchWorld 的核心不是一个新 backbone，而是一个 inductive bias：接触丰富操作应该被建模为“预测性目标 + 反应式残差”的组合，而不是纯 observation-to-action 映射。上层先预测当前 subtask 期望达到的视觉-触觉状态，下层策略以此作为 contact-aware goal 生成 nominal action，再由高频 tactile residual policy 根据真实触觉偏差局部修正。

这个设计的本质区别在于它重新组织了信息流。prior work 通常把触觉当成额外模态输入，TouchWorld 把触觉拆成 future reference 和 online error signal。这样做的直觉是成立的：对于插入、擦拭、软物体拉取这类任务，成功往往取决于接触轨迹是否落在一个窄窗口内；显式预测这个窗口，再用快速 feedback 保持在窗口附近，比让 VLA 隐式学完整闭环控制更可扩展。

Method

方法上值得保留的机制只有四个。

第一，subtask interface 把长程任务压缩成当前可执行阶段。它解决的是 VLA 在长任务中条件过宽、动作分布多峰的问题。这里的 planner 更像阶段选择器，而不是完整长期规划器。

第二，tactile world model 预测短程视觉-触觉 subgoal。它解决的是隐藏接触状态无法从当前 RGB 直接推断的问题，把“应该形成什么接触”显式提供给 action policy。核心变化是从 current-state policy 变成 goal-conditioned contact policy。

第三，nominal VLA 仍负责中频 action chunk。它保留了现有 VLA 的语义/几何泛化能力，避免让高频触觉模型承担全局任务推进。

第四，tactile residual refinement 在 action chunk 内刷新局部 correction。它解决的是 action chunking 的典型缺陷：一旦执行期间接触变化，低频 chunk 无法及时反应。residual 形式很关键，因为它限制下层只改局部接触相关维度，而不是重新生成整个行为。

Key Insight / Why It Works

最可能真正有效的是 slow-fast separation 加 residual tactile feedback，而不是“foundation model”这个表述。论文的 gains 尤其在 human perturbation 下变大，说明关键贡献更接近 reactive control inductive bias：把短历史触觉直接接到动作残差上，绕过低频 VLA 的延迟。

Tactile world model 是有价值但增益来源不清的部分。它可能提供了更好的 contact prior，也可能只是利用 subtask label 和 demonstration distribution 做了近邻式未来补全。文中用 copy 和 nearest-neighbor 做比较，但这不足以排除 implicit memorization，尤其任务、对象、subtask 都比较固定。它是否真的学到可迁移的 tactile dynamics，文中未充分说明。

Subtask planner 的作用更像降低 action policy 的条件熵和减少长程 phase confusion。memory-augmented SFT 4B 超过 zero-shot 32B 说明这里不是通用推理能力胜出，而是监督过的任务阶段接口更有效。所谓 reasoning 很可能主要是 phase classification + execution history reuse。

整体上，这篇论文有效的机制可以拆成：better inductive bias、data coverage、representation alignment 和 test-time compute。触觉图像化对齐 VLA 预训练，残差层引入高频 test-time correction，人类触觉数据和机器人演示提供覆盖，subtask 标注提供 curriculum。论文没有充分分离这些因素，因此“predictive-and-reactive hierarchy”是合理主线，但具体数字增益不能完全归因于 world-model prediction。

Relation To Prior Work

它最接近三条线的交叉：VLA/action chunking，tactile-reactive policy/residual control，以及 visual/tactile world model 或 goal-conditioned manipulation。

相对 Pi-0.5、GR00T、OpenVLA 这类 VLA，TouchWorld 的实质差异是把 contact feedback 放进高频控制路径，而不是让视觉语言模型隐式承担接触闭环。相对 FTP-1 这类 monolithic tactile policy，它的差异是把触觉从普通 observation 变成预测目标和反馈残差两个角色。相对 T-Rex、Reactive Diffusion Policy、Tube Diffusion Policy 这类 reactive tactile work，它新增的是长程 subtask interface 和 tactile subgoal prediction，使 reactive control 不再孤立于语义任务结构。

看似新的地方有不少是已有思想重组：hierarchical policy、action chunking、residual correction、world-model subgoal、LoRA fine-tuning 都不是新概念。实质创新在于把这些组件按触觉的两种功能重组，并在真机接触任务中验证这种组织方式比单体 tactile VLA 更合适。

Dataset / Evaluation

评估的优点是真机、多任务、包含 human perturbation，任务也覆盖了插入、擦拭、软物体处理和长程桌面操作，确实比纯仿真或短程 pick-place 更接近论文 claim。扰动设置是关键，因为它直接测试 reactive tactile feedback，而不是只测试 demonstration imitation。

但 benchmark 的覆盖仍然有限。六个任务、固定硬件、固定传感器布局、每任务 200 条 teleop 轨迹，本质上更像 task-suite adaptation，而不是开放世界 tactile foundation model 的充分证据。任务是否跨对象、跨场景、跨手型、跨触觉传感器泛化，文中没有给出强证据。Tactile world model 的预测分析支持它能预测 held-out segment 的接触形态，但 held-out 是否真正 distribution-shift 不清楚。

消融方向基本支持核心 claim：触觉输入最大、refinement 对扰动最关键、planner 对长程一致性有帮助、world model 对接触目标有帮助。但各模块训练数据和模型规模不同，增益来源仍然混有 data、supervision、compute 和 architecture。

Limitation

最核心的前提是任务阶段可被人工标注或可被稳定识别，且每个阶段存在相对一致的未来触觉 subgoal。如果接触未来高度多模态，单一短程 tactile subgoal 可能会误导 policy。论文也承认未处理 uncertainty-aware 或 multi-candidate prediction，这不是小问题，而是 world-model conditioning 在真实 manipulation 中的根本限制。

第二，泛化能力可能主要来自数据覆盖和硬件一致性。EgoTouch 预训练、机器人演示、subtask 标注、固定 Wuji hand/JQ tactile glove 共同构成了强先验。换手、换 tactile layout、换对象类别时，触觉图像化 representation 是否还能对齐，文中未充分说明。

第三，planner 实际没有形成强长期状态建模。memory 记录 previous subtasks、predicted subgoals、execution status，但没有证据表明它能处理复杂分支、失败恢复或长期因果推理。它更可能是 supervised phase tracker。

第四，方法把一部分难题转移到了数据与接口工程：需要 subtask segmentation、tactile goal construction、residual action subspace 设计、调度频率选择、传感器标定和 normalization。很多提升可能是 engineering / scaling，而不是单一模型能力突破。

第五，evaluation 没有充分回答因果问题：如果保留 residual tactile policy、去掉 world model 但增加更多数据，差距是否仍在？如果 planner 用 oracle subtask，能提高多少？如果 tactile world model 输出错误，policy 是否鲁棒？这些对判断核心机制非常关键。

Takeaway

• 1. 对接触丰富操作，触觉不应只是 VLA 的附加 token；更合理的抽象是同时作为 future contact reference 和 fast feedback signal。
• 2. action chunking 和 tactile feedback 存在天然张力。
• chunk 提高语义和动作连贯性，但降低反应速度；residual refinement 是一个干净的折中，可以迁移到视觉伺服、力控、双臂协作等其他慢快耦合任务。
• 3. 显式 subtask interface 的价值不在“推理更聪明”，而在降低策略条件熵、让 demonstration distribution 更可学习。

一句话总结

TouchWorld 是把 tactile manipulation 从单体多模态 action model 推向多时间尺度 predictive-plus-reactive 控制结构的一步，真正贡献在于触觉信息流的职责拆分，而不是某个单独模块或更大模型。