精读笔记

Problem Setting

[论文标题] KineFuse: Kinematic-Aware Haptic Fusion for In-Hand Occluded-Object Pose Tracking（arXiv preprint / 2026）

这篇论文解决的是 dexterous in-hand manipulation 中连续 6D object pose tracking 的一个具体瓶颈：操作手指本身会遮挡被操作物体，而越到需要精细控制的阶段，视觉越容易失效。FoundationPose 这类 visual tracker 在单帧 refinement 上很强，但在 in-hand 场景中，遮挡、近距离 depth artifact、视角受限会把小误差变成连续 tracking drift。

真正困难点不是 pose estimation 本身，而是 multimodal evidence 的不对称性：视觉提供全局几何和位姿 anchoring，但在遮挡下退化；haptic/proprioception/contact/F-T 更贴近接触状态，但低维、稀疏、局部、且不直接观测 object pose。关键矛盾是：如何让稀疏触觉在视觉不可靠时提供约束，同时不在视觉可靠时破坏视觉 backbone 的强表征。

Motivation

已有方法的缺口很明确。多相机或主动暴露物体的策略能缓解遮挡，但限制硬件和 manipulation repertoire；GelSight/DIGIT 等 dense tactile sensing 信息量大，但不是多数 dexterous hand 的默认配置；直接拼接 joint state/contact/F-T 的 naive fusion 又基本无视传感器在手部运动链上的物理组织。

作者的核心观察是：在 sparse haptic regime 下，raw signal 本身可能不足以直接恢复 pose，但它的结构位置很重要。一个 fingertip contact 或 proximal F/T 读数不是普通 feature，它绑定在某根 finger、某个 link、某个 kinematic chain 上。缺的不是更多传感器，而是把这些低维信号放回 hand kinematics 中解释的 representation。

Core Idea

KineFuse 的核心思想是把 haptic fusion 从“把一堆数拼到视觉特征后面”改成“把手作为一个结构化传感器来编码”。它先在 finger 内传播 joint/contact/F-T 信息，再把每根 finger 压成一个 token，最后用 URDF-derived bias 建模 finger 之间的空间和拓扑关系。这样进入 fusion transformer 的不是 16 个松散 joint tokens，而是 4 个带有物理语义的 finger tokens。

这个设计引入的 inductive bias 是：接触证据首先应该沿同一 finger 的 kinematic chain 聚合，其次才在 finger 间交互；同时 haptic token 数量必须足够少，避免在与 400 个 visual tokens 融合时通过 token count 或 norm dominance 抢占注意力。和 prior 的本质区别在于，它不是用更丰富 tactile image 替代视觉，也不是用 factor graph 做几何 correction，而是研究 sparse embodied haptics 在 learned fusion 中应该以什么粒度进入视觉 pose refinement。

Method

方法中真正必要的机制有三层。

第一，finger-restricted intra-attention 解决的是 sparse sensing 的传播问题。F/T 和 contact 只出现在少数位置，如果不沿 finger 内结构传播，模型很难把局部接触变化解释成整根手指与物体的约束关系。这个机制把 isolated measurement 变成 finger-local interaction evidence。

第二，finger-level pooling 解决的是 fusion 粒度问题。16-token joint representation 看似保留更多信息，但在实验中反而压制视觉，说明多 token haptic 并不等于更好融合。压缩成 4 个 finger tokens 的核心变化是降低 haptic 表示的竞争性，让它以 compact condition 的形式补充视觉，而不是和视觉 token 群争夺主导权。

第三，URDF-aware inter-finger bias 解决的是跨 finger 关系的物理解释问题。不同 finger 之间的 opposition、adjacency、hop distance 会影响接触模式如何约束物体姿态。Graphormer-style bias 在这里不是泛用 transformer trick，而是把 hand morphology 注入注意力结构，使模型更容易学习哪些跨 finger interaction 对 rotation correction 有意义。

视觉部分基本沿用 FoundationPose refinement；重要的是它被冻结/微调作为强视觉 backbone，而 KineFuse 的贡献集中在 haptic representation 和 fusion dynamics，而不是重新发明 pose estimator。

Key Insight / Why It Works

最关键的 insight 是：sparse haptics 的价值主要不是提供完整 pose observation，而是提供在遮挡下稳定 rotation refinement 的结构化约束。论文的 attention 分析显示 translation 几乎完全依赖视觉，而 rotation 有专门 attention head 分配给 haptic tokens；这很合理，因为外部相机仍是全局平移最可靠来源，而接触/力/手指构型更容易约束物体相对手的旋转状态。

我认为真正的核心贡献是 representation alignment，而不是简单 multimodal scaling。KineFuse 把 haptic tokens 的语义粒度调到和 fusion transformer 可消化的尺度：太 flat 会丢结构，太 joint-level 会造成 token/norm dominance，finger-level 刚好对应 in-hand contact 的自然单位。这比“加更多传感器”更重要。

但论文里也有一个强信号：zero haptic channels at inference 后性能仍接近 full model。这说明收益可能大量来自训练时结构化 haptic branch 对视觉 fusion head 的 regularization，或者来自 encoder topology 改变了 attention organization，而不是在线触觉信息本身。换句话说，KineFuse 可能不是一个强 runtime haptic estimator，而是一个通过 hand-structured auxiliary pathway 训练出更稳健 visual-haptic latent space 的方法。

哪些部分可能只是辅助：two-stage training、haptic branch higher LR、occlusion augmentation、domain randomization 都可能对鲁棒性有贡献，但不构成核心思想。哪些地方可能主要来自 scaling / data：仿真中 occlusion pattern、object shape、RL trajectory 分布如果和 evaluation overlap 较高，sequential tracking 的改善可能部分来自 data coverage，而不是方法具备广义触觉推理能力。文中未充分说明跨 object、跨 grasp、跨真实接触分布下是否仍能保持相同归因。

Relation To Prior Work

它最接近三条路线：FoundationPose/BundleSDF 类 render-and-compare visual tracking，Rezazadeh et al. 这类 structured visuo-tactile graph fusion，以及 Mack et al. 这类用 contact 做几何约束的 optimization-based correction。

和 visual-only tracker 的差异在于，它承认 in-hand occlusion 不是靠更强视觉 backbone 就能稳定解决，必须引入 hand-side evidence。和 dense tactile fusion 的差异在于，它不依赖 tactile image，而是研究低维 proprioception/contact/F-T 的结构化表达。和 factor graph contact correction 的差异在于，它不是显式几何优化，而是把 contact/force/proprioception 作为 latent tokens 学进 refinement network。

看似新的部分中，Graphormer bias、kinematic graph、token pooling 都不是全新思想；实质创新在于把这些已有结构组合到 sparse haptic fusion 这个具体问题里，并系统证明 fusion granularity 会强烈影响 sequential tracking。它属于“foundation visual tracker + embodiment-aware auxiliary sensing”的技术谱系，而不是端到端 manipulation policy 或纯 tactile pose estimation。

Dataset / Evaluation

evaluation 的强点是分了三层：per-frame refinement、open-loop sequential tracking、closed-loop manipulation。这个设计比只报单帧 pose error 更有意义，因为 in-hand tracking 的真实风险是误差累积。论文证明了一个重要点：单帧指标会掩盖 encoder 差异，sequential evaluation 才能暴露 fusion architecture 是否真的稳定。

但覆盖范围明显有限。定量实验主要在 IsaacLab，物体是 pencil-shaped tool，任务是 reorientation 到 tip target；真实世界部分偏 demonstration/proxy，而不是严格 ground-truth benchmark。occlusion sweep 是可控的，但 synthetic rectangular mask 和真实手指遮挡/深度噪声/接触变化之间仍有差距。

这些实验足以支持一个窄 claim：在该手、该物体、该轨迹分布和该 occlusion protocol 下，finger-level kinematic haptic encoding 比 naive fusion 更稳。它不足以支持强 claim：该方法已经证明 object-general、real-world-general 或 morphology-general。尤其 downstream success 仍远低于 GT pose upper bound，说明 tracker improvement 能帮到 policy，但远未解决 deployment bottleneck。

Limitation

第一，方法成立依赖强前提：已知 CAD model、准确 hand-eye calibration、固定 hand URDF、同步 haptic streams、相对稳定的 contact sensing，以及 FoundationPose 提供可用初始化。它不是无模型、无校准、跨硬件的 general tracker。

第二，泛化论证不足。作者说 haptic encoder object-agnostic，因为输入只来自 hand-side signals；这个说法只对 encoder 局部成立。整体系统仍依赖 object mesh、rendered crop、训练轨迹和接触分布。单一 pencil-like object 上的结果不能证明跨物体形状、质量、摩擦、grasp mode 的泛化。

第三，增益归因不清。zero haptic inference 仍保持收益是很有意思但也很危险的结果：它削弱了“在线 sparse haptics 提供实时互补信息”的叙事。更可能的解释是 structural branch 在训练中 regularize 了 fusion representation，或者改变了视觉 token 的 attention organization。文中未充分说明 runtime haptic content 的 marginal contribution。

第四，rotation error 仍然很大，下游任务成功率离 GT upper bound 很远。论文证明了相对改善和结构化 fusion 的必要性，但没有证明该 tracker 已达到高精度 dexterous manipulation 的需求。drift 仍是核心瓶颈，只是被减缓而不是被解决。

第五，scalability 上限取决于 hand morphology 和 sensing layout。URDF bias 对同一只手有用，但换手、换传感器布置、缺 F/T、contact pattern 更稀疏时是否仍可迁移，文中未充分说明。

Takeaway

• 1. 对 in-hand pose tracking，单帧 refinement 指标不够；真正该看 sequential drift 和 closed-loop task tolerance。
• 这个 evaluation insight 比部分模块本身更值得迁移。
• 2. sparse haptics 的关键不是信息量，而是结构解释。
• 低维 contact/F-T/proprioception 如果不绑定到 kinematic chain，很容易在 fusion 中变成噪声或压制视觉。

一句话总结

KineFuse 是一篇把 in-hand occluded pose tracking 从“给视觉 tracker 拼接稀疏触觉”推进到“用手部运动学结构重塑 multimodal fusion 表示”的论文，真正贡献在于 finger-level embodiment-aware inductive bias，而不是单纯增加 haptic modality。