精读笔记

Problem Setting

[论文标题] Distilling Global Traversability Priors for Image-based Affordance Prediction in Off-road Environments（arXiv preprint / 2026）

这篇论文实际处理的是 off-road long-horizon autonomy 中的 terminal guidance 问题，而不是一般意义上的 traversability estimation。局部 BEV map 可以告诉机器人眼前哪里能走，但无法告诉它当前应该选择哪条分支、是否应该离开主 trail、是否正在进入 cul-de-sac。关键矛盾是：部署时不能假设有可靠全局地图，但仅靠局部传感器又不足以做长程选择。

以前方法主要卡在两个地方。第一，局部 map/局部 cost 的 horizon 太短，MPC 在远目标任务中容易局部最优。第二，图像式长程 affordance 通常依赖人类演示、深度投影或点跟踪生成监督，这些监督在越野场景里噪声大、覆盖窄，而且对多模态路径表达很差。论文真正要解决的是：如何在训练期利用全局信息，但在测试期只用 FPV 图像输出 planner 可消费的长程方向先验。

Motivation

已有路线缺的不是一个更强的局部 traversability 网络，而是一个能告诉局部 planner “哪个远场方向值得推进”的结构化 prior。局部地图路线的问题在于它把 long-range structure 截断了；演示学习路线的问题在于它只记录实际走过的一条路径，不能表达同一状态下多个可行 frontier；LRN 这类自动标注路线虽然避免人工标注，但仍把 supervision 放在 image space，并受 CoTracker 噪声、遮挡和相机视角变化影响。

作者的动机可以概括为：训练期其实可以访问比演示更强的信息源，即卫星图像加机器人历史经验生成的全局 traversability map。与其让模型模仿人类走过的轨迹，不如让全局 planner 在这个 map 上枚举可行长程路径，再把这些路径压缩成 heading-space frontier labels。缺口因此从“如何手标/跟踪图像中的可走区域”变成“如何把全局可通行先验蒸馏到部署时可见的 FPV cue 中”。

Core Idea

核心思想是做一种 asymmetric training：训练时使用 satellite-derived global traversability prior 和全局规划器，测试时只使用 FPV 图像预测 long-range heading affordance。它不是让机器人在线读取卫星地图，也不是让网络直接生成路径，而是把全局规划得到的可行 frontier 分布蒸馏进视觉模型。

本质变化在于表示对齐。prior work 往往先在 image space 学 affordance，再投影或解释给 planner；这篇直接监督 heading-space 表示 A_k，也就是 downstream planner 真正使用的接口。这个 inductive bias 很强：模型不需要还原完整几何，只需要判断各个角度方向背后是否存在可通行长程结构。这样既避开远距离深度/点跟踪的脆弱性，也允许一个状态对应多个可行方向。

和 prior 的本质区别不是用了 VFM 或 decoder，而是把监督源从单轨迹 hindsight demonstration 改成了 global traversability planning，把学习目标从图像像素对齐改成了 planner-aligned heading distribution。这使方法更 scalable 的地方在于标签可以由 planner 大规模生成；更 generalizable 的希望在于 heading 表示比图像热图更贴近控制接口、比具体轨迹更抽象。

Method

方法上真正重要的只有四个机制。

第一，用机器人自身经验校准 satellite traversability map。SALON 先从真实行驶数据产生局部 traversability，再通过 RTK/GPS 注册到全局坐标，并用卫星图像特征和 GPR 把已访问区域的可通行性外推到未访问区域。它解决的是训练期 supervision coverage 不足的问题；核心变化是把 sparse robot experience 变成 dense global prior。

第二，在全局 traversability map 上为每个 pose 规划多条长程路径，而不是只使用演示轨迹。目标点沿远距离圆周采样，FMM 生成可行路径，再取视野内、未被 lethal terrain 遮挡的最远点作为 frontier。它解决的是 demonstration 单模态和覆盖不足的问题；核心变化是把“人走过哪里”改成“从这里理论上哪些方向都可走”。

第三，把路径标签转换成 heading-space supervision。每个 heading bin 同时编码 frontier 存在概率和路径 traversability cost，遇到多个可行路径时采取 optimistic assignment。它解决的是图像空间监督噪声和下游接口错位的问题；核心变化是直接学习 terminal-cost prior，而不是间接学习可视区域 mask。

第四，部署时将 goal-agnostic affordance A_k 与 goal-conditioned D_k 组合，再交给局部 MPPI 和 SALON local map。它解决的是长程方向选择与近场安全约束之间的分工问题；核心变化是远场靠视觉 prior，近场靠显式局部 traversability。

Key Insight / Why It Works

这篇最重要的 insight 是 representation alignment 加 data coverage，而不是网络结构。heading-space 是 planner 真正需要的中间变量，因此直接监督它会比 image-space affordance 更少受相机、深度、遮挡、点跟踪失败的影响。模型不必知道某个像素精确对应哪块地面，只要把视觉线索聚合成某个方向的 long-range viability。这个压缩损失了一些几何细节，但正好匹配 long-horizon terminal guidance 的需求。

真正有效的部分很可能是 planner-generated multi-modal labels。越野导航里大量错误来自分岔口和绕障选择，演示数据只告诉模型一个正例方向，其他可行方向被当成未知甚至负例。全局 planner 枚举远目标后，监督信号天然覆盖多条可行 frontier，减少了 demonstration bias。这更像 data coverage / label generation 的胜利，而不是模型推理能力的突破。

卫星 traversability map 的角色是 hidden teacher。它把部署时不可用的 global information 在训练期注入模型，因此方法本质上是 distillation of privileged information。所谓 long-range reasoning 在测试时并没有显式搜索或记忆，更像从 FPV 外观检索训练期学到的全局可通行先验。这个判断很关键：模型可能在视觉上识别“trail opening / vegetation gap / terrain corridor”，但它并不真正维护远场拓扑。

VFM、RADIO、decoder、EMD loss 都是辅助。VFM 提供更强语义特征，EMD 让角度 bin 的邻近关系进入 loss，这些会改善稳定性；但如果没有 global planner labels 和 heading-space 对齐，核心增益很可能不存在。文中未充分说明这些因素的独立贡献，因此增益来源不清，可能主要来自 scaling / data 和更合理的监督形式。

还有一个潜在风险是 evaluation bias：offline planning 使用同一类 global traversability map 作为 privileged reference，而训练标签也来自类似地图/规划流程，因此 offline 指标可能偏向该方法。真机结果更有说服力，但场景数量有限，且所有系统组件共享 SALON/local planner，仍难完全拆分“更好 frontier prior”和“系统调参/场景适配”的贡献。

Relation To Prior Work

这篇最接近 LRN 和其他 FPV-to-frontier / FPV+BEV long-range navigation 方法。它继承了 LRN 的思想：用图像预测远场 frontier，再作为局部 planner 的 terminal guidance；也继承了 satellite traversability / robot experience mapping 的思想：利用全局地图生成可通行性。但它把两条路线组合成一种 teacher-student 框架：训练期用 satellite map 和 planner，部署期用 FPV model。

和 LRN 的本质差异是监督对象和监督来源。LRN 用 point tracking 从演示中自动生成 image-space heatmap，仍受演示轨迹和跟踪质量限制；本文用 global traversability planner 生成 heading-space 标签，直接优化下游要用的变量。这个差异是实质性的，因为它改变了错误模式：从“像素标注是否正确”转向“方向级 frontier prior 是否正确”。

和 satellite-map planning 方法相比，它的新意在于不要求部署时访问 satellite map。全局地图不是在线 planner 的输入，而是离线 teacher。这个设计在 GPS/地图不可用部署设定下更合理，但也意味着全局结构只以统计先验形式存在，无法应对测试时地图与现实不一致的大变化。

看似新的部分中，VFM 特征、GPR 外推、FMM 路径生成、EMD angular loss 都不是单独的概念创新，更像已有工具的工程性重组。实质创新在于把 global traversability prior 蒸馏成 heading-space affordance，并用 planner-generated labels 修复 demonstration-only 的多模态缺陷。它属于 privileged-information distillation / planner-supervised affordance learning / local planner terminal prior 这条技术谱系。

Dataset / Evaluation

训练数据约 28k FPV/pose 样本，来自 TartanDrive 2.0 子集和额外地点；评估覆盖图像空间人工标注、heading-space 离线规划指标、以及五个真机长程越野任务。相比只做 offline benchmark，这篇有真机验证，这是它比较有价值的地方，因为长程越野导航的失败模式很难通过单帧指标完全体现。

实验基本支持两个核心 claim：第一，heading-space supervision 不会完全破坏 image-space 可解释性；第二，planner-derived multi-modal labels 比 demonstration-only 更适合 frontier estimation，并能减少真机干预。尤其是真机中 intervention 和 completion time 的差距说明该 prior 对决策确实有帮助。

但 evaluation 的覆盖仍偏窄。真机只有五个核心场景，总里程约 1.5km 量级，不足以证明强泛化。OOD 主要是离线图像/heading 指标，且文中未充分说明训练区域、卫星图像分布、地貌类型与测试数据之间的重叠程度。所谓跨平台泛化也没有闭环硬件实验，因此更像初步证据，而不是已验证的 deployment-level generalization。

offline benchmark 还存在 teacher-student 同源问题：训练标签来自 global traversability planning，离线 privileged path 也基于全局 traversability map。这样可以验证模型是否学到了 teacher 的 heading policy，但不能完全验证它在真实未知地形中的长期最优性。

Limitation

最大前提是 prior map 质量。卫星图像、DEM、GPS 注册、SALON 局部标签、GPR 外推任何一环出错，都会系统性污染 heading labels。作者承认 satellite imagery 与实地存在 canopy、erosion、seasonal change 差异，但没有充分量化这种噪声对模型上限的影响。

第二，方法把长程规划问题转移到了训练期。部署时没有显式全局 reasoning，也没有记忆机制；frontier 一旦离开视野就丢失。所谓 long-range capability 实际是从当前 FPV 中预测远场方向的 learned prior，而不是在线构建拓扑或进行长期状态估计。因此在需要记住过去观察、绕行后重新选择、或处理不可见拓扑变化的任务中，上限明显。

第三，泛化可能主要依赖数据覆盖。模型能否跨地貌、季节、植被类型、道路材料、相机高度/FOV 泛化，取决于训练数据是否覆盖了相似视觉 cue。这里的 reasoning 更像 retrieval：看到类似 trail opening 就输出某个 heading affordance。若视觉外观与真实 traversability 解耦，例如草地覆盖坑洼、树冠遮挡道路、卫星图过时，模型容易自信错误。

第四，增益归因不清。planner-generated labels、heading-space loss、VFM backbone、共享 SALON features、EMD、更多数据都可能贡献性能。文中有 DOS 和 LRN 对比，但没有充分隔离 label source、representation target、模型容量和数据规模。部分提升可能主要来自 scaling / data，而不是新的建模机制。

第五，多模态标签采用 optimistic assignment，可能鼓励模型偏向“只要某方向存在一条好路径就高分”。这对探索多个 frontier 有利，但在局部不可见风险、动态障碍或地图噪声下可能带来 overconfidence。

Takeaway

• 最值得迁移的第一点是：长程导航的监督目标应该对齐 downstream planner 的接口。
• 与其在 image space 学一个漂亮但间接的 affordance mask，不如直接学习 terminal-cost / heading prior。
• 第二点是：对多模态决策问题，演示数据天然不足。
• 用 privileged planner 生成多解标签，是比模仿单一路径更合理的数据构造方式。

一句话总结

这篇论文在 off-road long-range navigation 中把卫星全局 traversability 规划结果蒸馏为 FPV heading-space frontier prior，真正贡献是 planner-aligned privileged supervision 和多模态标签生成，而不是一个新的视觉模型。