精读笔记

Problem Setting

论文标题：CosFly-VLA: A Spatially Aware Vision-Language-Action Model for UAV Tracking（arXiv preprint / 2026）。

这篇论文处理的不是普通 UAV visual tracking，而是城市低空动态目标跟踪中“目标持续不可见之后如何恢复”的问题。目标和相机都在运动，遮挡由建筑、树木、路边物体等静态结构造成；一旦目标消失，策略仍要继续飞行并保持可重新捕获的相对位置。

真正困难点在于闭环耦合：目标不可见时，当前观测不再提供可靠监督信号；但 UAV 不能停在原地等目标出现，它必须基于历史状态和场景结构继续行动。错误动作会改变后续视角，使下一帧更偏离目标，从而形成 self-amplifying drift。这个问题不是检测精度差一点，而是 belief、control 和 observation distribution 同时漂移。

以前方法卡在两个地方。一类 detection/ReID/control pipeline 依赖可见外观和身份匹配，持续遮挡时 identity evidence 消失；另一类 VLA/active tracking policy 多数在 visible-frame imitation 或短遮挡上工作，训练和评估没有把 disappearance-reasoning-reacquisition 作为主对象。关键矛盾是：训练数据通常为了干净而过滤不可见样本，但真实失败恰恰发生在这些样本上。

Motivation

作者的核心动机很明确：UAV tracking 的主要瓶颈不是“看见目标时跟得准”，而是“看不见目标时还能不能把系统带回可观测状态”。这要求模型拥有 aerial geometry prior、历史运动外推能力、遮挡关系理解，以及在自己动作导致的新观测分布上恢复的能力。

已有路线不够，是因为它们通常缺三样东西。第一，通用 VLM/VLA 的空间先验不一定适配 UAV 视角下的尺度、深度、相对高度和遮挡顺序。第二，标准窗口构造会过滤掉 4/5、5/5 历史帧不可见的样本，使模型没有学过真正的 recovery regime。第三，offline SFT 只能拟合 expert window，无法学习 rollout 中由错误动作造成的状态分布。

所以作者想到的方向不是简单换更大的 VLA，而是把数据、接口、训练和评估都围绕 occlusion recovery 重新组织。关键缺口不是“缺一个更强 backbone”，而是缺一个让不可见目标状态在模型内部被持续表示、并能驱动动作的训练闭环。

Core Idea

核心思想可以概括为：把 UAV tracking 建模为 partial observability 下的 spatial belief maintenance + closed-loop recovery，而不是 visible-frame grounding + action imitation。模型每一步同时输出可见性、当前 bbox 和未来 waypoint chunk；这迫使表示层显式区分两种状态：目标可见时由图像证据锚定，目标不可见时由历史、场景几何和运动假设维持。

这种设计引入的 inductive bias 是“visibility-gated spatial control”。visibility head 不只是辅助分类，它在概念上告诉模型当前 appearance evidence 是否可信；bbox head 维护 grounding；action head 把这个状态转成连续飞行动作。三者共享 backbone 但解码分离，避免了纯语言解码数值控制的脆弱性，也避免了把 tracking 退化成一个单一 action regression 问题。

和 prior 的本质区别在于，CosFly-VLA 把长遮挡样本和闭环恢复作为训练分布的一部分，而不是异常处理。它不是只在模型结构上增加 memory 或 reasoning，而是从数据构建、CPT、curriculum、CoT 到 RL 都围绕“遮挡后还能回到可观测状态”这个 failure distribution 优化。这个方向比普通 VLA imitation 更 scalable 的地方在于：它可以继续吸收 aerial spatial data、long-tail occlusion data 和 on-policy failure data，而不是只依赖可见帧 expert labels。

Method

方法中真正值得保留的是机制，不是模块清单。

第一，结构化预测接口解决的是 VLA 数值控制不稳定的问题。action、bbox、visibility 通过 task-specific heads 输出，而不是靠文本 token 解析。这让连续 waypoint、离散/连续可见性、空间框定位分别有适合自己的损失和表示路径，减少语言通道对控制精度的干扰。

第二，meta-query routing 解决的是共享多模态表示如何被不同任务读取的问题。action query、box query、visibility query 从同一 backbone hidden state 中取不同 task-conditioned span，本质上是在 frozen/LoRA backbone 上增加可学习的读出槽位。它的作用不是神秘推理，而是让同一上下文被组织成三个可训练的 latent interface。

第三，Spatially Grounded CPT 解决的是 backbone 缺 UAV-view geometry prior 的问题。持续遮挡时，模型不能依赖目标外观，只能依赖道路结构、深度关系、尺度变化、遮挡物位置和历史运动。CPT 的核心变化是把 aerial spatial QA/grounding/caption 数据从 perception benchmark 变成 action policy 的前置表征对齐。

第四，long-occlusion curriculum 解决的是训练分布错位。默认过滤不可见窗口会让模型只学 visible tracking；论文反过来保留并上采样长遮挡窗口，把 recovery case 变成主要训练压力。这一部分很可能是实际收益的关键来源。

第五，CoT training 解决的是 hard occlusion 下的中间监督稀疏问题。它通过 teacher trace 给模型提供“最后可见位置-遮挡物-运动方向-可能重现区域-恢复动作”的模板。但这里的 CoT 更像 structured latent supervision，不应过度理解成真实规划能力。

第六，closed-loop RL 解决的是 offline action error 被 rollout 放大的问题。RL 只更新 action expert，优化 stand-off、IoU、collision 和 success。它的本质是让 action head 适配自己造成的状态分布，而不是端到端学完整 tracking belief。

Key Insight / Why It Works

这篇最重要的 insight 是：遮挡恢复能力主要来自“训练分布和表示接口是否承认目标不可见”这一点，而不是来自更强的 VLM 语义能力。只要模型被训练成在不可见帧仍要输出 visibility、box hypothesis 和 action，它就被迫学习一种弱 belief state；再配合长遮挡样本和空间预训练，这个 belief state 才有可用的几何内容。

我认为最可能的核心贡献排序是：long-occlusion data mining / curriculum > structured multi-head interface > aerial spatial CPT > closed-loop RL > CoT。CPT 的跨地图提升合理，因为它改善了 aerial geometry representation；CoT 在 hard slice 上提升明显，但很可能是 teacher-generated recovery template 的蒸馏，而不是自然语言推理本身带来的 causal reasoning。RL 的贡献主要体现在闭环安全和 stand-off control，不一定提升可见性连续性，这和论文结果一致。

这不是 retrieval 方法，但某些“推理”现象可能具有 retrieval/template matching 性质：看到类似遮挡结构后复用“沿 sidewalk 外推、绕 occluder yaw、保持距离”的恢复模式。它也不是严格意义的长期 memory 模型，因为输入只有短历史和文本 state history，文中未证明存在稳定的 belief update mechanism。更准确地说，它是通过数据覆盖和结构化监督，把短历史 VLA 训练成一个 occlusion-conditioned reactive policy。

哪些可能只是 engineering / scaling？500k CPT 混合数据、170 万 SFT samples、teacher CoT、CARLA rollout RL、复杂数据筛选和服务系统都可能贡献很大。论文没有充分拆开“空间预训练 vs 数据规模 vs 长遮挡采样 vs teacher trace”的独立效应。增益来源不清，尤其是 CoT 的收益到底来自语言推理、额外 hard samples、teacher label quality，还是训练更久。

是否有 evaluation bias？有明显风险。闭环评估使用 shared oracle state history，而不是 predicted box/visibility feedback，这绕开了真实 tracking 中最危险的误差通道。open-loop hard window 也只是历史帧不可见，不等价于长时间闭环丢失后恢复。seen/unseen map 的提升说明一定程度跨场景，但仍在 CARLA 分布内，不能证明真实部署泛化。

Relation To Prior Work

最接近的谱系有三条：通用 VLA action policy、embodied visual tracking / active tracking、UAV VLA navigation。CosFly-VLA 的结构借用了 OpenVLA/π 系列的视觉-语言-动作范式，也借用了 diffusion/flow action head、action chunking、LoRA adaptation、PPO/GRPO-style on-policy update 等成熟组件。很多模块本身不是新发明。

和 TrackVLA/TrackVLA++、UAV-Track VLA 等最相关工作的差异在于任务组织原则。prior 更多强调 language-conditioned tracking、memory/reasoning 或 active perception；CosFly-VLA 把 sustained occlusion 和 re-acquisition 变成数据挖掘、评价协议和训练流程的中心。这是实质差异。

和传统 UAV tracking / ReID / redetection 方法相比，它没有把遮挡恢复交给一个显式 redetector 或 planner，而是把空间假设压进 VLA 表征和 action head。优势是端到端闭环可优化，劣势是可解释的状态估计和失败诊断更弱。

看似新的部分，如 CoT recovery reasoning、meta-query heads、flow action expert，基本都是已有思想的重组。真正新增的信息在于：把 aerial spatial pretraining、长遮挡窗口保留、结构化 visibility-grounding-action 输出、闭环 RL 放到同一个 occlusion-recovery benchmark 中，并证明这种组合在模拟环境里有效。

Dataset / Evaluation

数据覆盖主要还是模拟环境，SFT 基线集中在 Town10HD pedestrian-only，RL 跨 11 个 CARLA maps。它覆盖了城市低空、行人目标、遮挡、碰撞和 stand-off tracking，但目标行为较简单，类别单一，缺少真实图像噪声、真实飞控延迟、复杂人群、天气、光照和 sim-to-real variation。

open-loop evaluation 的优点是对 occlusion slice 做了重平衡，避免被 easy visible windows 淹没；这确实更贴近论文 claim。closed-loop evaluation 也比单纯 ADE 更有意义，因为它测 action-induced drift、collision 和 success。

但 benchmark 没有完全验证最核心 claim。论文声称 occlusion-robust closed-loop recovery，但闭环使用 ground-truth history buffer，意味着 previous boxes / visibility flags 不是模型自己长期预测的结果。这样评估更像 isolate action policy，而不是完整 tracking system。真实系统中，一旦 bbox 错、visibility 错、identity drift，后续输入会污染；文中没有证明 CosFly-VLA 能承受这种反馈。

另外，aggregate metrics 掩盖了遮挡持续时间、遮挡类型、重捕获时间和 identity switch。没有 per-occlusion breakdown，就很难判断模型是真的会 re-acquire，还是在多数中等难度 episode 上更稳。没有多 seed 方差，RL 增益尤其需要谨慎看待。

Limitation

方法成立依赖几个强前提。第一，训练和测试的几何/目标行为分布不能差太远；否则空间外推模板可能失效。第二，历史状态质量要高；论文当前用 oracle state history，这比真实 tracker 宽松很多。第三，遮挡后的目标运动相对可预测；如果目标突然转向、进入室内、混入人群或出现 adversarial motion，短历史 reactive policy 很可能不够。

核心能力可能主要来自数据覆盖。长遮挡 mining 和 curriculum 把以前被过滤的 failure cases 放回训练集，这本身就会产生很大收益。所谓推理更像 retrieval 或 teacher-template distillation：模型学会在 banner/building/tree 遮挡时输出合理恢复话术和动作，但不一定形成可更新的长期 belief。

planner 实际没有形成明确长期状态建模。8-step action chunk + receding horizon 仍是局部控制；没有显式 Bayesian filter、map memory、target motion model 或 uncertainty propagation。visibility head 也只是一个监督预测，不等于决策层真的进行了 belief gating。

泛化可能依赖 benchmark overlap。即使 unseen-test 是 disjoint maps，它们仍在同一 simulator、同类道路结构、同类 pedestrian motion 和同类 sensor rendering 中。文中未充分说明外部 aerial datasets 与 CARLA 场景之间是否存在语义或几何分布上的隐式重合。

增益归因不清。CPT、curriculum、CoT、数据量、teacher quality、head architecture、训练时长都耦合在一起。尤其 CoT 的边际提升可能只是 hard occlusion data 再训练效果，而不是 reasoning trace 本身。RL 也只更新 action head，在 oracle history 下优化 closed-loop；这把问题从 perception-belief feedback 转移到了相对干净的 control adaptation。

Takeaway

• 1. UAV active tracking 以后不能只看 visible-frame localization；真正有价值的 benchmark 应该显式测 disappearance、belief preservation、re-acquisition 和 action-induced drift。
• 2. 数据构造就是方法。
• 保留长遮挡窗口、按 failure mode 做 curriculum、让模型在不可见时也必须输出结构化状态，比堆更大 backbone 更关键。
• 3. 对 embodied VLA 来说，结构化 latent interface 往往比纯文本 action decoding 更重要。

一句话总结

CosFly-VLA 是把 UAV VLA tracking 从可见帧模仿推进到遮挡恢复导向训练的一篇系统型工作，真正贡献在于围绕持续遮挡重构数据分布、结构化接口和闭环优化，而不是发明了全新的推理模型。