精读笔记

Problem Setting

【BeyondSight: Object Permanence for End-to-End Autonomous Driving】（arXiv preprint / 2026）

这篇论文解决的不是普通 3D detection/tracking under occlusion，而是 E2E driving pipeline 中一个更底层的建模错误：actor existence 被 instantaneous observability 隐式决定。当前帧看不到，query 会衰减，监督会消失，评估也不奖励保留，最后 planner 的输入场景天然缺一块。

真正困难点在于：不可见 actor 没有当前观测证据，但它又可能仍然 planning-relevant。系统必须在“持续保留可能存在的 hidden actor”和“不要把已经离开的 actor 当成障碍”之间做 trade-off。这个矛盾不是简单 temporal feature aggregation 能解决的，因为 temporal aggregation 主要增强 recent evidence，而不是维护 independent belief state。

以前方法卡在 benchmark 和 architecture 两侧：benchmark 把 zero-point / fully occluded actor 当成不参与监督与评估；architecture 中 sparse query 的生存也主要由检测置信度和近期视觉证据驱动。结果是模型即使有 temporal module，也没有被训练成在 observation gap 中维持 actor hypothesis。

Motivation

作者的核心动机是：自动驾驶本质是 partial observability problem，但主流 E2E-AD benchmark 把它处理成 fully observable per-frame perception problem。nuScenes 中相当比例 actor 在某些时刻完全没有 sensor support，且其中一部分离 ego 很近；这意味着 occlusion 不是 rare corner case，而是标准 driving state。

已有路线不够的关键不在于 temporal modeling 太弱，而在于 temporal modeling 的目标错了。BEV recurrence、query propagation、streaming detection 多数还是服务于“更稳定地检测当前可见物体”。它们没有要求 representation 在 actor 不可见时仍然存在，也没有相应监督让这种存在性状态变成可学习目标。

因此缺口是双重的：缺一个 object permanence-oriented representation，也缺一个能训练/评价这种 representation 的 dataset protocol。BeyondSight 的重要性在于它没有只说模型要记忆，而是指出当前 benchmark 本身在惩罚记忆。

Core Idea

论文真正核心的思想是把 actor query 从 detection output 提升为 belief state。也就是说，query 不再只是“当前帧图像中检测到的对象 token”，而是“一个 actor 可能继续存在的时序假设”。这改变了建模方式：existence 由历史状态和运动 prior 传播，observability 只是当前证据的一种条件，而不是 actor 是否存在的判据。

直觉上它成立，因为城市驾驶中的大多数短中期遮挡满足强运动连续性：行人、车辆不会因为被遮挡而瞬移或消失。把这种 continuity 作为 inductive bias 写进 query lifecycle，可以让 planner 在看不到 actor 时仍然获得保守但有用的 scene context。

和 prior 的本质区别是，过去 temporal query propagation 多数仍然被 observation decoder 消化掉，query 是否保留最终依赖当前 detection confidence；BeyondSight 把 prior propagation 和 observation update 分离，使 hidden actor 不必通过视觉 hallucination 来维持存在。这是更 scalable 的点：它不要求视觉 backbone 解释不可见区域，而是让 state-space memory 承担不可见状态的延续。

Method

方法层面只需要抓住三个机制。

第一，Temporal Prior Decoder 解决的是“没有当前图像证据时 actor state 如何继续存在”。它只基于上一时刻 query 和运动相关状态做传播，不访问图像特征。核心变化是把 temporal module 从 evidence aggregator 改成 state propagator。

第二，Observation Decoder 解决的是“当前证据如何修正已有假设”。它接收 prior query 和新 object query，再从当前 BEV/image feature 中提取证据。这里的必要性在于，visible actor 应该被观测校正，occluded actor 则不应该因为没有视觉 evidence 而被直接删除。

第三，Posterior Fusion 解决的是“prior hypothesis 和 observation-conditioned hypothesis 如何合并”。论文采用按分类置信度保留/融合再 refine 的方式，本质上是在 visible recovery 与 hidden persistence 之间做选择。这个机制比较工程化，但它把 propagated state 显式送入最终 scene representation，从而影响 motion prediction 和 planning。

第四，permanence-aware supervision 是不可或缺的。Observation branch 仍只用 observable actor 监督，而 temporal/fusion branch 用 observable + unobservable actor 监督，并额外预测 observability。这个设计把“是否存在”和“是否可见”拆成两个 label，避免模型把不可见当成负样本。

Key Insight / Why It Works

最关键 insight 是：object permanence 不是模型容量问题，而是 representation target 和 supervision target 的错位问题。只要 benchmark 把 unobservable actor 过滤掉，任何强 temporal model 都会被训练成在遮挡后降低置信度，因为保留 hidden actor 在标准评估里可能变成 false positive。

我认为真正有效的部分是“permanence-aware annotation + observability-conditioned evaluation + prior-style query propagation”的闭环。单独加 temporal prior 的作用有限；论文 ablation 也显示，在标准 annotation 下 unobservable mAP 仍为 0。也就是说，核心贡献不只是架构，而是把数据协议和模型 bias 对齐。

它本质上更像 memory reuse + better inductive bias + data coverage，而不是复杂 reasoning。模型并没有真正推断遮挡后 actor 的 intent change；它主要学习在短中期 occlusion 内沿着可预测 motion manifold 维持 hypothesis。对于连续运动，这非常合理；对于 hidden abrupt maneuver，则能力上限很明显。

Posterior fusion 可能主要是工程辅助。它能改善 observable/unobservable trade-off，但是否有不可替代性文中未充分说明。增益也可能部分来自额外 unobservable labels 对 detection/motion 的正则化，而不是纯粹来自 object permanence architecture。

需要警惕 evaluation bias：nuScenes-Permanence 的 unobservable ground truth 有相当部分来自 zero-point retained boxes 和 extrapolated trajectories。对这类标签做 adaptive matching tolerance 是合理的，但也会让评估更接近“是否维持与 offline prior 相似的轨迹”，而不是“是否真实知道隐藏 actor 状态”。因此 mAP_unobs 的提升不能直接等价为真实 occlusion reasoning 能力。

Relation To Prior Work

这篇最接近的技术谱系是 sparse-query E2E driving、streaming detection/tracking、object-centric memory。它不是从零发明 object permanence；视频 tracking、PermaTrack/OPNet 一类工作早就强调 latent state through occlusion。BeyondSight 的新增点是把这件事移植到 E2E driving，并把 planning-relevant representation、supervision、evaluation 放到同一个框架里。

相对 BEVFormer/UniAD/VAD/SparseDrive，真正不同点不是使用 temporal attention，而是 temporal state 的语义不同。prior work 的 temporal context 多数仍服务于当前帧可见 scene reconstruction；BeyondSight 要求 representation set 中存在不可见但曾经可见的 actor。

相对 tracking 方法，它的差异是下游目标不同：不是为了 track continuity 本身，而是为了让 prediction/planning 在 occlusion-heavy 场景中看到 hidden-risk context。这一点是实质创新，因为 E2E-AD 的 planner 往往只消费当前 scene tokens，actor 一旦在 representation 中消失，后续模块没有恢复入口。

看似新的 Bayesian prior/observation/posterior 语言，本质上是已有 filtering 思想的 neural query 重组。文中也承认这些不是 calibrated distributions。因此理论贡献有限，工程价值在于把 filtering-style decomposition 显式嵌入 sparse-query driving stack。

Dataset / Evaluation

nuScenes-Permanence 是论文 claim 能成立的关键。它把标准 nuScenes 中被过滤或缺失的 actor states 扩展出来，并按 observable / unobservable / all 做评价。这确实比原始协议更能验证 object permanence，因为原协议会把 hidden actor prediction 当成 false positive。

但这个 benchmark 验证的是“在 nuScenes-style 短序列、2Hz、近似连续运动假设下，模型能否维持与重建标签一致的 hidden actor hypothesis”。它没有验证真实部署中的闭环安全性，也没有覆盖多观察者真值、V2X privileged labels 或高质量仿真 ground truth。

evaluation 的优点是它把标准 mAP/NDS 与 observability-conditioned metrics 分开，避免 observable/unobservable 互相误罚。缺点是 unobservable labels 中 extrapolated terminal states 占比不低，且 adaptive matching tolerance 会把 annotation uncertainty 纳入评估规则。这个设计合理但也降低了 claim 的硬度：模型可能是在学习 dataset completion prior，而不是真正恢复不可观测世界状态。

planning 结果支持方向性判断，尤其 high-occlusion subset 更贴近 claim。但仍是 open-loop 评价；open-loop L2/CR 改善不等价于闭环行为更安全。planner 实际没有形成长期状态建模，它只是从更完整的 actor tokens 中受益。

Limitation

最核心前提是 hidden actor 的运动在遮挡期间大体连续且可由历史状态预测。只要 actor 在遮挡后突然停、急转、改变意图，BeyondSight 的 prior 就会 stale。论文自己也承认长遮挡下 recall 下降、false persistence 上升，这不是小问题，而是该类方法的结构性上限。

第二，能力很可能 heavily rely on data。没有 nuScenes-Permanence 监督时，架构几乎不能产生 unobservable detection；这说明所谓 permanence 不是自然涌现，而是由数据协议强行塑形。核心能力可能主要来自数据覆盖和 label retention，而不是模型学到了通用物理常识。

第三，方法把问题从“不可见 actor 没有表示”转移为“如何管理 stale hypothesis”。这在真实系统里很关键：保留过多 hidden actors 会导致保守规划或 phantom obstacle；删除太快又回到原问题。文中对 pruning、uncertainty calibration、risk-sensitive planning 的讨论不足。

第四，增益归因不完全清晰。permanence supervision、额外 observability head、temporal prior、fusion decoder、更多训练标签都同时变化。虽然有 ablation，但仍难分辨 planning 改善到底来自 hidden actor context，还是来自更强 tracking/regularization。

第五，benchmark overlap 风险存在。nuScenes-Permanence 的标签生成使用 nuScenes observable trajectory statistics 和 forecasting prior；模型又在同一数据分布上训练/评估。泛化到更复杂遮挡、更长 horizon、更高密交通或非 nuScenes 传感器设置，文中未充分说明。

Takeaway

• 1. 这篇真正推动的是：E2E driving 不能继续把 observability 当成 existence。
• 对 partial observability，必须在 representation、supervision、evaluation 三层同时改。
• 2. object permanence 在自动驾驶里更像 belief-state maintenance，而不是视觉补全。
• 可见证据负责校正，不可见状态靠 memory 和 motion prior 延续；这个分工值得迁移到 occupancy、agent forecasting、交互式 planning。

一句话总结

BeyondSight 是把 sparse-query E2E driving 从 observation-conditioned detection 推向 belief-state-style actor persistence 的一篇工作，真正贡献在于用数据协议和模型结构共同解除“看不见即不存在”的错误 inductive bias。