精读笔记

Problem Setting

论文标题：On Exploring Input Resolution Scaling For Anytime LiDAR Object Detection（arXiv preprint / 2026-07-10）。

这篇论文实际处理的是 modular autonomous driving perception 里的一个实时系统问题：LiDAR 3D detector 在不同运行状态下有不同 deadline，但现有 detector 通常只有一个固定输入 resolution 和固定 latency-accuracy 点。真正困难不在于“降低 LiDAR detector latency”，而在于在每一帧都能选择合适 compute level，并且这个选择要在稀疏、输入相关、空间分布相关的计算图上可靠满足 deadline。

以前路线卡在两个地方。多模型多分辨率切换最直接，但部署成本随 resolution 数增加，内存开销在嵌入式平台上不可忽略。VALO 这类 input slicing 保留单模型，但 tight deadline 下处理的是不完整输入，检测质量越来越依赖历史 forecasting。两者都没有真正把“空间分辨率”变成一个可训练、可调度、低内存的模型条件变量。

关键矛盾是：LiDAR 分辨率越高，几何细节越完整，尤其对细长物体、小目标、false positive suppression 更重要；但高 resolution 带来更高且更不稳定的 sparse CNN latency。系统需要的不是平均更快，而是 deadline 下尽量准确。

Motivation

作者的核心观察很简单但有效：改变 pillar/voxel size 是 LiDAR detector 中天然存在的 resolution knob，而且它比 early exit 或 input slicing 更符合检测任务本身。降低 resolution 会压缩 BEV grid 和 active cell 数，延迟下降；同时仍处理完整场景，不像 slicing 那样把空间区域直接丢掉。

缺口在于 naive resolution scaling 不成立。同一个 Pillarnet 如果只在 0.100m pillar 上训练，推理时换到更粗 pillar，mAP 会大幅掉。这说明 fully convolutional property 只保证能跑，不保证 representation 对齐。不同 resolution 下，点云聚合后的局部统计、稀疏模式、BN 分布都变了。

因此论文的动机不是“多分辨率训练很酷”，而是：resolution scaling 本来是一个好用的 anytime 维度，但缺少让单模型跨 resolution 保持统计一致性、并在 runtime 可靠选择 resolution 的机制。

Core Idea

MURAL 的核心思想是把 input resolution 从静态架构超参改造成 runtime condition。模型主体卷积权重共享，表示能力跨 resolution 复用；但 BN 层按 resolution 分开，让每个 resolution 拥有自己的特征统计校准。这相当于假设不同 resolution 之间需要的语义滤波器大体相同，主要差异是 feature distribution shift，而不是完全不同的 detector。

这个 inductive bias 很关键：如果每个 resolution 都训练独立模型，信息完全不共享，内存线性增长；如果所有参数完全共享，分布不对齐导致精度崩。MURAL 选择一个中间点：共享高容量卷积权重，只给低成本 normalization 参数 resolution-specific freedom。这是从 image resolution-switchable network 迁移来的思想，但放在 LiDAR 上的价值更高，因为 LiDAR detector 的多模型部署成本和 sparse latency variability 更突出。

和 VALO 的本质区别是，MURAL 不是在 deadline 下决定“看多少输入”，而是决定“以多粗的空间量化看完整输入”。这改变了信息损失模式：slicing 是 spatial coverage loss，resolution scaling 是 spatial precision loss。对 detection 来说，后者通常更平滑，也更容易被训练吸收。

Method

第一，多分辨率联合训练解决跨 resolution 的 shared representation 问题。每个 batch 对多个 pillar/voxel size 前向，loss 累加后统一更新共享权重。它的作用不是提升单点 SOTA，而是让卷积核在多个空间量化尺度上都见过数据，避免运行时切换变成 out-of-distribution inference。

第二，resolution-aware BN 是方法中最必要的建模组件。分辨率变化会改变 active cell density、pillar 内点数统计、feature magnitude 和 sparse/dense feature map 分布。共享 BN 会把这些分布强行混在一起，导致模型偏向某个中间 resolution。独立 BN 用极小参数量换来分布对齐，是单模型多分辨率可用的关键。

第三，deadline-aware scheduler 负责把多分辨率能力转化为 anytime 能力。它不是简单按 resolution 查表，因为 LiDAR sparse CNN 的 latency 不只由 grid size 决定，还由 active coordinates 的传播决定。pillar 模型中，作者用 max-pooling 模拟 sparse convolution 的 active output locations，从而预测各层 active count，再映射到 latency；voxel 模型中退回历史/lookup-table 近似。

第四，post-training pillar size synthesis 扩展了可选 resolution 粒度。它通过对 BN 参数随 grid area/resolution 的变化做二次回归，生成未训练 resolution 的 BN。这个机制解决的是 scheduler 候选点太稀的问题，但目前只在 pillar-based 2D sparse/dense pipeline 上可信。

第五，dense CNN crop、forecasting 和 region dropping 是系统层补强。它们分别减少 BEV 空区域计算、用历史检测补当前漏检、在 voxel timing underprediction 时裁剪区域保 deadline。这些提高了系统表现，但核心新意不在这里。

Key Insight / Why It Works

最核心的有效性来自 representation alignment，而不是单纯 scaling。输入 resolution 改变后，几何量化尺度变了，但检测语义仍然相近：车、人、障碍物在 BEV 中的空间模式不会彻底变成另一个任务。因此共享卷积权重是合理的；同时，feature statistics 会系统性漂移，因此需要 resolution-specific BN。MURAL 把“语义滤波器共享”和“统计校准分离”这个假设用在 LiDAR 上，效果符合预期。

第二个关键 insight 是，resolution scaling 的信息损失比 input slicing 更可控。VALO 在 tight deadline 下可能只处理输入的一部分，然后依赖 forecasting；MURAL 始终处理完整场景，只是用更粗 spatial bin。对安全感知而言，完整覆盖通常比局部高精更重要，尤其在目标位置未知时。这解释了为什么它在 hard-deadline mAP 上通常优于 slicing-based anytime。

第三，runtime latency prediction 是这篇论文从“模型技巧”走向“实时系统方法”的核心。LiDAR sparse CNN 的延迟由 active set 的空间扩张决定，不能只看点数或 pillar 数。用 max-pooling 复制 active output support 是一个很干净的结构性近似：它不预测 feature value，只预测稀疏卷积会激活哪些位置。这部分比很多 empirical latency regression 更有机制感，应该算实质贡献。

第四，post-training BN synthesis 更像 engineering/scaling trick。它利用 BN 参数随 resolution 平滑变化的经验规律，增加调度粒度。它有迁移价值，但不是强理论保证；voxel 模型上不成立也说明该机制依赖 2D pillar pipeline 中卷积对 resolution 的较强容忍度。

第五，closed-loop gain 的一部分可能来自正确选择了“低速高精、高速低延迟”的系统策略，而不完全来自 detector 本身。动态 deadline policy、forecasting、dense crop 都混在最终表现里。论文证明了组合系统有效，但对各组件在闭环安全中的因果归因仍不够干净。

Relation To Prior Work

最接近的技术谱系有三条：resolution-switchable networks、anytime perception scheduling、LiDAR input slicing/forecasting。MURAL 本质上是把 image classification/2D detection 中的 resolution-aware BN 思想移植到 LiDAR detector，再和实时调度结合。

和 Resolution Switchable Networks 的差异在于任务和系统约束更硬。图像分类里 resolution switch 主要是 efficient inference；这里 resolution switch 需要满足 per-frame deadline，而且 LiDAR sparse computation 的 latency 与空间 occupancy 相关，调度问题更难。

和 Anytime-LiDAR/early-exit 的差异在于 compute knob 不在网络深度，而在输入空间量化。early-exit 对检测任务常常会损失 localization/object completeness，且对 sparse CNN-heavy 模型未必自然；resolution scaling 更贴合 LiDAR voxelization pipeline。

和 VALO 的差异最重要。VALO 是 partial input + forecasting，MURAL 是 full input + lower spatial precision。前者把 deadline 问题转化为选择哪些空间数据不处理，后者转化为选择多粗的空间编码。MURAL 新增的信息主要是：单模型多 resolution 的训练/BN 对齐，以及基于 active support 预测 sparse CNN latency。

看似新的部分中，forecasting、dense crop、region dropping 基本是已有系统技巧重用；resolution-aware BN 也是已有思想迁移。真正实质创新是把这些组织成 LiDAR anytime detector 的可部署方案，尤其是 sparse CNN latency prediction 与 resolution scheduling 的结合。

Dataset / Evaluation

open-loop 使用 nuScenes，模型覆盖 Pillarnet、PointPillars、CenterPoint，硬件覆盖 Jetson AGX Xavier/Orin。这个 evaluation 足以支持论文的主要 claim：MURAL 不是只对一个 detector 或一个平台有效，且在 hard deadline 下比 fixed-resolution baseline 和 VALO 更有优势。

跨架构覆盖比较有价值：PointPillars 没有 sparse CNN，Pillarnet 是 pillar+sparse+dense，CenterPoint 是 voxel-based。结果显示框架能覆盖不同 LiDAR detector family，但 voxel 支持明显弱一些：不能做 post-training resolution synthesis，latency prediction 也退回 lookup/history 机制。这说明 generality 是有限 generality。

closed-loop evaluation 是论文比很多 anytime perception 工作更强的地方。它验证了 mAP-latency trade-off 会转化为 driving behavior：低分辨率在高速 hazard 下有用，但在 dense urban 下 false positive 会导致不必要停车；高分辨率反过来。这个结果比单纯 mAP 曲线更能说明 dynamic resolution 的系统价值。

但 closed-loop 仍有明显限制。它在 AWSIM/Autoware 中运行，使用桌面 RTX 4090 并模拟 Orin latency，而不是完整嵌入式闭环部署。场景数量和复杂度有限，deadline policy 手工设定。它支持“动态 resolution 有系统收益”的方向性结论，但还不能证明真实道路部署中的鲁棒性。

Limitation

第一，方法的核心假设是跨 resolution 的主要问题是 BN statistics shift，而不是卷积语义本身失效。pillar 模型上这个假设基本成立；voxel 模型上 post-training synthesis 失败，说明 3D sparse convolution 对 resolution 的敏感性更强，共享权重的泛化边界更窄。

第二，可扩展性受候选 resolution 和训练覆盖限制。训练时每个 batch 多 resolution 前向，训练成本上升；resolution 数越多，调度开销也会上升。虽然 BN 参数内存很小，但 compute-side 的候选评估不是免费的。

第三，latency prediction 仍依赖硬件、实现和数据分布。pillar 的 max-pooling active support 近似很漂亮，但它假设 sparse convolution latency 主要由 active count 可解释；不同 sparse conv library、kernel fusion、GPU scheduling 状态可能改变这个关系。voxel 上使用 lookup/history 更脆弱，本质上把问题转移到 temporal consistency 假设。

第四，closed-loop 增益归因不完全清楚。MURAL 同时包含 dynamic resolution、forecasting、dense optimization、deadline policy。论文 ablation 主要在 open-loop mAP/deadline 上，未充分说明闭环 safety/efficiency 改善分别来自哪些机制。

第五，所谓泛化更多是 resolution interpolation/generalization，而不是语义或场景泛化。post-training BN synthesis 的成功依赖 BN 参数随 resolution 平滑变化，这在 nuScenes/Pillarnet 上成立，但文中未充分说明跨数据集、不同 LiDAR beam pattern、不同 point range、不同 weather/traffic density 是否仍成立。

第六，dynamic deadline 的来源比较外部化。论文采用速度到 deadline 的线性映射，但真实系统中的 deadline 应该由 planner risk、object distance、relative velocity、uncertainty 和 compute contention 共同决定。这里没有真正把 perception quality 与 planning risk 联合优化。

Takeaway

• 1. LiDAR anytime detection 里，input resolution 是比 early-exit 和 slicing 更自然的 compute knob：它牺牲空间精度而不是场景覆盖，信息退化更连续，也更适合 detection。
• 2. 单模型多分辨率的关键不是完全共享，而是“共享语义权重 + 分辨率条件化统计校准”。
• resolution-aware BN 是低成本但高杠杆的结构设计，值得迁移到其他 BEV/occupancy/perception pipeline。
• 3. 对 sparse perception 模型，runtime scheduling 的难点不是模型 FLOPs，而是 active support 的输入相关演化。

一句话总结

MURAL 是一篇把 resolution-switchable network 思想系统化迁移到 LiDAR anytime detection 的工作，真正贡献在于用 resolution-aware normalization 和稀疏延迟预测把“多分辨率输入”变成可部署的 deadline-conditioned test-time compute 机制。