精读笔记

Problem Setting

这篇论文不是在重新定义 stereo matching，而是在处理实时 iterative stereo 的一个具体瓶颈：ConvGRU 迭代框架中 correspondence signal 太单一。RAFT/IGEV 系列依赖 correlation retrieval，保留了候选匹配分布，但每一步并不知道“当前视差估计把右图特征 warp 过来后错在哪里”；WAFT-style 方法反过来依赖 feature warping，优化上更像 residual correction，但显式候选搜索空间被压掉了，在歧义区域容易过早相信当前估计。

真正困难点是低纹理、重复结构、透明/反光和遮挡区域中，局部 evidence 本身是不充分的。只做 local correlation lookup，会在多个相近候选之间摇摆；只做 warping residual，会在初始估计偏掉时把错误对齐当成局部优化目标。任务的关键矛盾是：实时系统不能承受重 3D aggregation 或大 VFM backbone，但零样本泛化又需要更丰富的 matching prior 和更大范围的 context。

Motivation

已有路线不够的根源在于把 correspondence representation 当成二选一：要么显式搜索，要么局部对齐。作者的核心观察是，correlation volume 和 feature warping 表达的是两个不同层面的信息：前者表达“可能匹配在哪里以及不确定性如何分布”，后者表达“在当前估计下左右特征是否已经对齐”。这两个信号在迭代优化中应该同时存在。

另一个动机是 ConvGRU 的更新本质偏局部。即便 motion input 更丰富，如果 ambiguous region 的正确解依赖远处结构约束，局部迭代仍然可能漂移。FoundationStereo、MonSter、WAFT-Stereo 这类方法用大模型或 VFM 获得全局/语义先验，但代价太高。WAVE-Stereo 想补的是一个更便宜的全局约束入口，而不是再引入一个完整 foundation backbone。

Core Idea

核心思想可以概括为：把 iterative stereo 的每一步更新从“基于单一匹配表示的局部 refinement”改成“基于多源 correspondence state 的条件更新”。GWCE 让 ConvGRU 同时看到 correlation search、warped alignment residual 和当前 disparity prior。这样 GRU 的 hidden state 不只是记忆局部 cost evolution，而是可以在搜索式匹配和残差式修正之间动态选择。

这引入的 inductive bias 很直接：correlation 负责避免 warping 在错误初值下陷入局部最优，warping 负责让 correlation-based update 获得当前估计附近的连续残差信号，disparity prior 负责让更新知道自己处在什么几何状态。PGCP 进一步把全局空间信息以低频方式注入 recurrent state，相当于周期性重校准局部迭代，而不是每一步都做昂贵全局建模。和 prior 的本质区别不在某个新算子，而在 correspondence 信息流的重新组织。

Method

GWCE 解决的是 motion encoder 信息不完整的问题。correlation branch 保留候选匹配分布和歧义结构；warping branch 把右图特征按当前视差对齐到左图坐标系，使网络直接观察 residual mismatch；disparity branch 把当前几何状态显式送入更新器。关键变化是 ConvGRU 的输入从单一 cue 变成了一个局部优化状态，而不是简单的 cost lookup 或 residual map。

PGCP 解决的是局部 recurrent update 传播范围不足的问题。它不是为了每一层都变得更 expressive，而是周期性地给 hidden state 注入低分辨率全局约束。这个设计的必要性在于 stereo 的歧义常常不能靠邻域解决，但每轮运行 global attention 又不符合实时目标。周期性注入相当于把 global reasoning 降采样为一种稀疏校正信号。

初始视差来自轻量 2D cost aggregation 和 soft-argmin，作用是给迭代一个不太差的起点。这里不是论文最有新意的部分，更像是把 LightStereo/IGEV/RAFT 系列中有效的工程组件组合到一个实时 pipeline 里。

Key Insight / Why It Works

最核心的有效性来源大概率是 representation alignment，而不是 PGCP。GWCE 把两类原本分离的 correspondence evidence 对齐到同一个 ConvGRU update 空间，使得每轮更新既有离散候选分布，又有连续残差信号。这比单独用 correlation 或 warping 更稳：correlation 提供 retrieval-like search，warping 提供 local optimization gradient，两者互相补短。

这本质上不是新的 stereo geometry，而是更好的 inductive bias 和 memory reuse。ConvGRU 的 hidden state 可以跨 iteration 积累“哪些候选长期可信”和“当前对齐误差如何变化”，因此 test-time compute 被更有效地使用。它不是一次性 regularize cost volume，而是把 matching ambiguity 留到迭代过程中持续消化。

PGCP 的贡献更像辅助项。它可能改善 textureless region 的连续性，但从 ablation 看，单独加入 PGCP 的收益很小，和 GWCE 组合后才明显。这里的增益来源不清：可能是全局上下文，也可能是低分辨率 attention + DPT decoder 带来的平滑先验，或者只是对 hidden state 的周期性扰动改善了优化轨迹。把 PGCP 称为 global spatial constraint 可以接受，但不应过度解读为形成了强几何推理。

需要警惕的是，零样本泛化的相当部分可能来自 data coverage。模型训练用了大量合成/机器人/驾驶/室内相关数据和强 augmentation，这会显著覆盖 benchmark 分布。文中没有做小数据、单数据源、去 augmentation 或 matched-training-budget 的归因实验，因此“架构导致泛化”的证据不够干净。这里可能主要来自 scaling / data + 一个合理的 lightweight correspondence design。

Relation To Prior Work

WAVE-Stereo 最接近 RAFT-Stereo/IGEV-Stereo 的 iterative optimization 谱系，也吸收了 WAFT-Stereo 的 warping-alone 思想。它不是离开 RAFT paradigm，而是在 RAFT/IGEV 的 motion encoder 位置插入更完整的 correspondence representation。

相对 RAFT-Stereo，新增的信息是 warped cross-view residual；相对 IGEV，区别是没有只依赖 geometry-encoded correlation，而是把当前估计下的 feature alignment 也变成 recurrent input；相对 WAFT-Stereo，关键差异是没有放弃 cost/correlation candidate space，因此在多解和低纹理区域保留了 ambiguity information。

看似新的部分有不少是已有思想重组：cost volume、warping、ConvGRU、低分辨率 attention、DPT-style fusion 都不是新概念。实质创新在于把 correlation search 与 feature warping 放在同一个 iterative update 接口中，并明确把二者定位为互补 correspondence cues，而不是替代方案。这是一个架构层面的重新配线，价值在于简单、便宜、符合 stereo matching 的误差结构。

Dataset / Evaluation

评估覆盖了 synthetic in-domain 和多个 real-world zero-shot benchmark，包括驾驶、室内、高分辨率、灰度、透明/反光等场景，基本能支撑“跨场景泛化”和“实时速度-精度折中”的 claim。它也比较了 VFM-based 和 non-VFM 方法，能够说明 WAVE-Stereo 在不带 monocular foundation backbone 时具有竞争力。

但 evaluation 对核心归因支持不够充分。训练集使用 9 个公开数据源，且包含多种接近目标 benchmark 的场景分布；因此 zero-shot 结果并不等价于强 out-of-distribution 泛化。文中也没有充分展示在严格未覆盖 domain、真实机器人闭环、不同 baseline / camera model、极大 disparity、动态曝光或恶劣校准误差下的表现。

Ablation 支持 GWCE 是主要贡献，但仍偏 SceneFlow，缺少在各真实 benchmark 上按区域类型细分的机制验证。例如 textureless、specular、transparent、occlusion、repetitive pattern 分别由哪个 cue 带来增益，文中未充分说明。

Limitation

第一，方法依赖固定 stereo 几何和最大视差范围。Dmax=192 对近距离、大 baseline、高分辨率机器人场景明显不足；如果扩大 disparity range，cost volume、correlation retrieval 和初始回归的成本都会上升，实时性上限会暴露。

第二，泛化能力可能高度依赖训练数据覆盖，而不完全是 architecture 的结果。9 个数据源 + 强 augmentation 已经是很强的隐式 domain coverage，benchmark 上的 zero-shot 可能包含相当程度的 distribution overlap。文中没有提供足够实验排除这一点。

第三，PGCP 的机制解释偏乐观。它也许只是提供低分辨率 global smoothing bias，而不是稳定的 long-range matching reasoning。每 3 轮注入一次效果最好，甚至每轮注入变差，说明它更像对局部迭代的轻量校正，而不是主导性的全局优化模块。

第四，GWCE 的上限取决于初始视差和 feature quality。如果初始 estimate 严重错误，warping branch 可能提供误导性 residual；如果 correlation volume 在无纹理/反光区域本身没有可区分候选，融合也不能凭空恢复几何。方法只是把 ambiguity 保留到迭代中处理，并没有从根本上解决不可观测区域。

Takeaway

• 1. Iterative stereo 的下一步不一定是更重的 volume 或更大的 foundation prior，而可能是更好地组织每轮 update 看到的 correspondence state。
• 2. Correlation 与 warping 不应被视为两条互斥路线：前者像 retrieval/search，后者像 local residual optimization，把二者合并是一个可以迁移到 optical flow、多视图匹配、tracking 的通用 insight。
• 3. 全局上下文在实时 stereo 中更适合作为低频校正信号，而不是每步都运行的主干能力；这类 periodic global injection 可能是轻量模型获得长程约束的实用折中。
• 4. 未来真正值得做的是更干净的归因：控制训练数据规模、按场景失败类型拆分收益、验证大 disparity 和真实机器人部署，而不是继续堆 benchmark 表格。

一句话总结

WAVE-Stereo 是 RAFT/IGEV iterative stereo 谱系中的一次有效信息流重组：它把 correlation search 和 feature warping 统一到 ConvGRU 的更新状态里，用更好的 correspondence inductive bias 换取无 VFM 条件下的实时零样本泛化。