精读笔记
Problem Setting
[Depth-Regularized JEPA World Models Learn More Transferable Representations from Real Outdoor Robot Data]（arXiv preprint / 2026）
这篇论文实际解决的是紧凑型 JEPA world model 在真实户外机器人数据上的 representation transfer 问题。难点不是 JEPA 能不能预测 future latent，而是 outdoor robot video 里存在强光照变化、阴影、植被纹理、运动模糊、地形变化和域偏移，RGB 中大量可预测或高方差的东西并不等于对控制有用的物理结构。
以前方法卡在两个方向：pixel reconstruction 容易被 nuisance appearance 拖走；大规模 JEPA/video foundation model 虽然强，但训练与部署成本高。LeWM 通过 SIGReg 解决 collapse，让 compact JEPA 能稳定训练，但 SIGReg 只保证 latent 多样且近似各向同性，不保证 latent 的主轴对应几何、运动或可迁移物理因素。
关键矛盾是：world model 需要 latent 足够抽象以避免预测像素噪声，同时又必须保留足够物理结构来支持 dynamics、surprise 和 downstream control。纯 RGB latent prediction 在真实户外数据上 underconstrained，模型很容易学到域内短期外观统计，而不是跨域可复用的几何动态。
Motivation
作者的动机不是“加 depth 会提高性能”这么浅，而是指出 LeWM 的 anti-collapse 目标仍然缺少任务相关的结构偏置。SIGReg 把 latent 推向 full-rank / isotropic Gaussian，本质上是在不知道下游任务时最大化表示熵；但机器人世界模型的下游几乎不可能是任意视觉任务，几何和 ego-motion 是更稳定的因果骨架。
因此缺口是：如何在不牺牲 RGB-only deployment、不依赖大规模 foundation encoder、不引入任务标签的情况下，把真实物理结构注入 compact JEPA。depth 是自然选择，因为它过滤掉很多 RGB appearance nuisance，同时保留 scene layout、障碍、相对距离和运动相关结构。
这篇论文真正想验证的是：一个轻量 training-time privileged signal 能否把 JEPA latent 从“稳定但任意的高熵空间”推向“几何约束下的高熵空间”，从而提升迁移，而不是单纯提升域内拟合。
Core Idea
核心思想是把 depth 当作训练期几何教师，而不是测试期输入或显式预测目标。RGB frame 和 paired depth frame 经过同一个 encoder-projector，RGB embedding 被要求对齐 stop-gradient depth embedding。推理时 depth branch 完全移除，模型仍是 RGB-only world model。
这个改变的本质是重新组织 latent space 的自由度。JEPA 的 latent prediction objective 本身允许很多等价表示，只要它们可预测即可；SIGReg 避免 collapse，但不选择“哪种坐标系更物理”。depth alignment 给这些 latent directions 一个几何取向，让高方差方向更可能承载 scene structure，而不是照明、纹理、相机风格或数据域特征。
和 prior 的本质区别在于，它不是用 pretrained encoder 冻结表示，也不是用 task label 或 waypoint supervision 直接规定行为目标，而是在 end-to-end world model 内部加入一个软几何约束。它保留了 LeWM 的 compact / from-scratch / anti-collapse 属性，同时用 privileged information 修正 latent prediction 的欠定性。
Method
方法层面应只看三个机制。
第一，SIGReg + depth alignment 的组合。SIGReg 解决 collapse 和低秩表示，depth alignment 解决 latent geometry 的方向性问题。前者保证表示不要塌，后者规定表示最好围绕物理结构组织。核心变化是从 pure isotropic latent regularization 转向 geometry-constrained isotropic regularization。
第二，stop-gradient depth teacher。depth 和 RGB 共享 encoder-projector，但只优化 RGB 向 depth embedding 靠近。这个设计避免了两个分支互相追逐导致目标漂移，也避免了 depth loss 变成一个对称跨模态对齐任务。它更接近 learning using privileged information：训练时有额外模态，测试时只保留可部署模态。
第三，训练期 predictor overparameterization。作者认为 depth-shaped latent 更复杂，若 predictor 容量不足，会迫使 encoder 学更简单、更容易预测但更少几何结构的表示。额外低秩分支提高训练时 predictor capacity，训练后合并进基础权重。机制上这是在减少 predictor bottleneck 对 encoder 的负反馈。不过这部分的贡献没有被单独隔离，可能只是 engineering / capacity scaling。
Key Insight / Why It Works
最可能真正起作用的是 representation alignment，而不是 world model 架构本身的新颖性。depth alignment 把 latent 中原本由 RGB 外观主导的自由度重新锚定到几何结构，使 predictor 在做 future latent prediction 时面对的是更稳定的 state abstraction。户外场景里，纹理和光照变化很大，但几何连续性、ego-motion 引起的视角变化、近场结构变化更稳定；因此 depth-shaped latent 更容易跨域。
这不是 retrieval，也不是 test-time compute，也不是 curriculum。它更像是 latent structure + privileged representation alignment。方法有效的核心条件是：训练数据中的 depth 与部署时 RGB 之间存在稳定对应，并且下游任务确实依赖几何连续性。如果任务主要依赖语义、接触动力学或远距离视觉语义，1m 截断 depth 的帮助可能有限。
surprise separation 的提升可以解释为 predictor 对物理不连续更有 margin，但要谨慎：synthetic perturbation 可能测到的是 latent distribution shift，而不是真正物理推理。brightness/color perturbation 的提升尤其需要控制实验；它可能说明几何 scaffold 改善了 appearance consistency，也可能只是任何额外 auxiliary regularization 都会让 latent prediction error 更可分。文中未充分说明。
训练期 overparameterization 是最可疑的混杂项。作者声称它是为了让 predictor 吸收额外复杂度，而非独立提升来源，但没有 dedicated ablation。因而当前不能把全部收益归因给 depth prior；其中一部分可能主要来自 scaling / optimization / better-conditioned predictor。
Relation To Prior Work
这篇论文最接近的是 LeWorldModel + privileged cross-modal supervision，而不是一般的 depth estimation 或 multimodal representation learning。它继承 LeWM 的核心：端到端 JEPA、latent prediction、SIGReg anti-collapse。新增部分是用 depth 约束 latent 坐标系，使其更物理。
相对 V-JEPA / V-JEPA 2，它不走大规模视频预训练和复杂 staged training，而是在 compact model regime 下注入 inductive bias。相对 DINO-WM 或 frozen foundation encoder 路线，它不借用外部大模型表示，而是在 world model 内部从 scratch 学。相对 waypoint / reward / action-decoder 辅助监督，它不使用任务标签，监督更通用但也更弱。
看似新的部分其实是已有思想的重组：learning using privileged information、RGB-depth alignment、structural reparameterization、JEPA latent prediction 都不是新概念。实质创新在于把 depth 作为 training-only geometric constraint 嵌入 LeWM/SIGReg 框架，并提出“最高熵但受几何约束的 latent”这个解释。这是一个小而清楚的 inductive-bias contribution，而不是架构范式变化。
Dataset / Evaluation
数据层面有价值的一点是真实农业机器人平台数据，而不是模拟或室内视频。训练数据约 31K frames、单平台、单大类户外农业域；这对 proof of concept 足够，但不足以证明 scale robustness。OOD 使用 TartanGround，确实引入平台、环境和 real/sim shift，但也因为变量同时变化，无法判断模型泛化到的到底是几何、机器人运动模式，还是某些数据统计。
评估覆盖了三个 relevant axis：frozen VO probe 测 representation 中的 ego-motion 可读性；surprise separation 测 predictor 是否对不合理 transition 更敏感；multi-step rollout fidelity 测 latent dynamics 在给定 action 序列下的稳定性。这些基本支持论文的 claim：depth regularization 让 latent 更几何、更可迁移。
但 evaluation 没有证明 closed-loop planning，也没有证明长期 reasoning。rollout 是 offline 且使用 ground-truth action sequence；surprise perturbation 是 synthetic；VO probe 是线性可读性而非控制性能。更重要的是，跨模型 rollout similarity 本身会受 latent smoothness 和 embedding geometry 影响，不能单独作为 world modeling 强弱的充分证据。
Limitation
核心限制不是“数据少”这么表面，而是方法成立依赖多个隐含前提。第一，depth 必须在训练时可获得且质量足够好；如果 depth 噪声、遮挡、量程截断或传感器域偏差严重，alignment 可能把 RGB latent 拉向错误结构。本文使用 1m cutoff 的近场 depth，适合农业导航，但未必适合更开放的长距离规划。
第二，泛化证据还偏弱。单平台真实数据到 TartanGround 的 OOD 改善说明 latent geometry 更稳，但不等于真实跨机器人、跨季节、跨任务泛化。域差异太多，benchmark 也可能让几何连续性成为主导因素，从而偏向 depth-regularized model。
第三，增益来源不清。depth loss、training-time overparameterization、loss reweighting 和 optimization dynamics 同时变化。缺少 depth-only、capacity-only、non-geometric auxiliary、不同 depth range、不同 model size 的 ablation。当前最强结论只能是“这个 protocol 有效”，不是“depth prior 单独导致了全部提升”。
第四，所谓 physics understanding 仍可能是 latent anomaly sensitivity。brightness jump、color swap 的提升不一定说明模型理解光照物理，也可能只是 geometry-aligned latent 让异常输入产生更大 embedding mismatch。planner 实际没有形成长期状态建模的证据；作者自己也承认 sampling-based latent planning inconclusive。
Takeaway
- 1. 对 compact JEPA world model 来说，anti-collapse 不等于 good abstraction；SIGReg 解决的是表示秩和熵，不解决 latent directions 是否物理。
- 2. training-only privileged geometry 是一个很实用的中间路线：比大规模 foundation model 便宜，比纯 RGB self-supervision 更有结构，比任务标签监督更通用。
- 3. 这篇最值得迁移的 insight 是“用额外模态约束 latent space 的组织方式，而不是把额外模态作为测试输入或重建目标”。
- 同样思想可以迁移到 flow、normal、ego-motion、tactile、proprioception，关键是选择能表达下游不变量的 teacher。
一句话总结
这篇论文是在 LeWM/SIGReg 这条 compact JEPA world model 路线上加入 training-only depth privileged supervision，用几何约束重排 latent space，是一次小但有价值的 inductive-bias 修正，而不是新的 world model 范式。