精读笔记

Problem Setting

这篇论文不是在解决“RL 能不能控制 AUV”这个问题，而是在解决 6-DOF AUV 零样本部署时，仿真动力学错误如何污染 policy 学到的控制策略。真正困难点在于水下 drag 不是一个容易通过几项阻尼系数吸收掉的误差源；车体外形、传感器/载荷配置、姿态和速度方向都会改变 wrench，并且这些影响会以跨轴耦合的形式进入闭环控制。

以前的快速 RL 控制路线通常依赖 inertia box 或 diagonal drag model。这类模型可以让训练在分钟级完成，但它把水动力简化成相互独立的轴向阻尼，因此 policy 在训练时从未见过真实车体中存在的耦合力和耦合力矩。domain randomization 可以覆盖质量、浮力、COM/COB 偏移等参数扰动，但它无法补偿模型族本身不包含的物理结构。关键矛盾是：真实水动力需要 CFD 级别的几何和流体信息，但 RL 又需要便宜、可并行、可反复 rollout 的环境。

Motivation

已有两条路线都不够。直接把 CFD 放进 RL loop，物理更可信，但 6-DOF 状态空间下采样成本爆炸，基本不适合快速 reward iteration、domain randomization 和大规模并行训练。使用低保真解析模型，训练很快，但模型 misspecification 会让仿真 reward 与真实 transfer 脱钩，最后工程上仍然要靠大量 trial-and-error 调 reward 或调控制器。

作者抓住的缺口是：CFD 的主要价值不一定要以在线求解器的形式存在。对 AUV 低层控制来说，很多有用信息可以表现为给定局部速度/姿态下的稳态 wrench map。只要这个 map 能被压缩成快速可查询的 surrogate，就可以把 CFD 的物理先验嵌入 RL 训练，而不牺牲 IsaacSim 并行训练的吞吐。这是一个很明确的“离线高保真物理数据 → 在线低成本动力学查询”的动机。

Core Idea

核心思想是把 CFD 从 simulator 变成 dynamics prior。作者离线用 OpenFOAM 对具体车体 CAD 生成 steady-state drag/wrench 数据，再训练 MLP surrogate drag models，在 RL rollout 时用 surrogate 预测 drag wrench。这样 policy 看到的不是人工指定的 diagonal damping，而是由车体几何和 CFD 数据诱导出的非线性、耦合 drag field。

它的本质区别不在于用了 neural network，也不在于用了 PPO，而在于重新组织了物理信息的进入方式：prior work 要么把物理简化到可训练，要么把 CFD 直接用于小规模/低维训练；这篇把昂贵物理计算前置并蒸馏，使高保真 dynamics 成为可并行 RL 的一部分。新的 inductive bias 是“真实车体几何产生的 wrench coupling”，而不是“每个自由度独立阻尼”。这使得 policy 学到的动作-状态反馈更接近真实闭环，而不仅是数值上更平滑或 reward 更高。

Method

方法的关键机制可以压缩为三层。

第一层是 drag model 对照。inertia box 代表快速但结构错误的 baseline；system ID 代表用真实数据校准的 diagonal model；CFD surrogate 代表包含跨轴耦合的 learned wrench model。这个设计的价值在于它把问题从“RL vs 非 RL”转成“同一 RL pipeline 下，动力学模型 fidelity 改变了什么”。

第二层是 CFD surrogate。作者没有试图穷举完整 6D velocity space，而是把 linear velocity 和 angular velocity 分成两个数据集，各自拟合 wrench，再在推理时相加。这一步解决的是成本问题，但也引入了明确近似：它牺牲了线速度与角速度之间的联合耦合，换取可采样、可训练、可部署的 surrogate。

第三层是 domain randomization 与 reward shaping 的压力测试。DR 不是论文的新方法，而是用来检验模型 fidelity 是否让 sim reward 更能预测真实 transfer。reward shaping 实验也不是为了展示最佳 reward recipe，而是验证低保真模型是否对 reward 系数更敏感。这里真正的机制变化是：更真实的 drag field 让 reward landscape 和真实闭环行为之间的错配变小。

Key Insight / Why It Works

最可能的核心贡献是 cross-axis hydrodynamic coupling 的引入，而不是 PPO、并行环境数量或 MLP 本身。AUV 这类系统在水中高度阻尼，低层控制的很多行为由局部 velocity-to-wrench map 决定。如果这个 map 的结构错了，policy 会学到在仿真里省力、稳定、快速，但在真机上产生错误姿态耦合或过度补偿的动作模式。CFD surrogate 有效，是因为它让 policy 在训练时经历了更接近真实的局部反作用力，而不是事后靠 DR 随机化一些标量参数来弥补。

这更像 better inductive bias + data coverage，而不是更强的 RL 算法。surrogate 本质上是一个物理数据检索/插值器，policy 的收益来自它查询到的 wrench field 更接近真实车体。所谓“泛化”主要是对同一车体、相近速度范围、相近任务分布下的参数扰动泛化，不应被解读为跨 AUV 形态或跨复杂流场的泛化。

reward shaping robustness 是一个重要信号。低保真模型对 reward 系数敏感，说明 policy 很容易利用仿真物理的错误自由度；CFD model 下不同 reward 更稳定，说明物理约束把可利用的假路径收窄了。这是高保真 dynamics 对 RL 的真实价值：不是让 reward 更容易优化，而是让优化出来的策略更少钻 simulator 的空子。

但增益归因仍不完全清楚。system ID baseline 是 diagonal 且 coast-down 数据可能不覆盖任务中 thruster active 的速度/加速度分布，因此它失败不等价于“CFD 必然优于真实数据建模”。如果使用主动激励、非线性、非对角 system ID，差距可能缩小。文中未充分说明 surrogate error 与 closed-loop performance 的关系，也没有把 coupling、非线性、数据覆盖范围分别 ablate，因此“CFD fidelity”这个标签下混合了多个因素。

Relation To Prior Work

这篇最接近的谱系是 sim-to-real RL for AUV control、CFD-assisted robot learning、以及 surrogate modeling for expensive physics。和 Swim4Real、Learning to Swim、Sim2Swim 这类快速低保真 RL 路线相比，它的本质差异是动力学模型的结构假设改变了：不是继续在 diagonal drag 上做 DR 和 reward tuning，而是把车体几何诱导的耦合 wrench 显式带进训练。

和直接 CFD-in-the-loop 的 fish robot / 低维 AUV 工作相比，它的差异是 scalability tradeoff：牺牲 transient CFD 和完整流场在线交互，换取 6-DOF 控制、并行训练、快速 reward iteration 和真实部署。这个思路本身不是全新，属于“高保真仿真离线蒸馏成 surrogate，再服务学习系统”的已有范式，但放到 6-DOF AUV zero-shot RL 并做真机/野外验证，是实质工程和系统贡献。

看似新的地方里，PPO、DR、reward shaping 都不是创新；真正新增的信息是：对于这类水下机器人，drag model fidelity 的结构性差异可以显著改变 sim-to-real predictiveness，且 CFD surrogate 是一个可行的成本折中点。

Dataset / Evaluation

evaluation 的强项是真机和野外，而不是仅在仿真里给出更高 reward。论文在水池中做了 pose/waypoint 控制、reward shaping sensitivity、加尾部负载的 DR transfer；在野外做了 reef 环境下的 U-shape/box pattern。这个覆盖足以支持一个中等强度的 claim：在真实 AUV 控制任务中，用 CFD surrogate 训练的 policy 比低保真 drag model 更可靠，尤其在载荷扰动下。

但任务覆盖仍偏窄：主要是 waypoint/pose tracking 和视觉 survey 相关路径，不是强流、近障碍、高速机动、复杂接触风险或长期任务规划。野外环境虽然真实，但并不是系统性 benchmark；水流、定位误差、海况、重复性控制都没有被严格分解。实验更像 convincing deployment evidence，而不是完整的 generalization study。

benchmark 是否验证核心 claim？部分验证。它验证了“更高 fidelity drag model 可以提升 zero-shot transfer predictiveness”。但还没有充分验证“CFD 是必要的”，因为 system ID baseline 较弱，且没有非对角 learned dynamics、residual model、real-data supervised wrench model 等更强对照。增益来源不清，可能主要来自数据覆盖和耦合结构，而不是 CFD 方法本身。

Limitation

最大限制是方法把问题转移了，而不是消除了。在线训练成本降下来了，但需要为每个车体/配置生成 CFD 数据并训练 surrogate；一旦加传感器、改外形、换 payload 影响水动力，理论上需要重新采样或至少重新校准。对于真实海洋任务中频繁变化的配置，这个成本是否低于传统调参，文中未充分说明。

第二个限制是 steady-state CFD assumption。水下低速 AUV 控制中这可能够用，但对快速姿态变化、thruster-induced flow、强非定常流、近海底/近礁石边界效应，steady-state wrench map 可能缺少关键物理。linear/angular 分开建模再相加进一步假设了某种可分性，这会丢掉联合速度状态下的耦合项。

第三个限制是泛化范围。这里的泛化不是跨平台泛化，而是同平台、有限任务、有限扰动下的 transfer。核心能力可能主要来自 CFD 数据覆盖了测试任务的速度/姿态范围；一旦 policy 进入 surrogate OOD 区域，closed-loop 行为可能不可预测。

第四个限制是归因不足。CFD surrogate policy 的优势可能来自 cross-coupling，也可能来自更合理的 drag magnitude、速度分布覆盖、reward tuning 与模型误差的偶然匹配，或 baseline system ID 数据质量不足。文中未充分 ablate 这些因素，因此不能简单得出“CFD surrogate universally better”的结论。

Takeaway

• 1. 对 embodied RL，尤其是水下机器人，sim-to-real 的关键不一定是更强 RL，而是把错误的 dynamics model family 换掉。
• DR 只能覆盖模型族内的不确定性，不能补上模型族外的物理结构。
• 2. CFD surrogate 是一个值得迁移的模式：把昂贵、高保真的物理计算离线化，再以低成本 oracle 的形式嵌入并行 RL。
• 这个思路适合那些局部动力学强、任务 rollout 多、真实试验昂贵的系统。

一句话总结

CORAL-AUV 是一篇把 CFD 从昂贵在线仿真器蒸馏成可并行 RL 使用的水动力 surrogate prior 的工作，其实质贡献是证明 6-DOF AUV zero-shot transfer 中，drag model 的结构性 fidelity 比继续堆 DR 和 reward tuning 更关键。