精读笔记

Problem Setting

[论文标题] RAVEN: Reinforcement-Adaptive Visibility-Graph Planning for Robust Humanoid Navigation with Collision-Free MPC（arXiv preprint / 2026）

这篇论文实际处理的是 humanoid navigation 中 global geometric planner 与 real execution dynamics 之间的错配。visibility graph + MPC 在 nominal model 下可以给出短且无碰的路径，但 humanoid 的控制延迟、状态估计噪声和步态跟踪误差会让“几何最优”路径变成现实中的风险路径，尤其是贴障碍转弯和窄通道。

关键矛盾是：global planner 希望路径短、贴近障碍；真实机器人需要动态裕度、提前转向和更大的 clearance。固定 obstacle inflation 只能给一个全局折中：半径大则保守且可能堵死窄通道，半径小则效率高但对 delay/overshoot 脆弱。论文的目标不是替代规划器，而是让规划器的几何假设随执行状态自适应。

Motivation

已有路线的问题在于调错了层级。end-to-end RL 可以学到避障行为，但难以给出可解释约束和稳定 sim-to-real；MPC/graph-search 可解释，但几何启发式固定，面对延迟和噪声会退化；RL-tuned MPC 权重虽然自适应，但权重调节是间接改变空间行为，且不一定改变路径拓扑。

作者的核心观察是：很多碰撞不是 local controller 没有避障意识，而是 global path 本身要求机器人走一条对执行误差过于激进的路线。真正缺的是一个能把 execution uncertainty 反馈到 free-space geometry 的机制。换句话说，学习不应只发生在 action space 或 cost space，而应发生在 planner construction space。

Core Idea

RAVEN 的核心思想是把 RL 用作“几何 meta-planner”：策略不输出速度、不输出 waypoint，也不调 MPC penalty，而是输出每个障碍的 inflation radius。visibility graph 在这些动态半径下重新构图并求 shortest path，cf-MPC 再跟踪该路径并处理局部约束。

这个建模改变很关键：RL 的决策变量不再是低层连续控制，而是路径拓扑和 clearance 的控制旋钮。它引入了一个强 inductive bias：无论 RL 怎么探索，最终行为都被限制在“某个 inflated geometry 下的 shortest path + constrained tracking”这一族结构化解内。相比 pure RL，这大幅缩小搜索空间；相比固定 MPC，它允许 clearance 随状态和障碍局部关系变化；相比 RL-tuned MPC，它直接改变可行空间几何，而不是希望 cost 权重间接诱导空间行为。

Method

方法机制可以压缩为三件事。

第一，meta-policy 学 obstacle inflation。它解决的是固定安全裕度无法同时适应 delay、速度、窄通道和局部障碍布局的问题。输出 per-obstacle radius 让系统能在不同障碍附近采取不同保守性，而不是一个全局 margin。

第二，visibility graph 把 learned radius 转成路径拓扑。这里的必要性在于：inflation 只有通过 graph construction 才能真正改变可见边、切线路径和绕行方向。核心变化不是路径更平滑，而是 free-space topology 被重塑。

第三，cf-MPC 保留局部约束执行。它解决的是 learned planner 不能直接保证速度/加速度/避障约束的问题。MPC 使学习层不必承担完整动力学控制，也降低了 sim-to-real 对 learned policy 的压力。

asymmetric actor-critic、PPO、JAX 并行训练、action-rate penalty 等主要是让训练可行和输出稳定；它们不是这篇论文的主要思想。

Key Insight / Why It Works

最重要的 insight 是：对这类 navigation stack，很多 robustness failure 可以被提前转化为几何裕度问题，而不一定需要学习复杂动力学或端到端控制。delay 导致 overshoot，本质上要求路径在进入弯道或窄通道前拥有更大的 clearance；obstacle inflation 正好是 visibility graph 中控制 clearance 和拓扑的低维参数。因此 RL 学到的不是“如何走路”，而是“在什么局部几何条件下应该让 planner 更保守”。

这更像 better inductive bias，而不是 scaling breakthrough。RL 的搜索空间被强行限制在 graph-shortest-path family 内，探索难度远低于 pure RL；同时 test-time compute 由 visibility graph + MPC 提供，相当于每一步都调用结构化规划和优化。方法有效的核心贡献是把 learned adaptation 放在 geometry construction 层，而不是 action/cost 层。

最可能只是辅助的部分包括 PPO 训练规模、GPU 并行、privileged critic 和具体 reward 权重。它们提升训练稳定性和数据覆盖，但不构成新机制。增益来源不完全清楚：RAVEN 优于固定 MPC，可能主要来自 adaptive inflation；优于 pure RL，可能主要来自 shortest-path prior 和 MPC test-time optimization，而不是 meta-policy 本身更强。

还需要警惕 evaluation bias：场景中 K=3、圆形静态障碍、固定类型任务和相近几何布局，使得策略可能学到的是有限几何模板下的 radius schedule。所谓“learn how to plan”在这里更准确地说是“learn how to parameterize a known planner”。这不是贬义，但不应被解读为通用规划推理能力。

Relation To Prior Work

最接近的路线有三类：visibility graph + MPC 的 classical humanoid navigation，RL waypoint/subgoal planner，以及 RL-tuned/differentiable MPC。RAVEN 的位置是在 classical planner 外面加一个 learned geometry adapter。

和 subgoal RL 的差异是：它不让 RL 生成中间点，而是让 RL 改变 planner 的可见性结构。前者学习目标点，后者学习规划空间。和 RL-tuned MPC 的差异是：它不调 Q/R 或 constraint penalty，而是调 obstacle geometry；这更直接影响路径拓扑，也避免 differentiable MPC 的计算负担。和 robust/tube MPC 的差异是：tube 方法通常学习/估计 tracking error 并在优化中保守化局部轨迹，RAVEN 则把不确定性前移到 global path construction。

实质创新在于把 obstacle inflation 从手工 heuristic 变成在线 learned action，并把 RL action space 对齐到 visibility graph 的结构参数。看似新的“RL-MPC hierarchy”本身不是新；真正新增的信息是 planner geometry 可以成为学习接口，而且这个接口比 waypoint/action/cost 更可解释、更低维。

Dataset / Evaluation

评估覆盖了仿真 delay/noise 和一次真机部署，使用 T1 humanoid、mocap 定位、固定半场 RoboCup 类环境、三个圆形障碍。它能支持一个较窄但合理的 claim：在已知静态障碍和相似任务分布中，自适应 inflation 比固定 inflation 更能抗 delay，同时比 pure RL 更稳定地 sim-to-real。

但 evaluation 还不足以支持更强 claim。场景数量、障碍复杂度、拓扑多样性、动态障碍、不同 K、不同机器人/locomotion policy 的迁移都没有充分展开。真机部分更多是 feasibility demonstration，而不是系统性硬件 benchmark。表中 delay 结果说明 RAVEN 在该设置下折中更好，但没有和 velocity-dependent margin、hand-designed adaptive inflation、tube MPC 或 uncertainty-aware planner 做强对照，因此“RL 是必要的”这一点文中未充分说明。

Limitation

核心前提是环境几何可被少量圆形障碍参数化，且 obstacle inflation 足以表达所需的 robust behavior。一旦障碍形状复杂、数量增加、动态变化、感知不完整，per-obstacle radius action 的表达能力和策略输入维度都会成为瓶颈。

scalability 上限也比较明显。visibility graph 对障碍数和几何复杂度敏感；RL action dimension 随 K 增长；固定 K=3 的训练设置不能说明大规模 cluttered environment 下仍然稳定。若需要处理 moving obstacles，单纯调 inflation 可能不够，需要速度预测、时空规划或 chance constraints。

安全保证也不能过度解读。cf-MPC 有约束，但文中使用 linearized soft obstacle constraint 和 slack，实际仍允许 penetration；RL 输出的 inflation 若不合适，planner 也可能给出过窄或不可行路径。所谓 safety 更像 explicit constraint handling + empirical robustness，而不是形式化保证。

泛化能力可能主要来自训练分布覆盖和强结构 prior，而不是 learned planner 具备抽象推理。增益归因不清：没有足够 ablation 证明 per-obstacle adaptive inflation 相比简单规则策略或 delay-aware inflation 有本质优势。方法也把一部分问题从“调 MPC”转移成“设计 action bounds、reward 和训练分布”。

Takeaway

• 最值得记住的不是“RL + MPC 又一次 hybrid”，而是学习接口的选择：把 RL 接到 planner geometry 上，往往比接到 action 或 cost 上更干净。
• 这个思想可以迁移到 motion planning、manipulation、autonomous driving 中的 safety margin、risk field、costmap inflation、reachable-set buffer 等结构参数。
• 这篇推动的方向是 learned planning-parameter adaptation：保留经典 planner 的 test-time computation 和可解释结构，用学习补偿那些难以手工建模的 execution mismatch。
• 未来真正值得做的是系统比较 learned geometry adaptation 与 robust/tube/chance-constrained planning 的关系，证明哪些情况下学习是必要的，哪些情况下简单 uncertainty-aware heuristic 已经足够。

一句话总结

RAVEN 是一类把 RL 从控制层上移到规划几何构造层的 hybrid navigation 方法，真正贡献是用 learned obstacle inflation 将执行不确定性转化为 visibility graph 的拓扑和 clearance 自适应。