精读笔记

Problem Setting

[论文标题] HCPG-Flow: Hierarchical Contact-Progress Guidance for Flow-Policy Robot Manipulation（arXiv preprint / 2026）

这篇论文不是在解决“如何训练一个更强的 flow policy”，而是在解决 flow policy 产生多个候选动作之后，rollout 时到底执行哪一个的问题。SAC-Flow 已经把动作分布表达能力提升到多模态，但在线 RL 的交互瓶颈没有消失：每一步只能采样并执行一个动作，执行动作会决定 replay buffer 的数据分布，进而反过来影响 critic 和 actor。

真正困难点在于 candidate selection 发生在 critic 还不可靠的区域，尤其是抓取、推动、插入、释放等接触切换阶段。Q 值看的是长时程 return，但候选动作之间的差异往往是短时几何后果：是否接近物体、是否建立接触、是否把物体往正确方向推。以前用 critic ranking 的方式本质上把一个局部几何判别问题交给了稀疏、偏置且 replay 覆盖不足的 value estimator。关键矛盾是：生成模型提供了 action diversity，但 selection signal 如果仍然来自不稳定的 Q，diversity 可能被错误利用。

Motivation

已有路线不够的地方不是生成不出动作，而是缺少一个在训练早期、分布外候选、接触转移附近仍然可用的 action ordering。critic-guided selection 复用已有 Q 网络，看起来便宜，但它把数据采集质量绑定到 value approximation 的局部排序质量；而在 manipulation 中，局部排序常常比全局 return 更需要几何可解释性。

作者的核心观察是：大量桌面 manipulation 任务暴露了一个很强的短期 progress signal。接触前，动作应该减少 TCP 到 object 的距离；接触后，动作应该减少 object 到 goal 或任务轴的距离。这个观察并不新，但这篇论文把它放在 flow-policy candidate selection 的位置上，使它成为在线数据采集时的执行规则，而不是 reward shaping、policy input augmentation 或 learned value target。关键缺口就是：如何在不改 SAC-Flow objective 的前提下，用可用的几何信息替代不可靠的 Q ranking。

Core Idea

核心思想可以概括为：把“从多模态 policy 中选动作”重新建模为“在当前接触阶段下选最有局部几何进展的动作”。这改变了信息流：候选动作仍由 flow actor 生成，长期优化仍由 SAC-Flow 负责，但 rollout-time execution 不再由 critic 排序主导，而由 object-centric progress selector 主导。也就是说，它没有让 policy 学会显式规划，而是在交互时给 policy samples 加了一个几何过滤器。

这个 inductive bias 的价值在于它匹配了许多 manipulation 任务的局部结构：接触前后目标函数确实不同，同一个 TCP 位移在不同 phase 下有完全不同的意义。相比 Q-guided prior，它不试图估计 long-horizon value；相比 model-based planning，它不预测未来状态；相比 reward shaping，它不改变学习目标。它本质上是 test-time compute + structured prior：用多个候选动作换取一个局部可判别的选择空间，再用任务几何做 cheap ranking。

Method

方法中真正关键的不是模块数量，而是三个机制层面的选择。

第一，contact-conditioned phase gate 解决的是 objective aliasing：接触前优化 TCP-object approach，接触后优化 object-goal progress。如果没有这个 gate，单一几何方向会在 grasp/push/insert 这类任务中产生错误偏好。这个 gate 把 manipulation 的阶段结构显式塞进 selector。

第二，first-order directional progress score 解决的是候选动作排序信号的问题。它用动作平移分量在目标方向上的投影近似一阶距离下降，因此只要求局部位移模型成立，不要求学到准确 dynamics 或 long-horizon Q。这里的关键变化是：action evaluation 从 value-space 变成 geometry-space。

第三，within-set normalization + soft embedding 解决的是 score 尺度和执行稳定性问题。标准化让不同状态、不同任务尺度下的 softmax 温度仍可用；soft embedding 避免 hard argmax，把动作保持在候选动作 convex hull 附近。它更像一个连续化的 action selector，而不是 planner。旋转和 gripper 分量没有被几何 score 直接解释，只是通过候选动作整体加权保留下来，这一点说明方法的核心 supervision 仍集中在 translational progress。

Key Insight / Why It Works

最可能真正有效的部分是 contact-aware object-centric ranking，而不是 flow backbone 的新能力。flow policy 提供候选多样性，HCPG 提供选择偏置；两者结合的收益来自“候选覆盖 + 几何筛选”。如果候选集中已经包含若干可行动作，HCPG 能把交互数据分布推向更有效的局部 progress，从而改善 replay buffer，间接改善后续 critic/actor 学习。

这更接近 better inductive bias 和 test-time compute，不是 reasoning，也不是长期 planning。first-order argument 只说明短步长下沿目标方向投影更可能减少距离；它不保证长期最优，也不处理需要绕行、预接触调整、非单调进展或复杂接触动力学。论文的“层级”主要是接触前/后的二阶段切换，不是 learned hierarchy。

Q-guided K=4 不稳定这一点很重要：它说明多候选本身不是充分条件，candidate selection 的 inductive bias 决定了数据采集方向。但 K=4 明显优于 K=2/K=8，且 K=8 反而退化，说明机制还没有完全被解释。可能原因包括：更多候选带来更极端但动力学不可行的动作、softmax blending 改变动作分布、标准化后 score variance 与温度耦合。文中未充分说明这一点。

哪些部分可能只是辅助：score 标准化和 soft action embedding 主要是工程稳定器；动作平滑、小幅惩罚也更像 tie-breaker。核心贡献不是这些细节，而是把 rollout selection 从 critic ranking 改成 phase-conditioned geometric progress。实验中的大增益集中在 PickCube、rugby grasp 这类 phase transition 明确的任务，也支持这个归因。

Relation To Prior Work

它最接近三条线：SAC-Flow / FlowRL 这类 flow-policy online RL，diffusion/flow policy 中的 candidate ranking，和 object-centric manipulation prior。真正不同点不是使用 flow，也不是使用几何，而是把几何先验放在“多候选执行选择”这个位置上，并保持 actor/critic objective 不变。

和 SAC-Flow 相比，它没有改变 policy parameterization 或 SAC objective，只改变 rollout-time action selection，因此可以看成 SAC-Flow 的 execution adapter。和 QSM、diffusion-DICE、critic-guided diffusion policy 相比，它拒绝用 learned value/score 对候选排序，转而使用 analytic progress。和 model-based planning 相比，它不 rollout dynamics，只做一阶局部代理。和 reward shaping 相比，它不显式改变 reward，而是改变被收集的数据。

看似新的部分很多是已有思想重组：object-centric coordinates、contact phase、distance reduction、softmax selection 都不是新概念。实质创新在于把这些组合成一个无学习参数的 selector，用来解决 generative policy 的 execution bottleneck，并实验证明 Q ranking 在这类任务中并不总是更好。

Dataset / Evaluation

评估覆盖了 ManiSkill、MetaWorld 和四个真机任务，任务类型包括 grasp、push、poke、pull、button、drawer、door、peg insertion 等，基本覆盖了该 claim 所需的接触式 manipulation 场景。真机部分是加分项，因为它验证了这个几何 selector 不只是仿真中的 reward hack，尤其在完成步数下降上能体现 rollout action selection 的实际影响。

但 evaluation 对核心 claim 的支持是有边界的。任务大多有清晰 object-goal geometry，且 progress direction 容易从 observation adapter 中抽取，这正是 HCPG 的舒适区。它没有证明在视觉估计不准、多对象遮挡、目标语义不直接对应欧氏方向、需要非单调策略的任务上仍然有效。

实验设计中比较有价值的是 Q-guided K=4 和不同 K 的 ablation，因为它们试图区分“多采样”与“几何选择”。不过增益归因仍不完全清晰：K=4 的特殊性、温度、候选分布、action blending 对学习稳定性的影响没有被系统拆开。饱和任务上的微小增益也说明 benchmark 平均分容易掩盖真正有效的场景。

Limitation

最核心的前提是：任务必须能提供可靠的 object-centric adapter，包括 TCP、object、goal 或任务轴，以及 contact/grasp 阶段信号。换句话说，方法把一部分难题转移给了状态抽取和任务语义定义。对于需要从视觉中隐式推断 affordance、接触状态不可观测、多个物体交互、目标不是简单几何位移的任务，这个 selector 的可扩展性有限。

第二个上限是局部 progress 不等于长期成功。first-order distance reduction 在短步长、小扰动、接触传递近似成立时合理，但 manipulation 经常需要临时远离目标、调整姿态、改变接触点、利用环境约束。HCPG 没有长期状态建模，也没有真正 planning；所谓 progress guidance 很可能在复杂任务中变成 myopic bias。

第三，泛化 claim 应该谨慎。这里的泛化更多是跨一组共享 object-goal structure 的 benchmark，而不是开放环境泛化。核心能力可能主要来自手工几何先验与任务 adapter，而不是 policy 学到了更 general 的 manipulation representation。

第四，增益来源不清。K=4 最好但 K=8 退化，说明 selector 与候选分布之间存在未解释的耦合。soft action embedding 还可能生成训练分布中并不存在的 blended action，虽然位于 convex hull，但动力学语义未必等价于某个真实高质量 proposal。文中未充分说明这种 blending 对 critic 学习和 replay distribution 的长期影响。

Takeaway

• 1. 生成式 policy 在 RL 中的瓶颈不只是“能否表达多模态”，而是“多模态 samples 如何被执行并写入 replay”。
• candidate selection 本身应该被视为核心算法组件。
• 2. 对接触式 manipulation，短期 object-centric progress 往往比早期 critic ranking 更可靠。
• 这个 insight 可以迁移到 diffusion policy、flow policy、ensemble policy 甚至 MPC proposal selection 中。

一句话总结

HCPG-Flow 是把 flow-policy 在线 RL 的多候选执行问题从 critic ranking 转向 contact-conditioned 几何 progress selection 的方法，真正贡献在于用强 object-centric inductive bias 改善 rollout 数据采集，而不是提出新的生成策略学习范式。