精读笔记
Problem Setting
这篇论文解决的是机器人在多静态障碍场景中，把物体投进目标篮子的投掷决策问题。更准确地说，它不是在求解完整 ballistic motion planning，而是在一个由示教投掷核限定的低维动作空间里，学习如何根据场景选择肩关节起止值、释放时刻和运动时长。
真正困难点有两个。第一，投掷是强时序敏感动作，释放时刻和速度的小误差会被飞行过程放大。第二，多障碍环境中的状态描述不是固定对象属性问题：障碍物数量变化会改变输入维度，障碍排序没有自然语义，远处障碍与路径相关障碍的重要性也不同。以前把障碍 pose 直接拼进状态的路线，在固定单障碍任务里成立，但一旦障碍数量变化，就变成了为每种场景规格训练一个策略。
这个任务的关键矛盾是：为了可训练和真机部署，动作空间必须被压缩；但为了安全避障，状态表示又必须保留足够的几何结构。论文的切入点正是用表示设计来缓解这个矛盾。
Motivation
已有路线不够的地方不在于没有更强的 RL 算法，而在于场景表示方式不对。TossingBot 类方法证明了投掷可以学习，但基本默认无遮挡；单障碍 throwing RL 则把障碍作为显式坐标输入，这使策略天然绑定到固定障碍数。
作者的核心观察是：对于投掷避障，障碍物的身份并不重要，重要的是它们在工作空间中形成的空间约束。换言之，策略需要的是“目标吸引区域”和“障碍排斥区域”的几何分布，而不是一个可变长物体列表。
关键缺口是一个既固定维度、又能表达任意数量障碍的状态表示。PFR 的动机就是把 scene graph/list encoding 换成 field encoding，让策略在一个稳定的空间张量上学习。
Core Idea
论文的核心思想是把投掷任务中的目标和障碍统一转换成势场：basket 产生吸引势，obstacle 产生排斥势，整个工作空间离散成固定大小网格。这样，任意数量的障碍都会被累积到同一个空间场里，策略输入维度不再随障碍数量增长。
这改变了建模方式：prior 的 EPR 是 object-centric enumeration，PFR 是 spatial cost-field representation。前者要求策略自己从坐标列表中推断几何关系，且输入结构随障碍数改变；后者把几何关系预先组织成局部连续信号，使 CNN 可以利用平移局部性和平滑梯度。
直觉上它有效，是因为投掷避障本身接近一个空间可行性问题：目标附近应有吸引，障碍附近应有惩罚，中间区域形成可行走廊。PFR 给策略注入了一个 classical potential field / cost map 的 inductive bias，而不是让 RL 从稀疏成功信号中重新发现这些结构。
Method
方法层面最关键的是三个机制。
第一，kinesthetic teaching 提供投掷核。它解决的是随机探索不安全、原始轨迹空间过大的问题。RL 不直接生成全关节轨迹，而是在示教轨迹附近调制少数参数。这把学习问题从 high-dimensional motion generation 降到 low-dimensional kernel modulation，显著降低搜索难度。
第二，PFR 解决 variable obstacle cardinality。它把 basket 和 obstacles 映射到固定网格势场，核心变化是状态维度与障碍数量解耦，并保留空间邻近关系。这不是单纯升维，而是把原本离散、无序的对象集合转换成连续、有结构的场。
第三，连续控制 RL 学习投掷参数。SAC、TD3、DDPG 都只是作用在同一低维动作参数化上。论文结果显示 SAC 更稳，但这更像是 off-policy continuous control 中常见的稳定性差异，不是方法的本质创新。
奖励设计提供 dense shaping：成功入篮给高奖励，碰撞障碍直接失败，未成功时用到目标距离和是否变远来塑形。它的作用是缓解单步投掷任务的稀疏反馈，但也会把策略偏向“靠近篮子”的启发式，而不一定形成显式安全规划。
Key Insight / Why It Works
最可能的核心贡献是 representation alignment：把环境约束的表达形式对齐到投掷决策真正需要的空间结构。PFR 比 EPR 好，不是因为 CNN 神奇，而是因为 EPR 把几何问题编码成了坐标列表，迫使策略同时学习 permutation handling、障碍相关性筛选和空间距离推理；PFR 预先完成了其中一部分工作。
这本质上是 better inductive bias，而不是新的 RL 能力。势场把“哪些区域危险、哪些区域有吸引”显式写进输入，RL 只需要学习从这个场到释放参数的映射。对于有限 workspace、静态障碍、固定目标类型的投掷任务，这种 bias 非常合适。
kinesthetic kernel 也是关键，但它更像是约束搜索空间而非提供新认知能力。它把策略限制在示教动作族附近，因此学习更稳定、真机更安全。代价是能力上限也被 kernel 限制：如果需要完全不同的投掷模式、绕障高抛、侧抛或复杂旋转，现有参数化可能不够。
SAC 的优势大概率是 engineering / optimization 层面的。PFR 训练步数比 EPR 更长，且使用 CNN encoder，增益来源不完全可归因于表示本身。文中没有充分控制训练预算、模型容量和 baseline 表示，因此“PFR 的全部提升来自势场表示”这个归因还不够干净。
这里没有真正的长期 planning。每个 episode 基本是一次投掷尝试，策略输出一次动作参数；所谓避障更像 learned release heuristic conditioned on spatial cost map，而不是显式搜索或约束验证。安全性也是经验性的 reward avoidance，不是形式化 safe RL。
Relation To Prior Work
最接近的路线有三类：TossingBot 式学习投掷、Kasaei 等单障碍投掷避障、以及 classical potential field / cost map 表示。
和 TossingBot 的本质差异不是“也用了 RL”，而是任务从无遮挡投掷扩展到 cluttered throwing，并把状态表示从视觉/物体动力学学习转向几何安全约束编码。TossingBot 关心任意物体投得准，这篇更关心在障碍布局变化下投得安全。
和单障碍 EPR 方法相比，实质差异是从固定维度 pose vector 迁移到 obstacle-count-invariant field。这个变化重要，因为它避免了每增加障碍就重新定义状态空间和训练策略。
但 PFR 本身不是全新思想。势场、occupancy/cost map、CNN on grid 都是机器人导航和 manipulation planning 中成熟的技术。这篇的新增信息在于把这些表示移植到 throwing kernel modulation，并证明在多障碍投掷这个 setting 下比显式 pose list 更可扩展。
它属于“classical geometric prior + deep RL residual control”的技术谱系，而不是纯端到端策略学习。
Dataset / Evaluation
评估覆盖了仿真中的 0、1、3、5 个静态障碍场景，并测试了训练物体和若干未见物体；还包含真机零样本迁移，使用 unseen sneaker 和不同 basket size。这对论文核心 claim 是有支撑的：PFR 在障碍数量变化和真机噪声下确实比 EPR 更稳。
但 evaluation 的覆盖仍然窄。障碍物是随机静态放置，任务目标是单个篮子，投掷物体类别很少，真机 trial 数有限。它验证的是“在受控 cluttered tabletop/workspace 中，PFR 表示有利于投掷成功率”，还不能推出在物流级真实场景中具备鲁棒安全投掷能力。
benchmark 对 scalability 的验证也有限。论文说 PFR 可处理 arbitrary numbers/configurations，但实验只到 5 个障碍。更严格的测试应该包括训练障碍数与测试障碍数外推、密集遮挡、不同障碍尺寸/高度、动态目标或动态障碍，以及和 SDF/occupancy grid/set transformer 等 baseline 的比较。
真机结果有价值，因为它显示 sim-to-real 没有完全崩溃；但较大篮子显著提高成功率，也说明当前方法对释放时序、感知误差和 grasp dynamics 仍然敏感。
Limitation
最大的隐含前提是：任务可以被一个低维投掷核覆盖。只要可行策略在示教 kernel 的邻域内，RL 调参就有效；一旦需要多模态投掷策略，例如高弧线绕障、侧向绕障、反弹投掷或不同抓取姿态协同，当前动作参数化可能直接成为瓶颈。
第二，PFR 的泛化主要是表示层泛化，不等于物理泛化。它能吸收不同数量障碍，但仍依赖训练分布覆盖足够多的空间布局。核心能力可能主要来自数据覆盖加上平滑势场 bias，而不是策略学到了抽象的避障推理。
第三，安全性定义偏弱。碰撞后奖励为零不等于安全约束；训练和部署都没有显式验证弹道是否穿过障碍，也没有 chance constraint、control barrier、reachability 或 runtime shield。所谓 safe RL 更像 reward-penalized RL。
第四，增益归因不清。PFR 相比 EPR 同时改变了表示维度、网络结构、训练步数和 inductive bias。文中未充分说明如果 EPR 使用 permutation-invariant set encoder、attention、固定最大障碍数 mask，或如果 PFR 用同等训练预算，差异会如何。
第五，三维几何被压缩成二维网格势场。投掷是 3D ballistic motion，障碍高度、物体尺寸、飞行弧线和时间维度都很关键。PFR 如果只是平面 workspace cost map，可能会把真正的 3D clearance 问题简化成 2D 避障启发式。
第六，真机失败原因暴露了 deployment gap：pose estimation、gripper latency、grasp instability 都会直接改变投掷动力学。论文没有把这些不确定性纳入策略或表示，sim-to-real 成功更像在有限设置下可行，而不是系统性解决了 release uncertainty。
Takeaway
- 1. 对多障碍投掷这类任务，关键不一定是更复杂的 RL，而是把可变数量环境对象转成与控制决策对齐的固定空间表示。
- 2. PFR 的价值在于把 classical cost field 的 inductive bias 注入 deep RL，使策略不必从坐标列表中学习几何结构；这个 insight 可迁移到抓取、推挤、抛接、动态放置等 variable-object manipulation 问题。
- 3. 示教 kernel + RL modulation 是现实机器人任务中非常实用的折中：它牺牲动作空间自由度，换来训练稳定性和真机安全性。
- 未来真正值得做的是让 kernel 本身多模态或可组合，而不是只调几个参数。
一句话总结
这篇论文在多障碍机器人投掷中把显式障碍列表替换为固定势场表示，实质贡献是用经典几何先验重构 RL 的状态空间，使低维投掷核调制在障碍数量变化下更可扩展。