精读笔记
Problem Setting
《Learning Physics-Guided Residual Dynamics for Deformable Object Simulation》（arXiv preprint / 2026）实际处理的是真实机器人操作中的可变形物体高维状态预测，而不是干净仿真环境里的材料建模。输入来自 RGBD 重建和跟踪得到的粒子状态，动作来自 gripper 轨迹，目标是在闭环 rollout 中预测物体几何变化，并进一步服务于 MPC 和视觉渲染。
真正困难不是“可变形物体会变形”这种层面，而是误差来源不可分解：材料非均匀、接触和摩擦不连续、观测只有表面、体内部结构缺失、不同区域刚柔属性差异很大。已有物理方法通常能保持某种 plausibility，但一旦材料参数、接触模型或离散结构不对，误差会系统性积累；纯学习方法能拟合复杂形变，但在小数据和长 horizon 下容易漂移，且缺少约束。
这篇论文抓住的关键矛盾是：真实任务里需要的是一个足够准、足够稳、可用于规划的 forward model，而不是物理上完备的 simulator。PGRD 的定位就是用粗物理模型提供稳定骨架，再学习真实世界相对这个骨架的偏差。
Motivation
已有路线不够的核心原因是两边都过于极端。更复杂的 FEM/MPM/PBD 或 differentiable simulator 追求物理表达力，但真实机器人接触里的非光滑性让参数识别和梯度优化很脆弱；而 GNN/particle-grid 这类学习模型虽然表达力强，但需要更多数据，也更容易学到 dataset-specific correlation。
作者的核心观察是：spring-mass 这类简单模型虽然不精确，但它的错误往往不是完全随机的。它能给出大体运动方向、连接关系、重力/接触/约束的粗响应。神经网络如果学习的是“真实动力学 - 已调物理模型”的残差，而不是完整动力学，问题会更局部、更低熵，也更容易在小数据下训练。
关键缺口在于 residual 应该怎么注入。直接改 position 会破坏 position/velocity 的一致性，下一步 simulator 再从这个不一致状态出发就容易发散。PGRD 的动机不是简单 hybrid，而是找到一个不会破坏递推动力学的 residual 接口。
Core Idea
论文真正核心的方法思想是：把可变形物体动力学拆成一个可优化但低保真的物理流场，加一个学习到的速度残差流场。spring-mass 负责产生下一步预测，神经网络只预测每个粒子的 residual velocity，然后通过积分修正位置。这改变了建模方式：学习目标从 absolute next-state prediction 变成 simulator-conditioned correction。
这个设计的直觉是成立的。可变形物体的大尺度运动通常受几何约束、gripper 运动、重力和接触主导，简单物理模型已经能覆盖一部分；难的是局部非线性刚度、摩擦、异质材料和未建模接触。让网络专门学习这些剩余项，相当于把学习容量集中在物理模型的系统性误差上。
和 prior 的本质区别不在 architecture，而在信息流组织：PGND/GBND 等从数据中学习主动力学；diff spring-mass 仍试图在物理参数空间里解释误差；PGRD 承认物理模型表达力不足，但保留它作为 rollout scaffold。这个 scaffold 是它比纯学习更可扩展、更稳定的主要来源。
Method
第一，优化 spring-mass backbone。它解决的是初始物理轨迹不能太差的问题。CMA-ES 只调少量参数，避免 contact-rich 场景下 differentiable simulator 的梯度问题。这里的目标不是得到真实材料参数，而是把 backbone 调到 residual learner 能接手的范围内。
第二，学习 velocity residual。它解决的是物理模型无法表达的复杂局部偏差。速度层修正比位置层修正更重要，因为 simulator 的状态包含 position 和 velocity；只改位置会制造隐含的状态不一致。velocity residual 让 correction 仍表现为动力学更新，而不是后处理形状对齐。
第三，训练时使用 multi-step rollout。它解决的是 teacher-forcing 式单步训练和测试时递归 rollout 的分布错配。模型必须从自己的预测状态继续推进，因此 residual 不只是拟合一步误差，也要学会在偏离真实轨迹后保持稳定。
第四，短时历史聚合和 gating。它解决的是 deformation 中的 history dependence，比如 momentum、拖拽后的滞后响应、局部振动。gating 的作用更像稳定器，限制 temporal correction 覆盖当前局部预测。这个机制合理，但从论文证据看更像增强项，不是最本质贡献。
第五，体积物体加入内部粒子。它解决的是只用表面点模拟 volumetric object 会塌陷的问题。这是工程上必要且有效的 representation patch，但不构成新的动力学思想。
Key Insight / Why It Works
最重要的 insight 是 residual 不应该作为几何后处理，而应该作为动力学更新的一部分。许多 hybrid simulation 失败不是因为 residual 学不到，而是因为 residual 的注入点破坏了 simulator 的状态一致性。PGRD 把 residual 放在 velocity 上，本质上是在学习一个 correction force/impulse 的离散近似，虽然文中没有把它严格表述为力学量。
最可能的核心贡献是 velocity-based residual dynamics 加 closed-loop rollout training。前者保证 correction 和状态推进兼容，后者减少 rollout distribution shift。这两点直接对应长期稳定性问题。相比之下，PTv3、NeRF-style decoder、sliding-window transformer、gating 都是合理的 architecture choices，但它们更像把 residual function approximator 做强，而不是改变问题本身。
这篇方法的有效性主要来自 better inductive bias，而不是纯 scaling。物理 backbone 提供低频运动和约束结构，网络学习高频/局部/异质偏差；这种 bias 对小数据尤其有价值。也可以理解为 representation alignment：网络不是在 RGB 或任意 latent 上预测，而是在粒子状态和 simulator prediction 对齐后的空间里预测 residual。
但需要警惕增益被 data pipeline 和 benchmark setting 放大。数据是多视角 RGBD + CoTracker + persistent 3D tracks，监督信号很强；训练和评估在同一实验装置、同类物体和相近动作分布上。所谓泛化更像是在一个受控物体/操作族内的 residual interpolation，而不是开放物体泛化。planning 结果也不是证明模型有长期规划能力，而是更准确的短 horizon model 让 MPPI 的采样排序更可靠。
Relation To Prior Work
PGRD 位于三条技术谱系的交叉处：传统 spring-mass/MPM/PBD 物理仿真，GNN/particle-grid 学习动力学，以及 robotics 中的 residual model learning。它最接近的思想不是某个具体 deformable simulator，而是“nominal dynamics + learned residual”的系统辨识范式。
和 differentiable physics 的差异在于，PGRD 不试图把所有误差吸收到物理参数里。Diff spring-mass 仍受限于 spring-mass 表达空间，即使参数 spatially varying，也很难表示异质结构、复杂摩擦和未建模接触。PGRD 直接在状态更新层加函数逼近器，表达力更大，但代价是物理可解释性下降。
和 PGND/GBND 的差异在于，PGRD 没有让网络承担完整动力学。纯学习模型需要同时学习约束、接触、材料响应和数值稳定性；PGRD 把其中一部分交给 simulator，因此网络可以专注于 residual。这是实质差异。
看似新的部分里，point transformer、temporal transformer、gating、multi-step rollout 都不是新概念；它们是已有思想的有效重组。实质创新在于把这些放到一个真实机器人可变形物体 residual simulation 框架里，并明确 velocity residual 是稳定接口。
Dataset / Evaluation
评估覆盖了 rope、paper、flag、soft toy、duster、teddy 等多种形态，包含一维、二维、三维、刚柔异质和非抓取 poking，任务覆盖比常见单一 cloth/rope benchmark 更有说服力。数据来自真实 xArm 和多 RealSense，相比纯仿真 benchmark 更接近机器人部署。
结果确实支持“在这些真实物体和操作分布上，PGRD 比纯物理和纯学习 forward model 更准”这个核心 claim。尤其 duster 是有价值的 case，因为它暴露了 uniform material physics 和纯学习模型的短板。
但 evaluation 没有完全证明强泛化。训练 100 episodes、验证 20 episodes，且 episode 由连续数据带 stride 切出，存在时间相邻和分布重叠的可能。每个物体的训练/测试是否真正跨实例、跨材料、跨几何、跨接触环境，文中未充分说明。cable rerouting 声称 residual model 未见过 rope-slot interaction，这比普通 validation 更强，但仍是同一 rope 操作域内的组合泛化。
video prediction 评估更多是 dynamics 质量的下游可视化验证。3DGS appearance 固定，主要变量仍是几何轨迹；因此它不能证明模型解决了复杂视觉生成，只说明预测轨迹足以驱动较好的 foreground rendering。
language-conditioned planning 是有趣应用，但证据比较混杂。生成目标图像、单目深度对齐、DINO correspondence、AnyGrasp 都引入额外先验和误差源。它展示 pipeline feasibility，不应被解读为 PGRD 自身具备语言条件推理能力。
Limitation
最大前提是存在一个足够好的 coarse simulator。PGRD 不是完全摆脱物理建模，而是把物理建模的要求降到“能产生可修正轨道”。如果 spring-mass backbone 在某类物体上拓扑、接触或约束完全错，residual learner 可能需要学习过大的 correction，稳定性和泛化都会下降。
第二个前提是强监督粒子轨迹。论文依赖多视角 RGBD、分割、CoTracker、深度融合、persistent correspondence。真实部署中这些步骤的失败会直接污染 residual training。方法看上去 data-efficient，但这是在高质量状态监督已经可得的前提下成立；它不是从原始视频弱监督学动力学。
第三，泛化边界不清。文中展示了多物体，但没有充分说明模型是否共享训练、是否 object-specific，以及跨新实例是否有效。当前结果更像是在每类对象/装置内学习 residual dynamics，而不是学到普适材料模型。
第四，增益归因不够干净。PGRD 相比 baseline 不只是多了 residual，还多了强 encoder、temporal aggregation、multi-step rollout、内部粒子、CMA-ES tuning 和特定 data processing。ablation 只在 rope/sloth 上报告 MDE，无法完全证明所有对象上的收益都来自 velocity residual 这一核心机制。
第五，planning 能力可能被高频 replanning 掩盖。MPPI 每步重新观测并只执行第一步，因此不需要模型在很长 horizon 上保持完全准确。所谓长期任务成功更多来自短期 forward model 足够准加 MPC 纠偏，而不是模型形成了稳健的长期状态预测。
第六，方法把一部分问题从 physics parameter identification 转移到了 residual dataset coverage。对于训练分布外的材料、摩擦、遮挡、拓扑变化、撕裂、打结、自接触密集场景，residual 是否仍然局部可学习，文中没有回答。
Takeaway
- 1. 对真实机器人可变形物体，弱物理模型最有价值的部分不是精度，而是提供稳定的 rollout scaffold；学习模型应优先补 residual，而不是从零学所有动力学。
- 2. residual 的注入位置很关键。
- 速度层 residual 比位置层 residual 更接近动力学修正，也更不容易破坏状态一致性。
- 这个 insight 可以迁移到软体机器人、接触丰富 manipulation、流体/颗粒的 hybrid simulator。
一句话总结
PGRD 是一类 physics-scaffolded residual dynamics 方法：它不试图用更复杂物理或纯网络单独解决真实可变形仿真，而是用已校准 spring-mass 提供稳定轨道、用速度残差学习真实世界偏差，代表了从 full learned dynamics 向 simulator-conditioned correction 的实用演化。