精读笔记
Problem Setting
[Source-Lifted Flow Matching for Intervenable Multimodal Imitation]（arXiv preprint / 2026）
这篇论文实际解决的不是“flow policy 能不能表达多模态动作分布”，而是“多模态动作分布中的某个 continuation 能不能被局部、显式、可重复地选中”。标准 flow matching / diffusion policy 的随机性是 passive 的：同一 observation 下多次采样可能得到不同轨迹，但 source noise 到行为模式的映射是隐式的，planner 或人不能可靠指定“这次走左边/右边”。
真正困难点在作者设定的约束里：velocity field 不能接收离散 z。也就是说，不能用 v(x,t,s,z) 把问题降级成 mixture-of-experts 或 mode-conditioned decoder。选择信号必须只存在于 source endpoint，并且在 ODE transport 中被共享 field 保留下来。核心矛盾是：共享 field 倾向于在路径交叉处平均不兼容 velocity，但可干预多模态又要求不同分支在相同局部状态下保持身份。
Motivation
已有路线的问题不是表达力不足，而是接口不对。普通生成式 policy 能覆盖多个模式，但用户只能重采样；latent-conditioned / z-conditioned policy 能控制模式，但它把 z 变成模型输入，实际是在训练多个隐式子动力学或专家。这对一些任务有效，但不是作者想要的“同一个 flow field 内的 source intervention”。
作者的核心观察是：flow matching 的 source 本来就决定一条生成路径，如果 source 的某些区域可以被稳定命名，那么随机性可以变成控制变量。缺口在于普通 source 空间没有语义分区，而且即使给 source mixture 加 handle，路径交叉时 handle identity 也会丢。论文真正动机是把 source geometry 设计成一个可寻址的控制界面，而不是继续在目标分布或 velocity field 上加 condition。
Core Idea
核心思想可以概括为：不要把多模态拆成多个 target distribution 或多个 mode-conditioned field，而是在 transport 起点处放置可选择的 source handles，并用额外正交坐标把这些 handles 的路径分开。目标动作仍然是原始 demonstration distribution；所有 target 都落在 action subspace 的 zero-lift plane。z 只选择从哪里出发，不选择学哪个专家。
这个建模方式引入的 inductive bias 很明确：branch identity 是一条路径的几何属性，而不是一个外部标签。正交 lift 让不同 source handle 在 t<1 时保持分离，即使它们的 action coordinate 在中间相交，完整 lifted state 仍不同，因此共享 field 不需要在同一点拟合多个相互冲突的 velocity。相比 prior，它重新组织了信息流：离散选择不进入网络条件，而是被编码进连续状态本身。这比显式 z-conditioning 更接近 standard CFM，也可能更容易和已有 flow policy 框架组合。
Method
方法层面只需要记住三件事。
第一，state-conditioned source mixture 把 source noise 从无结构高斯变成 K 个状态相关 component。它解决的是“source choice 不可寻址”的问题。每个 handle 对应一个 source component，free rollout 从 learned prior 采样，intervention 时外部指定 component。
第二，Orthogonal Source Lifting 是核心机制。每个 handle 的 source 被放到不同的辅助正交方向，target action 全部放到 lift coordinate 为 0 的平面。它解决的是“路径交叉导致共享 field 平均 velocity”的问题。这个机制的关键不是增加维度本身，而是只 lift source、不 split target：它保留原始 p_data(a|s)，但让 transport path 带有 branch identity。
第三，responsibility floor 是稳定训练的工程性但必要补丁。source mixture 对 demo action 产生 soft responsibility，flow loss 按 responsibility 加权；如果纯按责任训练，低频 handle 会死，test-time 强制该 handle 时不可靠。floor 给每个 handle 一点监督，代价是可能削弱严格的模式分配。它更像 robustness regularizer，不是主要思想。
Key Insight / Why It Works
最重要的 insight 是：对于共享 velocity field，多模态失败往往不是因为 field 容量不够，而是因为训练样本在同一个 input coordinate 上要求不同 output velocity。路径交叉会把 branch identity 压扁到同一个 x_t，MSE 回归自然学出 composite trajectory。SL-FM 的 lift 本质上是在输入空间中重新嵌入这些路径，使得冲突条件不再重合。这个解释比“引入 source handle”本身更关键。
我认为真正贡献是 Orthogonal Source Lifting，而不是 state-conditioned GMM。GMM source、responsibility、mixture prior 都是已有思想的合理重组；让 target 不分裂、field 不显式接收 z、只通过 lifted source 保存身份，是这篇论文有辨识度的部分。
它有效的主要原因是 better inductive bias + latent structure，不是 scaling，也不是 test-time compute。它把隐式 source noise 空间离散化并几何化，让下游 selector 可以把 z 当作小动作空间使用。但这也意味着能力很可能来自数据覆盖中的已有分支，所谓 control 更接近在 demonstration-supported branches 上做 retrieval / selection，而不是生成新策略。Kitchen 中 handle-subtask correlation 有意思，但不能证明语义抽象自然形成；更可能是 source mixture 在 action/state distribution 中捡到了稳定共现结构。
增益来源不完全清楚。free-deployment performance 的提升可能部分来自 source prior 更贴近 action distribution、shorter transport 或额外维度改善优化，而不一定来自 intervention interface。文中虽然有 w/o lift，但对 source prior、lift dimension、mixture fitting、field capacity 的归因还不够干净。
Relation To Prior Work
这篇最接近三条线：flow matching policy / diffusion policy 的 multimodal imitation，latent-conditioned 或 z-conditioned policy steering，以及 source/coupling design in flow matching。它的定位不是提出更强 generative policy，而是给 flow policy 的 source noise 增加一个可干预结构。
和 diffusion / flow policy 的本质差异：普通方法把 source 当随机种子，SL-FM 把 source component 当可选择控制接口。
和 z-conditioned field 的本质差异：z-conditioned field 让模型显式知道 mode，容易学成多个条件专家；SL-FM 不把 z 送进 field，而是让 z 改变连续初始状态。这个约束是论文的新信息，也是方法成立与否的关键。
和 OT-CFM、modal coupling、MM-FM 的差异：那些方法主要优化 source-target coupling 或生成几何，目标是更好采样、更短路径、更少 crossing；SL-FM 把 source geometry 用作 intervention interface。看似新的一部分，如 GMM source、responsibility、anchor、mixture prior，本质上是已有 mixture / coupling 思想重组；实质创新是把正交 source lifting 用来在共享 flow 中保存可干预 identity。
Dataset / Evaluation
实验覆盖了 D3IL Avoiding / Aligning、PushT、Kitchen，属于模拟或离线 benchmark 范围，没有真实机器人验证。任务覆盖有一定多样性：Avoiding 强调 route branching，PushT 有接触策略差异，Kitchen 有长程多子任务结构。但核心 claim 最主要还是由 Avoiding 支撑，因为它有清晰 route label 和 same-prefix counterfactual protocol。
same-prefix intervention 是本文最有价值的 evaluation：固定前缀，只改变局部 handle，再看未来 route 是否改变。这比展示 independent rollout diversity 更能验证“可干预”。不过 benchmark 仍然偏理想化：route labels 清晰、分支结构离散、决策点可定位、干预窗口人工设定。PushT 和 Kitchen 更多是辅助说明 handle 可能对应策略/子任务，不足以证明跨场景稳定语义控制。
free-deployment 的性能结果说明 SL-FM 没有明显损害 imitation，并在部分任务有提升。但这些数字不能单独证明核心机制，因为更好的 source prior、额外 lift 维度、训练 regularization 都可能带来优化收益。增益来源不清。
Limitation
最根本的限制是：方法把“选择哪个未来”转化为“选择哪个 source handle”，但 handle 的语义完全由数据和责任分配自组织产生。没有保证 handle 跨状态、跨 episode、跨任务保持一致语义。Avoiding 中 route 结构简单，所以 handle 容易对齐；在连续策略谱、稀疏分支、强 partial observability 或语义随上下文变化的任务中，这个接口可能变得不稳定。
第二，scalability 受 K 和责任学习限制。K 太小会合并模式，K 太大会出现 dead handle、责任噪声和 minibatch supervision 稀释。responsibility floor 缓解死亡，但也可能训练出无语义的可用 handle，导致 intervention 表面有效但不可解释。
第三，核心能力可能主要来自数据覆盖。SL-FM 不能凭空产生 demonstration 外的新分支；下游 selector 的成功更像在已有可达 route schedules 上选择，而不是形成长期规划能力。planner 实际没有形成长期状态建模，只是在低维 handle action space 上搜索或强化一个已有 policy 的分支开关。
第四，真实部署风险文中未充分说明。真实机器人中的视觉扰动、动力学误差、接触不可逆、prefix replay 不可精确复现，都会削弱 same-prefix intervention 的可重复性。没有真机实验时，claim 应限定为 benchmark-level source controllability。
Takeaway
- 最值得记住的不是“用 GMM source 做 flow policy”，而是：source geometry 可以从随机种子升级成控制接口。
- 这个方向可能比继续给 generative policy 加 latent token 更干净，因为它把控制变量放在 transport 起点，而不是拆分 decoder。
- Orthogonal lifting 是可以迁移的 insight：当共享生成场在 crossing 处丢失 identity，可以通过扩展连续状态空间来消除输入冲突，而不一定要显式条件化模型。
- 这对 motion generation、multi-agent trajectory、contact-rich manipulation 都可能有用。
一句话总结
SL-FM 是一类把 flow policy 的 source noise 几何结构化为可干预分支接口的方法，真正贡献在于用正交 source lifting 在共享 latent-free velocity field 中保存多模态路径身份。