精读笔记
Problem Setting
论文标题：TFP: Temporally Conditioned Memory-Fusion Policies for Visuomotor Learning（arXiv preprint / 2026）。
这篇论文实际处理的是VLA policy在stage-dependent manipulation中的状态别名问题：当前image、language instruction和proprioception不足以唯一决定下一步动作，必须知道“已经完成到哪一步”“之前是否成功抓取/释放/接触”“遮挡前目标在哪里”等隐变量。
关键矛盾是chunked visuomotor control一方面降低了policy query频率，提升动作平滑性；另一方面每次query之间执行了多个低层动作，任务进度已经改变，但当前观测可能仍然相似甚至被遮挡。reactive VLA默认每次从当前观测重新推断动作，这在long-horizon、交换、计数、遮挡任务中会表现为重复子任务、跳错阶段或忘记隐藏状态。
以前方法卡在两个位置：history buffer/retrieval保留了更多原始上下文，但没有显式形成一个可持续演化的task-progress belief；GRU/LSTM/latent recurrent state虽然有紧凑状态，但更新通常绑定在离散step或frame上，未显式建模物理elapsed time，也未必直接进入action generation的核心路径。
Motivation
作者的核心观察是：操控中的memory不只是“记住过去”，而是“知道什么时候应该改变记忆”。稳定搬运、遮挡、视觉歧义阶段需要高保留；接触、抓取、释放、subgoal transition附近需要快速写入。也就是说，memory update本身应当跟任务事件和物理时间结构对齐。
已有路线缺的是一个介于raw history retrieval和generic recurrence之间的belief filter：它要足够紧凑，能跨action chunks持久存在；要对不规则query interval敏感；还要能直接改变action decoder的输出分布，而不是作为额外上下文由模型自行解释。
这也是为什么作者选择LTC而不是普通RNN：不是因为LTC表达能力绝对更强，而是它把retention写成exp(-Δt/τ)，天然满足elapsed-time composition。对于adaptive receding-horizon执行来说，policy提前re-query或延后re-query不是同一个离散step，memory update应看到这个物理时间差。
Core Idea
TFP的核心思想是把VLA从reactive mapping改成belief-conditioned action generation：policy不再只根据当前观测生成action chunk，而是先维护一个episode-local latent belief，再让这个belief直接调制flow-matching action decoder。因此，相同视觉输入在不同任务进度belief下可以生成不同动作。
本质变化有两个。第一，历史信息从“可被检索的上下文”变成“持续演化的状态变量”；第二，记忆从perception-side或token-side辅助信息变成action distribution的调制变量。这个信息流重组很重要：如果memory只是历史token，decoder还要学会何时读、读什么、如何转成动作；TFP用AdaLN把belief压成feature-wise modulation，直接改变decoder内部激活和velocity field。
引入的新inductive bias是连续时间、多时间尺度、事件敏感的belief dynamics。它不保证语义可解释，但在操控里合理：有些latent channel应长期保留目标/阶段，有些channel应在接触或释放时快速更新。这比简单扩上下文更scalable，因为memory维度固定，不随episode长度增长；也比纯step recurrence更适合不规则执行。
Method
方法上真正必要的部分只有三块。
第一，LTC belief update。它解决的是chunk间隐状态如何随物理时间演化的问题。candidate belief来自当前视觉和本体状态，retention gate由Δt和input-dependent τ决定。核心变化是memory update不再只是“第t步到第t+1步”的离散插值，而是随实际执行间隔衰减/写入。这个机制尤其适合adaptive re-query，因为短间隔和长间隔不应被当成同一种更新。
第二，belief-conditioned action decoder。TFP不是把memory作为额外token塞给模型，而是投影成conditioning vector，与flow timestep embedding相加后通过AdaLN调制decoder层。它解决的是memory是否真正进入动作生成的问题。这个设计牺牲了丰富检索能力，但换来固定尺寸、强耦合、低开销的动作条件化。
第三，Episode-Aware Temporal Batching。它解决的是训练时不能随机打散chunk的问题。recurrent belief必须沿episode连续更新，但完整episode反传对3.3B VLA太贵。EATB保留forward hidden-state continuity，同时截断梯度。这是工程上关键的训练机制，但不是概念创新的核心；它让方法可训练，而不是解释方法为什么有效。
Adaptive receding-horizon executor也值得注意：它让policy在gripper transition或风险区域提前re-query，并把实际elapsed interval送入memory。它增强了TFP设定的合理性，但也带来归因问题：部分收益可能来自更合适的test-time execution schedule，而不仅是memory dynamics。
Key Insight / Why It Works
最可能的核心贡献不是LTC公式本身，而是“event-sensitive belief直接调制action generation”这个组合。操控任务里很多错误不是不会抓，而是阶段错了：重复已完成动作、忘记目标已移动、遮挡后选错后续阶段。TFP把这类信息压进hidden belief，并让它影响action chunk生成，所以能减少stage-level failure。
LTC有效的原因在于它提供了一个偏置：稳定阶段降低写入，相当于对 noisy observation 做temporal filtering；事件附近提高写入，相当于允许belief快速重置。论文中的write-gain变化在事件附近显著放大，支持这个解释。注意这不是证明模型学到了人类语义事件，只能说明gate dynamics和simulator-side event labels有统计对齐。
AdaLN注入可能比作者强调的LTC同样重要。很多memory方法失败不是因为没有历史，而是历史没有强制进入动作决策。TFP让hidden state改变decoder normalization，从机制上更难被忽略。hidden-state intervention显示固定观测下换hidden state会改变action chunk，这是全文最关键的因果证据之一。
哪些可能只是辅助：EATB主要是训练可行性工程；adaptive executor可能提升rollout稳定性，但不是belief建模本身；LTC相对GRU的优势在这些实验中成立，但并未排除“GRU + Δt + 更强conditioning + 更好训练”达到类似效果。
哪些可能来自scaling/data：基础能力显然主要来自π0.5 backbone和示教数据，TFP是在高性能VLA上的小幅但有针对性的修正。LIBERO平均提升在接近饱和区间，不能过度解读为通用推理能力提升。真机结果更有说服力，但trial数小，且任务设计高度贴合stage-memory假设。
所谓reasoning更像latent state reuse和representation alignment，不是显式规划。TFP没有构建可组合subgoal planner，也没有object-centric symbolic memory。它能记住并调制动作，但不等于学会长期任务推理。
Relation To Prior Work
TFP最接近三条线：memory-augmented VLA、time-aware recurrent models、chunked generative action policies。
相对HAMLET/MemoryVLA这类history-aware或retrieval-style方法，TFP的差异在于不保留可检索的大历史，而是形成固定维度belief。这样更轻、更适合在线控制，但对离散object binding和长程细节回溯能力更弱。ShellGameTouch低于MemoryVLA正好暴露了这个边界。
相对AVA-VLA/ReMem-VLA这类recurrent VLA，TFP的差异不是“有hidden state”，而是hidden state更新显式依赖elapsed physical time，并且belief直接调制action decoder，而不是主要用于视觉注意或跨帧query传播。
相对GRU/LSTM/SSM，LTC不是一个全新记忆范式。时间感知RNN、GRU-D、Phased LSTM、continuous-time RNN都已有类似思想。TFP的实质创新是把这种连续时间memory作为chunked VLA的task-progress filter，并接到flow-matching action head。换句话说，新意在系统性组合和信息流位置，而不在单个数学部件。
它属于“reactive VLA向belief-conditioned VLA演化”的路线：不是扩模型规模，也不是纯长上下文，而是给动作生成器加一个在线、紧凑、时间校准的内状态。
Dataset / Evaluation
评估覆盖了标准模拟benchmark、扰动benchmark、memory diagnostic和少量真机任务，整体上是围绕claim设计的。LIBERO/Long验证长程多阶段任务是否受益；LIBERO-plus验证视觉扰动下belief是否稳定动作；ShellGameTouch专门测遮挡记忆；A1 object swap和counting pick-place更直接对应stage-dependent failures。
最能支持核心claim的是三类结果：Long split明显改善、真机中stage/repeat failure减少、同观测hidden-state intervention改变动作。write-gain event alignment则支持“memory update不是均匀发生”的机制解释。
但评估也有明显限制。标准LIBERO接近饱和，很多split的提升统计意义和实际意义都有限；published baseline数字与same-pipeline ablation混在一个表中，不能直接做强横向结论；MIKASA ShellGameTouch没有超过MemoryVLA，说明TFP不是最强hidden-location memory；真机只有两个任务、每个20次，能说明现象，但不能证明广泛deployment泛化。
此外，adaptive receding-horizon executor对所有controlled memory variants一致使用，这是合理控制，但仍无法回答TFP在完全固定执行频率下的收益有多大。核心claim是elapsed-time conditioning，而评估环境刻意制造了irregular-query schedule；这验证了设定内有效性，但也使外推到普通固定频率控制时需要谨慎。
Limitation
TFP依赖一个隐含前提：任务所需历史可以被压缩成相对低维、连续演化的belief。对于需要精确对象身份绑定、空间地图、符号计数、长期组合计划的任务，这个前提不一定成立。ShellGameTouch的失败分析已经承认，离散hidden-location binding更像object-centric key-value memory，而不是连续task-progress dynamics。
scalability上，推理开销小，但训练成本高。EATB保留forward state、截断backprop，本质是用工程手段绕过全episode反传；它可能削弱远距离credit assignment。文中未充分说明K=8的截断对更长任务是否足够，也未说明hidden state cache在分布变化或shuffle策略下是否稳定。
增益归因仍不完全清晰。TFP同时引入LTC memory、AdaLN action conditioning、EATB recurrent training、adaptive receding-horizon execution。虽然有GRU/SSM/without-Δt ablation，但缺少更细的对照，例如GRU+Δt、LTC+cross-attention、AdaLN memory without LTC、fixed executor下TFP等。因此“连续时间LTC是关键”这个结论成立但不封闭。
泛化也不应过度解读。LIBERO和LIBERO-plus仍是受控模拟任务，真机任务数量小且结构高度匹配方法假设。核心能力可能主要来自π0.5 backbone和训练数据覆盖，TFP更像在正确位置加入belief bias来减少特定failure mode，而不是产生新的通用推理能力。
最后，TFP没有解决高层规划。它维护的是action-relevant latent state，不是显式subgoal graph、symbolic state或可验证planner。长程成功可能来自稳定记忆和轨迹模板复用，而不是可组合任务推理。
Takeaway
- 1. 对chunked VLA来说，memory的关键不是上下文长度，而是memory update schedule：什么时候保留、什么时候写入，比“能看到多少过去”更重要。
- 2. 将belief直接注入action decoder比把history放在旁路更有迁移价值。
- 很多领域中的latent state如果只做perception辅助，很容易被decoder忽略；作为生成分布的conditioning才更可能改变行为。
- 3. 连续时间建模在机器人里不是装饰。
一句话总结
TFP是把reactive chunked VLA推进到continuous-time belief-conditioned action generation的一步：真正贡献在于用事件敏感的紧凑任务belief直接调制动作生成，而不是简单扩大历史上下文或增加通用recurrent state。