精读笔记

Problem Setting

这篇论文真正处理的是 embodied agent 的长期经验如何变成 planning-time memory，而不是从视频直接学控制。给定大量 egocentric video，系统需要在未来收到一个 under-specified goal 时，用过去经验补全“这个参与者通常怎么做、东西在哪里、对象当前/过去是什么状态、哪些步骤曾经出现过”。

真正困难点在 temporal persistence 和 decision relevance 的交叉处。对象会变状态但身份不应丢；地点相对稳定但描述会更新；动作是 episodic trace，但 routine/preference 只有跨 episode 才显现；未来目标又不会明确告诉系统该检索哪段经历。以前的 flat video/text retrieval 卡在 evidence 粒度混乱，entity graph 卡在静态关系，long-context 卡在把所有东西塞给模型但不解决 memory maintenance。

关键矛盾是：记忆既要忠实保留具体 episode 的证据，又要压缩成 planner 可复用的抽象；既要避免 append-only 噪声膨胀，又不能把状态历史和少见但重要的变化抹掉。MEMORA 的问题设置就是在这个矛盾上做 memory substrate，而不是做更强的 VLA policy。

Motivation

已有路线不够的原因很明确：egocentric-to-robot 多数把第一人称视频当 demonstration source，用来学动作、视角或跨 embodiment 对齐；LLM-agent memory 多数是文本摘要、向量检索、对话记忆或外部文档；embodied spatial memory 多数偏 mapping/localization。它们都没有把“长期经验如何被写入、修正、抽象、再被 planner 使用”作为核心对象。

作者的核心观察是，人类在熟悉环境中规划时并不是从当前观察和通用 task prior 出发，而是依赖 participant-specific 的历史：杯子是哪一个、工具通常放哪里、某人洗碗后放到哪里、做早餐时先拿什么。这类信息既不是 policy，也不是普通 video QA，而是 future goal interpretation 的上下文。

关键缺口是 memory formation。不是有没有 memory，而是 memory 以什么结构存在、什么时候更新、什么时候合并为规律、读取时如何暴露给 planner。MEMORA 把这个缺口具体化为 Embodied Action Memory。

Core Idea

MEMORA 的核心思想是：把连续 egocentric experience 转成一个 typed, editable, consolidated memory state，而不是一个可检索的视频/文本档案。这个建模改变很重要，因为 planner 需要的不是“相似片段”，而是不同角色的信息：procedure 告诉它怎么做，entity/location 告诉它对什么在哪里做，state history 告诉它对象如何变化，consolidated regularity 告诉它跨 episode 的偏好和习惯。

它引入的 inductive bias 是按 embodied continuity 切分记忆：空间相对稳定，实体身份持续但状态变化，动作按时间展开，routine/preference 跨事件出现。这个 bias 让写入和读取都更有结构：写入时可以编辑对象记录而不是追加重复 observation；读取时可以先找 routine，再找对象和位置，而不是让 LLM 在一坨 retrieved text 里自己分离 procedure 与 grounding。

和 prior 的本质区别不在“四个 memory store”这个表面设计，而在信息流被重新组织了：video -> structured observation -> editable memory state -> consolidated regularity -> typed retrieval -> language plan。它更 scalable 的地方在于 memory size 随对象和规律增长，而不是随 observation stream 线性增长；更 generalizable 的地方在于 Generalize task 可以组合 routine/preference/entity/location，而不是只 replay 某个相似 episode。

Method

方法上有三类机制值得保留。

第一是在线 Memory Editor。它解决的是 append-only observation log 的核心问题：同一对象在 10 秒片段中反复出现，如果都作为新 record，会污染检索并让状态判断变成多数噪声。编辑器用 Add/Update/Delete/Noop 维护 entity identity，并把变化写入 state_history。核心变化是 memory 从“证据堆积”变成“状态维护”。

第二是 typed memory stores。Environment、Entity、Activity、Inferred Knowledge 的价值不是分类本身，而是把不同时间尺度的信息分配给不同读写规则。Activity 可以 append，因为它是事件证据；Entity 要 edit，因为身份持续且状态变化；Environment 要 merge，因为空间上下文稳定；Inferred Knowledge 要 offline consolidation，因为规律不是单帧可见的。这是方法里最像 inductive bias 的部分。

第三是 consolidation + typed retrieval。离线 consolidation 把 repeated behavior 变成 routine、habit、preference，使 planner 在新目标上能检索中间抽象，而不是每次从 episodic traces 中临时归纳。读取时 get_routine_skill/get_preferences/search_objects/get_object_history 等接口强制 planner 以 procedure-first、grounding-after 的方式组织查询。这个机制本质上是 test-time tool scaffolding + memory reuse。

ReAct loop、embedding top-k、JSON prompts、具体 Qwen/Gemma 组合主要是工程实现，不是理论贡献。它们影响结果，但不改变论文的核心机制。

Key Insight / Why It Works

这篇论文有效的主要原因不是 LLM 更会推理，而是 memory representation 和 retrieval interface 降低了 planner 的组合负担。flat retrieval 把所有证据作为同质文本返回，planner 需要同时判断哪个片段是 routine、哪个是对象、哪个是地点、哪个是偏好；MEMORA 预先把这些角色分开，等于把 latent structure 显式化。对当前 LLM 来说，这种结构化外部记忆比期待模型在长上下文里自行归纳更可靠。

最核心贡献可能是 write path 和 read path 同时结构化。只做 typed retrieval 但 memory 写入噪声很大，会检索到重复/矛盾对象；只做 editing 但没有 consolidation，Generalize 时仍然要从 episode 中归纳 routine；只做 consolidation 但没有 entity grounding，计划会变成抽象脚本。三者组合让“程序知识”和“物理 grounding”在 planning 时可以拼接。

增益中有一部分很可能来自 better inductive bias，而不是纯 scaling。证据是 consolidation 对 cross-video SPref/SHabit/SRoutine 帮助最大，Generalize 的收益也更明显。但也不能过度解读为真正的 long-horizon reasoning：很多 planning 得分来自检索到 participant-specific routines/preferences，再由 LLM 生成合理步骤；这更像 retrieval-augmented procedural composition，而不是 agent 内部形成了可模拟未来的世界模型。

哪些可能只是辅助或 engineering：四个 store 的具体 schema、10 秒分段、ReAct 工具数量、embedding search、prompt wording、model registry。这些会影响性能，但论文没有证明这些具体选择是唯一或最优的。更强的 editor 和 perception model 带来提升，说明 pipeline capacity 很重要；文中也显示较弱 editor 导致 E-rate 上升，这提示增益部分来自 memory construction model 的能力和数据处理质量。

需要警惕 evaluation bias。EAM-QA 的问题由 EPIC annotations/LLM verification 构造，Planning 的 reference 和 task 也来自同一 participant 的 annotated action distribution。Generalize 虽然不是直接 replay，但仍在厨房、同一对象/动作 vocabulary、同一 participant memory slice 中生成。所谓 OOD 更接近 within-domain compositional OOD，不是跨场景泛化。文中未充分说明 benchmark 中 task query 和 memory evidence 的 lexical overlap 对 retrieval baseline/MEMORA 的相对影响。

另一个不清楚的点是 hidden supervision：offline consolidation 本质上用 LLM 从完整 participant memory 中生成 routines/preferences，这相当于为 planner 提供了人工设计的中间标签。它是否是“记忆形成”的自然结果，还是把难题转移给 offline LLM summarizer，仍有争议。增益来源不清：可能来自更好的 memory abstraction，也可能来自将 evaluation-relevant regularities 显式写成可检索文本。

Relation To Prior Work

最接近的技术谱系有三条：LLM-agent long-term memory、embodied/spatial memory、egocentric video for robot learning。MEMORA 不是从零发明 memory lifecycle；formation/consolidation/retrieval、episodic/semantic memory、ReAct 工具调用、RAG、entity memory 都是已有思想。它的新意在于把这些思想放到 real egocentric longitudinal video，并面向 robot planning 重新定义 memory substrate。

相对 egocentric imitation/VLA，它的差异是对象不同：那些方法学 how to act，MEMORA 学/整理 what context to consult before acting。它不是 policy learning，而是 policy/planner 前面的 semantic-procedural memory layer。

相对 spatial memory/3D scene memory，它不追求 metric map 或 control-ready scene representation，而是保留 action-relevant semantic records：对象状态、动作过程、偏好、routine。这让它更适合 language-level planning，但也意味着它无法替代几何 grounding 和闭环控制。

相对 flat RAG 和 entity graph，MEMORA 的实质新增信息是 typed continuity + editable state + consolidation。Flat text 只保留时间顺序，graph 保留关系但通常缺少状态历史和 procedure abstraction；MEMORA 把状态维护和跨 episode 抽象作为一等机制。这是它区别于“把视频转文本然后检索”的关键。

Dataset / Evaluation

MEMORA-Bench 覆盖 45 小时 EPIC-KITCHENS-100 extension、18 个 participant、多 session kitchen activity。这个设置适合验证 participant-specific memory，因为同一人在同一厨房反复出现，确实有偏好、习惯、物体位置和 routine 可学。EAM-QA 测 memory faithfulness，Planning 测 future use，这个双协议设计比只做 video QA 更贴近论文 claim。

但任务覆盖仍然窄：厨房、桌面/家务动作、有限 session、同一 participant 内泛化。它验证的是 familiar environment planning memory，不是通用 embodied autonomy。Generalize split 比 Replay 更有说服力，因为它避免直接匹配单个 episode；但它仍然由同一 annotations、同一 memory bank、同一对象/动作分布构造，不能证明跨环境或跨任务族泛化。

真实机器人部分只说明 language-level memory plan 可以接到规则控制器上，不能支持强 robot deployment claim。2 个 Unitree G1 tabletop 任务是定性 sanity check，不是统计意义上的真机评测。论文的主要证据应被理解为 memory-conditioned language planning benchmark，而不是完整机器人系统性能。

评测指标也有局限。RGP 由 OrderExec、KeyObj、PrefAdh 组成，能反映程序顺序、对象覆盖和偏好，但仍是 token/rule-based proxy。作者自己也承认 object grounding token metrics 不稳定。真正机器人可执行性、实例级 grounding、失败恢复、闭环感知更新都没有被系统评估。

Limitation

最根本限制是方法依赖强 perception 和强 memory editor。错过的对象无法凭空恢复，重复 perception error 可能被 consolidation 放大成错误 regularity。编辑器越弱，state history 越稀疏，answer agent 更倾向选 information unavailable；这说明 memory formation 不是一个廉价预处理，而是系统瓶颈。

第二，scalability 上限没有真正解决。论文展示了 entity compression，但长期部署会遇到 drift、罕见事件、习惯改变、空间重排、多人共享环境、隐私删除、conflict resolution。当前 consolidation 更像离线总结 repeated evidence，没有展示持续学习中如何撤销旧规律或处理概念漂移。

第三，泛化可能主要来自数据覆盖和检索组合。Generalize task 仍然在同一厨房分布内，且 query 往往含有可检索对象/动作词。所谓 planning/reasoning 更像：检索 routine/preference/entity，然后 LLM 生成一个合理 plan。planner 实际没有形成长期状态动力学模型，也没有 action-conditioned future simulation。

第四，增益归因不完全清楚。Full MEMORA 同时改变 memory schema、write-time processing、offline consolidation、tool interface 和 prompt behavior。虽然有 ablation，但很难分离 typed interface 本身、consolidated text quality、retrieval routing、LLM capacity、benchmark lexical structure 各自贡献。部分提升可能主要来自 scaling / data processing，而不是新的 memory principle。

第五，offline benchmark 与真实 deployment 有鸿沟。任务是在 memory 已构建后离线查询，执行时没有持续更新、没有失败恢复、没有环境变化处理。真实 robot planning 需要 current observation 与 remembered state 的冲突处理，而论文更多评估 remembered context 对 language plan 的影响。

Takeaway

• 最值得记住的不是 MEMORA 的四个 store 名字，而是一个方向判断：embodied memory 不应被当作长上下文检索问题，而应被当作持续维护的 decision substrate。
• 对未来系统可迁移的 insight 是 procedure 和 grounding 要分离。
• Routine/preference 提供“怎么做/倾向怎么做”，Entity/Environment 提供“对什么/在哪里做”。
• 把两者混在同一个 retrieved chunk 里，会让 planner 在 Generalize 场景下负担过重。

一句话总结

MEMORA 是把 egocentric video 从 policy-learning 数据源转化为 typed, editable, consolidated planning memory 的一类方法演化，真正贡献在于把长期经验按 procedure 与 grounding 的角色重组为 planner 可复用的外部记忆。