精读笔记

Problem Setting

【No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training】（arXiv preprint / 2026-07-08）

这篇论文实际解决的是 GaLore 类低秩优化器的“几何前提审计”：周期性刷新得到的 top-r 梯度子空间，到底是不是一个可追踪对象。它不是在提出一个新 low-rank optimizer，而是在解释为什么一类已有 optimizer 能工作、为什么某些 patch 有效、哪些 patch 是错方向。

真正困难点是区分三件事：训练轨迹导致的真实 subspace drift、minibatch 估计噪声导致的 SVD basis 重抽、以及 optimizer state 在坐标变化下的错配。以前方法大多默认第一项主导，所以重点放在 tracking / refresh / averaging；本文指出主导项其实是第二项，后果主要落在第三项。关键矛盾是：subspace 不稳定并不等于低秩投影无效，因为投影保留的是能量；但 state 是坐标相关的，不能跟着一个不可辨识的 basis 盲目 carry。

Motivation

已有路线不够的地方在于，它们优化了一个可能不存在的对象。GaLore、SubTrack++、FRUGAL、Q-GaLore、GaLore-2 等都围绕“top-r gradient subspace 可以被追踪或改良”展开，但很少直接测量这个 top-r subspace 在统计意义上是否可辨识。

作者的关键观察是一个很研究者式的 control：不要先看跨时间变化，而要在同一 step 用 disjoint minibatch 估计两次。如果两者已经和跨 refresh 一样远，那么所谓 drift 基本就是 estimator noise。这个缺口很关键，因为它把问题从“设计更好的 tracker”转成“测量可辨识 rank k*，并处理不可辨识坐标下的 optimizer state”。

Core Idea

核心思想是把 GaLore 从 subspace tracking 重新解释为 rotating energy-capture projection。top-r SVD 在 spike 之后切进 gapless、近各向同性的 spectral tail；这些 tail directions 个体上不可辨识，会随 minibatch 重抽，但它们作为一个能量池仍然有用。因此 GaLore 的成功不依赖追踪固定方向，而依赖每次投影都捕获差不多的梯度能量。

这个建模方式改变了优化目标：不要试图让 basis 稳定，而要承认 basis 会换，并让 Adam state 适配坐标系变化。和 prior 的本质区别是，prior 把 U 当作 latent state；本文把 U 的 bulk 当作 sampling artifact，把真正可迁移的信息放在 energy coverage、reproducible core k*、以及 moment transport 上。这比单纯 tracker 更 scalable，因为它不要求在高维 gapless tail 中恢复一个不存在的稳定 frame。

Method

第一，same-step split-batch identifiability probe。它解决的是“观察到的 rotation 是否是真实漂移”的归因问题。方法上只需在同一 checkpoint 上分两批算 top-r subspace，再用 sign-invariant chordal distance 比较。核心变化是把 subspace stability 从训练动态问题变成统计估计问题。

第二，谱诊断和 averaging-budget test。它解决的是“不可辨识是否只是样本不够”的反驳。rank cutoff 附近无 gap，且 averaging 后 tail 缩小远慢于纯噪声，说明 tail 是 power-law signal 而不是可平均掉的 white noise。核心变化是：rank-r cut 不是落在结构边界上，而是切进连续 bulk。

第三，state transport / shorter memory。它解决的是 optimizer state 在 basis redraw 后失效的问题。一阶 moment 是向量，可通过新旧 basis 的 overlap 矩阵 transport；二阶 moment 是逐坐标方差，需要 squared rotation 才能合理搬运；盲目 carry 在随机旋转 bulk 中结构性错误。降低 beta2 则减少 second moment 对旧坐标统计的依赖。

Key Insight / Why It Works

最重要的 insight 是：低秩训练的有效性和低秩子空间的可辨识性不是同一件事。GaLore 可以工作，不是因为找到了稳定 top-r subspace，而是因为 spike + flat tail 结构让许多不同的 rank-r projector 都能捕获相近的梯度能量。方向不可靠，能量可靠；basis 不可迁移，moment state 需要迁移。

最可能的核心贡献是 same-step control 加 k* 这个概念。它给了一个直接可操作的判断标准：如果 r > k*，超出的 directions 不是可追踪结构，而是每次 refresh 会重抽的 tail coordinates。这个判断比“看 perplexity 是否下降”更接近机制。

state transport 是第二个实质贡献，但要注意：论文实验里的 transport arm 是完整 LDAdam，包含 error feedback，增益来源不清。理论上 moment transport 的方向是对的，实验上也吻合，但不能严格说所有 gain 都来自 transport。beta2=0.99 更像机制驱动的 hyperparameter correction，重要但次一级；它解决的是 stale memory，不是 subspace identifiability。

basis averaging 的失败也很关键：这说明问题不是 tracker 不够强，而是目标本身在 rank-r 上无 gap。这里的机制更像 memory reuse / representation alignment 的问题，而不是 scaling、retrieval、curriculum 或 test-time compute。所谓“subspace tracking”在 bulk 里是错的抽象。

Relation To Prior Work

它最接近 GaLore-family optimizer analysis，而不是一般 low-rank parameterization。LoRA 不在同一谱系，因为 LoRA 约束的是参数更新形式，不显式估计 gradient subspace。本文针对的是显式计算并周期刷新 top-r gradient subspace 的 optimizer family。

和 GaLore 的差异是解释层面的：GaLore 认为 SVD subspace 是训练中的有效低秩结构，本文认为只有 spike 部分可辨识，bulk 只是能量捕获。和 SubTrack++ 这类 tracker 的差异是，tracker 的平滑 self-consistency 不等于 fresh SVD subspace 的可辨识性。和随机投影/Grassmann randomized optimizer 的关系更微妙：这些工作经验上说明 precise SVD 不总必要，本文给出原因，即 k* 之外的 SVD directions 本来就近似随机。

LDAdam 已经有 state transport 规则，所以本文不是发明 transport；实质新增是把 transport 的必要性归因到 subspace non-identifiability，并给出 blind second-moment carry 的理论下界。看似新的 beta2 建议也不是新 optimizer，而是把 forgetting-factor 经典直觉放进“坐标系被 optimizer 自己周期重置”的场景。

Dataset / Evaluation

evaluation 对核心 claim 的支持总体较强，因为它没有只靠 perplexity，而是有机制 probe：same-step split-batch、谱 gap、averaging scaling、basis averaging、state policy 对照。这些实验确实验证了“没有可追踪 subspace”和“问题主要在 carried state”这两个中心判断。

覆盖范围上，same-step probe 横跨多个语言模型家族、参数规模和一个 ViT，说明现象不只是 Pythia 或 GaLore 训练副产物。更强的是这些 checkpoint 多为 full-rank Adam 训练，因此 non-identifiability 是 gradient 本身属性，而不是 low-rank optimizer 制造出来的。

但优化效果的验证范围较窄，主要是 Pythia/WikiText/特定 recipe，且部分实验 seed 少、basis averaging 是单 seed 为主。benchmark 支持机制方向，但不足以证明建议在真实大规模 pretraining recipe 中普适。transport 实验没有拆 LDAdam 的 error feedback，是最明显的 evaluation 归因缺口。

Limitation

成立前提是 rank-r cutoff 位于 gapless tail，且 tail directions 个体不可辨识但能量分布稳定。如果某些层、任务、训练早期或多模态设置中 r 落在清晰 spectral gap 之前，那么 tracking 可能重新有意义。论文没有充分说明不同数据分布、batch size、sequence length、训练阶段对 k* 的系统影响。

scalability 上限不是计算上不能测，而是策略上还没闭环：测到 k* 以后，究竟应该调 rank、调 refresh、调 beta2、调 transport，还是换随机投影，论文只给了局部建议。Appendix 里还指出不应简单把 rank 降到 k*，因为不可辨识 directions 仍有能量；这说明问题并没有被“测 k*”完全解决，而是转移为如何利用不可辨识但有用的 tail energy。

增益归因不清是硬限制。transport arm 是 LDAdam full update，error feedback 混在一起；beta2 效果对 canonical GaLore recipe-sensitive；full-rank control 是方向性而非完整大规模验证。因此可相信机制判断强于可相信具体超参处方。文中未充分说明这些建议在 trillion-token scale、不同 tokenizer/data mixture、不同 optimizer implementation 下是否保持。

Takeaway

• 第一，以后做 low-rank gradient optimizer，先测 k*，再谈 rank-r subspace；否则很可能是在优化一个不可辨识对象。
• 第二，低秩投影的核心价值可能是 energy capture，不是 direction identity。
• 这个 insight 可迁移到 Fisher approximation、activation subspace、curvature sketching：先区分“能量统计稳定”和“basis 稳定”。
• 第三，optimizer state 是坐标相关 memory；任何周期性换坐标的方法都必须显式处理 state transport 或缩短 memory。

一句话总结

这篇论文把 GaLore 类方法从“低秩子空间追踪”重新定位为“不可辨识 tail 中的能量捕获加坐标状态管理”，真正贡献是用 k* 和 same-step control 拆穿了 subspace tracking 前提，并把改进方向转向 optimizer state transport。