精读笔记

Problem Setting

《Structured Preconditioning in Affine-Invariant Geometry: Projection, Certificates, and Kronecker Separation》（arXiv preprint / 2026-07-15）研究的是结构化 SPD 预条件器中两个常被混同但本质不同的目标：给定 Hessian H，找 AIRM 最近的结构化矩阵，和找结构族内使 κ(G^{-1}H) 最小的预条件器。论文聚焦 Kronecker SPD family，因为它既是 K-FAC/Shampoo 等方法的核心结构，又足够刚性，能暴露“近似好”不等于“预条件好”的差异。

真正困难点是：Kronecker family 有 scale gauge，普通参数空间的一阶条件不可靠；同时 condition number 由相对谱的极端状态决定，而 AIRM projection 由 log residual 的整体正交性决定。以前的 Frobenius nearest Kronecker、separable covariance likelihood、geodesically convex preconditioning 各自解决局部问题，但没有回答 projection optimizer 和 condition optimizer 何时重合。关键矛盾是：结构族的几何邻近性是一个二阶/整体 residual 问题，而预条件质量是一个极端谱宽问题。

Motivation

已有路线不够的地方在于它们默认或暗示了一个未经证明的桥：如果一个 Kronecker product 在某种距离下很好地近似 H，它就应该是好的 Kronecker preconditioner。本文的核心观察是，这个桥只有在极端 spectral states 的 tensor marginals 匹配时才成立；否则最近点甚至可能有严格的一阶下降方向。

因此作者不是试图提出另一个 Kronecker approximation loss，而是把“nearest structured approximation”和“best structured preconditioning”放在同一个 affine-invariant 几何里比较。缺口是 certificate：不仅要知道一个结构族能否达到条件数阈值，还要知道 projection 的失败是数值误差、结构表达力不足，还是目标本身不同。

Core Idea

论文的核心思想是用 AIRM 下的 Kronecker 子流形几何把两个目标拆成两个法向条件。AIRM projection 要求 R = log(P^{-1/2}HP^{-1/2}) 对 Kronecker tangent space 正交；在 Kronecker 情形这等价于 R 的两个 partial traces 都为零。condition-number optimality 则来自 log κ 的 nonsmooth subgradient：它只看相对矩阵 S = P^{-1/2}HP^{-1/2} 的最大和最小 eigenspaces。于是 projection 同时 condition-optimal 当且仅当可以在这两个极端 eigenspaces 中选 density matrices，使它们在两个 tensor modes 上的 marginals 完全一致。

这个想法的本质区别在于，prior 通常比较的是矩阵整体误差或直接优化条件数；本文发现决定二者是否一致的不是整体误差大小，而是极端状态的 marginal alignment。这是一个很强的结构性 insight：Kronecker 预条件的失败模式可以被理解为极端谱方向在 tensor factors 上的 marginal mismatch，而不是“Kronecker approximation residual 大”这么粗糙的说法。

Method

第一，论文建立 log-spectral target 的统一框架。condition number 被写成 log-eigenvalue oscillation，和其他 convex permutation-invariant spectral objectives 一起纳入 geodesically convex 目标。这样做的作用是把 reachability、projection、exact penalty、normal response 都转化为 Hadamard manifold 上的标准凸几何问题。

第二，论文处理 Kronecker quotient geometry。G = B ⊗ A 有 (c^{-1}B) ⊗ (cA) 的 scale gauge，因此必须在 quotient 后写 line element 和 tangent space。核心变化是 Kronecker tangent 在 whitened coordinates 中变成 L_{m,n} = {Y ⊗ I + I ⊗ X}，其正交补正好由 partial-trace 条件刻画。

第三，论文给出 AIRM projection 的全局 characterization：Kronecker family 是闭的 totally geodesic 子流形，所以 projection 唯一；projection 点的 log residual 满足两个 partial traces 为零。这个机制解决的是“nearest Kronecker under AIRM 没有简单闭式解但可以被全局证书刻画”的问题。

第四，论文把 condition optimality 转成 extreme-state marginal feasibility。log κ 的 subgradient 是最大 eigenspace density minus 最小 eigenspace density。投影到 Kronecker tangent 后，若零在这个投影集合里，则 projection condition-optimal；否则最小范数投影 g_* 给出严格下降方向，斜率为 -||g_*||_F^2。这个机制是论文最核心的判别器。

第五，LMI、fixed-basis LP、residual-calibrated bounds、interval-safe corollary 是证书层。它们解决的是可验证性和数值 soundness，而不是新的优化机制。

Key Insight / Why It Works

最关键的 insight 是：AIRM projection 和 condition-number minimization 的差别只在 tangent space 上暴露，而不是在原始矩阵参数上暴露。Projection residual log S 已经在 Kronecker tangent 的正交补里；但 condition-number objective 的一阶力来自极端 eigenspaces 的 density difference。只有当这个极端谱力也能落入 normal space 时，nearest 才是 best。

为什么这成立：AIRM 的 congruence invariance 让所有比较都可以在 whitened coordinates 中完成；Kronecker 的 tangent log-space 是 partial-trace 可刻画的线性空间；log κ 的 subgradient 又有明确的 spectral convex-analysis 表达。三者相遇后，问题从非线性矩阵优化变成“极端 eigenspace 是否存在匹配 marginals”的凸可行性问题。

最可能是核心贡献的是 Theorem 5.10 及其 marginal-mismatch descent certificate。它不仅说明 projection 可能失败，还说明失败的方向是什么，以及 failure magnitude 如何计算。two-level spectrum 自动成立和 2x2 完备性也很有价值，因为它解释了为什么低维或简单谱例子中可能看不到 separation。

哪些可能只是辅助：exact penalty、proximal contraction、Armijo convergence、interval-safe comparison 本身都是标准几何凸优化或数值验证语言的精细拼接，重要但不是 conceptual breakthrough。diagonal/block LMI 也更多是把经典 scaling/preconditioning 结果放进统一 notation。

这不是 scaling、retrieval、data coverage 或 test-time compute 型工作；它的贡献是 better geometric inductive bias 和 latent structure identification。它把 Kronecker 结构的有效性归因到 tensor marginal alignment，而不是单纯低参数量或 Frobenius 近似质量。

Relation To Prior Work

最接近的谱系有四条：SPD affine-invariant geometry / Hadamard convexity、optimal diagonal/block scaling 与 SDP/LMI 证书、Kronecker covariance information geometry、以及 geodesically convex optimal preconditioning。本文不是从零发明这些工具，而是把它们用于一个此前没有被精确回答的问题：AIRM nearest Kronecker 与 condition-optimal Kronecker 的关系。

和 Frobenius nearest Kronecker product 的差别是 metric 和目标都换了：这里不是欧氏残差最小，而是 AIRM 中的结构化几何投影；更重要的是，它还比较这个投影是否优化 Hessian-relative condition number。

和 separable covariance / flip-flop / Fisher geometry 的差别是目标不同。那些工作关心统计 likelihood 或 covariance estimation；本文借用 quotient metric，但核心新增是 projection residual、condition optimality、extreme marginal criterion 之间的精确连接。

和 optimal preconditioning as geodesically convex optimization 的差别是，已有工作告诉你 condition-number objective 在某些结构群上可凸优化；本文问的是这个 optimizer 是否等于 nearest structured approximation，并给出 strict separation。实质创新在这个 equivalence/separation theorem，而不是一般的 geodesic convexity。

Dataset / Evaluation

这篇没有传统意义上的 dataset。evaluation 是 deterministic 和 randomized small-SPD theorem checks：验证 diagonal/block certificates、Kronecker projection residual、fixed-basis spectral obstruction、2x3 strict separation、2x2 completeness 等。覆盖的是数学 identity 和 certificate soundness，不是实际 optimizer performance。

这些实验能支持论文的核心数学 claim：实现中的 residual bound、marginal mismatch、descent slope 与理论一致。它们不能支持“大规模神经网络预条件更好”或“实际训练更快”这类 claim；好在作者基本没有这样声称。

跨场景方面，实验覆盖 diagonal、block、Kronecker、fixed-basis、low-rank spectral surrogate，但都在小矩阵和合成构造中。真实世界 / 真机 deployment 缺失。benchmark 的价值是排除代数推导或实现层面的明显错误，而不是验证 scalability。

Limitation

第一，实际可扩展性未解决。AIRM projection 需要 matrix log/eigensolver，Kronecker partial-trace solver 在 dense mn 维 SPD 上成本很高。Armijo solver 的收敛性是有限维确定性结论，不等于 neural-network scale 可用。增益来源不清，更可能来自 certificate formalization，而非可直接部署的算法效率。

第二，和真实优化器的连接仍是接口级。K-FAC/Shampoo 的统计估计、damping、momentum、bias correction、layerwise approximation 是否对应文中的 admissible path，文中未充分说明。没有 realization theorem 时，不能把这些矩阵定理直接解释为 optimizer behavior。

第三，condition-optimality 判据依赖极端 eigenspaces。谱间隙小或极端特征值重数高时，必须在整个 extreme eigenspace 上解 density feasibility；用单个数值 eigenvector 会不稳定。文中给 interval-safe form，但前提是 validated enclosures；普通 floating-point residual 只是 diagnostics。

第四，低秩扩展很弱。它只是 shared-eigenbasis spectral surrogate，不能推出 additive low-rank preconditioner 的真实几何性质。实际低秩结构涉及 stratified manifold 或非闭族，问题被转移了。

第五，global infeasibility lower bound 来自 scale-closed distance bound，可能较松。它能给 sound certificate，但不一定给 tight threshold characterization。

Takeaway

• 1. 结构化预条件里必须区分三件事：target reachability、nearest structured geometry、condition-optimality。
• 把 nearest approximation 当 best preconditioner 是不成立的，除非有额外 spectral-marginal 条件。
• 2. Kronecker 结构真正限制的是 tangent log-space 的 tensor marginal 可动性。
• 未来设计 factored preconditioner 时，应该关注极端 curvature directions 的 marginal alignment，而不只是拟合整体 Hessian 或 Fisher。

一句话总结

这篇论文把 Kronecker 结构化预条件从“最近矩阵近似”推进到“几何投影与条件数最优性的精确分离理论”，核心贡献是用 extreme-state tensor marginal criterion 判定 nearest 是否等于 best。