精读笔记
Problem Setting
Dynamics of Gradient Descent with Large Step Size Near a Manifold of Flat Minima（arXiv preprint / 2026-07-10）研究的是过参数化 least-squares 在解流形附近的大步长 GD 局部动力学。真正问题不是“GD 是否收敛”这么泛，而是当 η 超过经典稳定条件 η < 2/λ1 时，为什么迭代没有简单发散，反而会表现出 sharpness 下降、非单调 loss、临界收敛或 period-2 振荡。
困难点在于高 codimension。codimension-1 时，法向只有一个方向，flip bifurcation 和 sharpness descent 的耦合相对干净；向量输出/多样本 regression 中法向有 q 个方向，而且自然例子如 matrix factorisation 的 flat minima 不是孤立点，而是子流形 F。以前方法卡在两个地方：优化理论的小步长稳定条件无法描述大步长非单调动力学；已有 dynamical-systems normal form 只覆盖单输出、孤立 flat minimum，无法处理高维法向模式与 flat minima manifold 的几何自由度。
Motivation
作者的核心观察是：[39] 中“法向振荡 + 切向 sharpness descent”的机制很可能不是 codimension-1 的偶然，而是 least-squares 解流形附近的普遍局部结构。缺口在于，没有一个理论能同时处理向量输出、高 codimension、flat minima manifold，并给出类似 subcritical/critical/supercritical 的定量收敛图景。
这也是为什么论文转向微分几何和动力系统 normal form，而不是继续沿 PL/NTK 或凸优化长步长分析走。PL/NTK 给的是小步长稳定收敛，不解释 implicit bias toward flatness；edge-of-stability 文献给了现象和特例，但缺少一个可验证的局部几何定理。本文要补的是：一旦进入解流形附近，大步长 GD 的有效低维机制是什么。
Core Idea
核心思想是构造一组 η-dependent coordinates，把 GD 在 flat minima manifold 附近拆成三部分：沿 M 的 x 动力学、top normal coordinate y1 的 flip bifurcation、其余 normal coordinates y2:q 的稳定收缩。normal form 的关键项是 x_{t+1} ≈ x_t - ζ y1^2 ∇M λ1(x_t)，这说明 GD 没有显式优化 sharpness，但法向振荡的能量 y1^2 会诱导沿解流形的 sharpness descent。
与 prior 的本质区别是：本文不是只把 top Hessian direction 当作不稳定方向来分析，而是把整个高 codimension 法向空间组织成“一个中心/分岔方向 + 多个 stable directions”。这使 codimension q 的问题在动力学上重新变成一个主导一维 bifurcation 问题，但保留了 F 作为 flat minima manifold 的几何自由度。理论上，这比 codimension-1 更 general；直觉上，它依赖谱间隙：top eigen-direction 决定临界行为，其他 eigendirections 在 η ≈ 2/λ1|F 时仍然稳定。
Method
1. 解流形几何化：Assumption 3.1 把 minimizers 写成 M=f^{-1}{τ}，并通过 ∇²ℓ=DfᵀDf 在 M 上的结构，把 Hessian kernel 识别为 TxM，非零谱方向识别为 normal bundle。它解决的是参数空间中“哪些方向是解流形切向、哪些方向是误差法向”的坐标基础问题。
2. sharpness 的可微与 Morse-Bott 结构：λ1 在 simple region 上光滑，F 是 λ1 的 Morse-Bott local minima manifold。这解决的是切向动力学有没有明确吸引目标的问题。Morse-Bott 不是装饰性假设，它替代了 [39] 中孤立点附近 strong convexity 的角色。
3. centre manifold 降维：高 codimension 带来 q 个法向方向，但只有 top eigendirection 在 η≈2/λ1|F 附近接近临界；其他方向保持收缩。centre manifold theorem 的作用是把有效非线性分岔压缩到 y1 上，避免高维法向系统不可控。
4. 奇异 PDE 坐标修正：为了把 y1 动力学规范化为 (1-ηλ1)y1 + y1^3 + higher order，需要解一个沿 F 奇异的 PDE。这个步骤是 normal form 正确性的技术瓶颈，也是在修补 [39] 中一个证明漏洞。它的核心变化是让切向-法向耦合项以正确阶数进入收敛分析。
5. 收敛 regime 分析：normal form 之后，三种 regime 基本由一维 flip bifurcation 与 sharpness descent 的耦合决定。subcritical 中 y1 衰减，x 只走有限 sharpness descent；critical 中 y1 以多项式衰减，x 收敛到 F；supercritical 中 y1 稳定到非零 period-2 amplitude，x 以近似常步长被拉向 F 附近的周期轨道。
Key Insight / Why It Works
最核心的 insight 是：大步长 GD 的 instability 不是纯粹破坏收敛的噪声，而是在解流形附近转换成沿 sharpness 的隐式优化。y1 的振荡幅度提供了沿 M 更新的 effective learning rate；λ1 的几何曲率决定这个隐式优化会把点推向更 flat 的区域。这个机制比“GD 偏好 flat minima”更具体：偏好的驱动力来自 top Hessian direction 的 flip dynamics，而不是某种抽象 regularization。
最可能是核心贡献的部分有两个。第一是 arbitrary codimension normal form：它说明高维输出场景下仍然只有 top eigendirection 控制临界不稳定，其余法向模式是 contracting stable directions。第二是 flat minima manifold 版本的分析：真实过参数化模型通常不会有孤立 flat minimum，F 的存在不是技术麻烦，而是问题本身。
PDE 技术很重要，但从 ML insight 看更像支撑 normal form 的数学必要条件，不是新的优化机制。matrix factorisation 的 fibre bundle 与 Morse-Bott 证明是实质性结构结果，但也高度依赖 deep linear/matrix factorisation 的代数可解性。
这不是 scaling、retrieval、data coverage 或 test-time compute 的故事；它是 latent geometric structure + dynamical normal form 的故事。也不存在 benchmark leakage 这类问题，因为论文核心不是 empirical SOTA。但也要直接说：这篇不能证明真实深网的大步长训练整体由该机制主导，它只证明了在一个强结构局部邻域内该机制成立。
Relation To Prior Work
最接近的是 [39]：同样用 normal form 解释大步长 GD 在 least-squares flat minima 附近的 subcritical/critical/supercritical dynamics。本文真正新增的是两个维度：从 scalar output/codimension-1 到 vector output/arbitrary codimension；从 isolated flat minimum 到 flat minima manifold。换句话说，它不是提出一个全新机制，而是证明 [39] 的机制在更真实的几何设置中仍然成立。
相对 PL/NTK 小步长理论，本文完全换了问题表述：不是证明 loss 单调下降或线性收敛，而是分析非单调迭代本身的局部动力系统。相对 edge-of-stability 现象文献，它给了更硬的局部定理，但覆盖范围更窄。相对 matrix factorisation 隐式正则化工作，本文的新增信息是 flat minima set 的 fibre bundle 结构与 λ1 的 Morse-Bott 性，以及这些结构如何进入大步长 GD 的动力学。
看似新的地方中，“GD 沿 sharpness descent”不是全新，已有 [6,15,39] 的思想基础；实质创新是把这个思想提升到高 codimension + manifold of flat minima，并处理由此产生的中心流形、奇异 PDE、稳定叶状结构问题。
Dataset / Evaluation
evaluation 主要是 3-layer 2×2 matrix factorisation 的数值模拟，用来验证三种 regime 的定性趋势：subcritical 初期不稳定后指数收敛，critical 近似 t^{-1/2}，supercritical 收敛到 period-2 cycle。实验覆盖范围很窄，但与论文的理论定位一致：它不是要证明真实深网 benchmark 上有效，而是验证一个可解析模型中的局部动力学。
这些实验支持 normal form 的 claim，但支持力度主要是 sanity check。没有跨真实任务、没有非线性网络、没有真实 deployment，也没有检验从随机初始化进入局部邻域之前的 progressive sharpening。benchmark 并不能验证“深度学习训练普遍如此”，只能验证“matrix factorisation 中观察到与定理一致的局部行为”。这点文中基本诚实，没有过度包装。
Limitation
最大限制是局部性。理论假设 iterates 已经在 F 附近；这避开了深网训练中最难的全局阶段：如何接近解流形、sharpness 如何 progressive sharpening、edge-of-stability 如何形成。作者也明确说不认为结果解释 progressive sharpening 或完整 edge-of-stability，只可能解释 tail-end。
第二是几何假设强。λ1 simple、F 避开 eigenvalue crossing set S、Morse-Bott、ν1|F span invariant、αη>0 且 Dαη=0 都不是一般深网中自动成立的条件。critical theorem 更弱：一般情形依赖 Conjecture D.7，严格性不如 subcritical/supercritical。文中未充分说明这些假设在真实网络中的稳定性，也没有给出可操作的诊断方法。
第三是 matrix factorisation 的外推风险。deep linear/matrix factorisation 的代数结构让 fibre bundle、Morse-Bott、invariance 都可证明，但这可能是高度特殊的可解模型。把它迁移到 ReLU/attention 网络，需要处理非光滑性、batch/stochasticity、loss landscape 非 least-squares 正则结构、eigenvalue crossing 等问题。
第四，generalization 只被提出为可能方向，没有被证明。flat minima manifold 内不同点是否有不同泛化性质，文中只是提出猜想式讨论。不能把本文解读为 flatness-generalization 理论。
Takeaway
- 1. 大步长 GD 在解流形附近的核心机制可以被看成“top normal flip bifurcation 驱动的 sharpness descent”，这比普通 flat-minima 叙事精确得多。
- 2. 高 codimension 并不必然让动力学不可分析；在谱结构良好时，有效临界自由度仍可能是一维，其余法向方向只是 stable modes。
- 这是可迁移的建模 insight。
- 3. flat minima 不应再被当成孤立点讨论。
一句话总结
这篇论文把 [39] 的 codimension-1 大步长 GD normal form 推广到高 codimension 与 flat minima manifold，核心贡献是证明局部上 GD 的非稳定法向振荡会诱导沿解流形的 sharpness descent，是 edge-of-stability 理论谱系中偏几何/动力系统的一步实质扩展。