精读笔记
Problem Setting
论文标题：Understanding Schedule-Free Methods in Nonconvex Optimization: Rate Guarantees and Escaping Saddles（arXiv preprint / 2026-07-13）。
这篇论文实际处理的是 Schedule-Free 方法在非凸优化中的理论身份问题：它在实践中被当作替代 learning-rate scheduler 的优化方案，但在非凸 smooth setting 下，标准形式的 SF-GD/SF-SGD 到底有没有和 GD/SGD 同阶的最坏情形保证，此前并不清楚。
困难点在于 Schedule-Free 不是单序列方法。它同时维护 z、x、y：z 接受梯度更新，x 是平均化 evaluation iterate，y 是梯度计算位置。非凸情形下，平均化本身不保证 stationarity；凸优化里可以依赖 Jensen 或函数值结构迁移保证，但非凸里 x 的平均可能落在梯度很差的位置。因此关键矛盾是：实践输出常用 x，但理论最自然可控的可能是 y。
以前方法卡在两个地方：一是分析对象被改造了，例如随机化 beta 或输出额外平均序列；二是对原始 Schedule-Free 的 Lyapunov 结构没有找准，导致在标准 c_k=1/(k+1) 下只能得到弱速率，甚至证明前提对 beta<1 不成立。本文的目标就是证明原始形式下的 gradient location sequence y_k 已经足够好。
Motivation
已有路线不够，是因为它们没有回答“标准 Schedule-Free 为什么在非凸训练中不坏”这个问题。Ahn et al. 的 online-to-nonconvex 路线证明了某种 Schedule-Free-like 变体，但它改了 beta 和平均机制；Brown et al. 的 Lyapunov 路线更接近原算法，但作者指出其关键不等式对 beta<1 并不成立，且标准平均权重下速率不理想。
作者的核心观察是：Schedule-Free 的有效下降结构不应从 x_k 入口找，而应从 y_k 入口找。y_k 是梯度位置，包含真正的优化动态；x_k 是平均化输出，更多承担稳定化/泛化/评估角色。把这两个角色混在一起，会把非凸平均化的困难误当成算法本身的困难。
因此关键缺口不是缺一个新 optimizer，而是缺一个能解释原始 SF-GD/SF-SGD 的 Lyapunov 视角：它既要覆盖 beta<1 的常用设置，也要允许 warmup 和 Defazio/Song 风格的 averaging rates，还要说明 strict saddle 行为不会比 GD 更差。
Core Idea
核心思想是从连续时间极限中抽取离散时间 Lyapunov。SF-ODE 中，z 沿 -grad f(y) 运动，x 以 1/t 速率追踪 z，y=(1-beta)z+beta x。这个系统存在一个很干净的能量：f(y)-f* 加上 beta/(2t)||z-x||^2。其导数被 -(1-beta)||grad f(y)||^2 控制。这个结构说明 Schedule-Free 的“动量式插值 + 平均”不是任意耦合，而是在 y 上产生可下降的有效能量。
离散化后，作者没有试图证明 x_k 直接好，而是构造 V_k=f(y_k)-f*+alpha_k||z_k-x_k||^2。alpha_k 的选择本质上是为了消掉非凸光滑分析里最麻烦的交叉项 <grad f(y_k), z_k-x_k>。一旦这个交叉项被精确抵消，剩下的就是 GD/SGD 风格的下降项加随机梯度噪声项。
和 prior 的本质区别是建模对象变了：不是把 Schedule-Free 看成“输出平均化”的方法，而是看成一个以 y 为主状态、x-z gap 为辅助能量的非自治系统。这让它能分析原始 beta<1 方法，而不是通过改算法来获得证明。
Method
第一，连续时间 ODE 用来发现正确势函数。它解决的是三序列耦合下该监控哪个量的问题。f(y) 单独不够，因为 y 的变化包含 z-x gap；加入 ||z-x||^2 后，交叉项在连续时间中自然抵消。
第二，离散 Lyapunov 势 V_k 是主要技术工具。它解决的是非凸离散更新中无法直接单调下降的问题。alpha_k 不是经验权重，而是由交叉项抵消条件反推出来的；这使得 SF-GD/SF-SGD 的标准更新可以被直接分析。
第三，参数条件覆盖实践常见形式：线性 warmup 后常数步长，以及 c_{k+1} 与累计 gamma_i^2 相关的平均权重。这里的作用不是提出新 recipe，而是证明理论没有依赖一个过窄的特殊调参。
第四，严格鞍点分析把 SF-GD 写成二维状态 (y,x) 的非自治动力系统。固定点恰好是 (x*,x*) 且 grad f(x*)=0。由于早期 c=1 或标准初始化会让分布退化到对角子空间，作者加入一次任意小的绝对连续扰动，使得可以调用非自治 center-stable 类型结果证明几乎必然避开严格鞍点。
第五，PEP 分析单独检查 x_k。它不是主证明，而是用来说明一个重要事实：实践常用的 evaluation iterate 在最坏情形下未必继承 y_k 的 O(1/T) stationarity。
Key Insight / Why It Works
最关键的 insight 是：Schedule-Free 的理论可解释性主要在 gradient location y_k，而不是 evaluation iterate x_k。y_k 是快变量 z 和慢变量 x 的插值，梯度也在这里被计算；因此它同时看到当前优化方向和平均化状态。Lyapunov 中的 ||z-x||^2 正是在度量这种快慢变量分离的代价。只要这个 gap 被纳入能量，Schedule-Free 并没有破坏一阶非凸优化的基本下降结构。
方法成立的核心不是 scheduler-free 本身，也不是 averaging 本身，而是一个精确的能量配平：f(y_k) 的光滑上界会产生 <grad f(y_k), z_k-x_k>，而 z-x gap 的递推会产生反向项。alpha_k 的设计把这两者抵消。这个机制比“平均化让训练更稳”更本质，因为它给出了为何即使没有 decay schedule，y 序列仍可达到最坏情形最优 stationarity。
随机情形下的结果基本是标准 SGD 噪声项叠加在这个 Lyapunov 框架上。这里没有新的 stochastic optimization miracle：O(1/sqrt(T)) 来自用 gamma~1/sqrt(T) 平衡下降项和方差项。Schedule-Free 在理论上没有突破 SGD 下界，而是证明自己没有因为三序列结构变差。
严格鞍点避免的 insight 是动力系统层面的：当 c_k 逐渐趋零后，SF-GD 在 saddle 附近有和 GD 类似的不稳定方向。一次扰动主要是为了解决测度论退化，不是优化能力来源。把它理解成“Schedule-Free 本身主动逃鞍”会过度解读；更准确地说，在适当非退化初始化下，它没有引入吸引严格鞍点的新机制。
最可能只是辅助的部分是 PEP 关于 x_k 的数值曲线。它提出了一个有价值现象：beta 接近 1 时 x_k worst-case 可能优于两个端点 beta=0 和 beta=1。但这仍是数值 worst-case 观察，不构成对实际 deep learning 中 x_k 好用的完整解释。实践收益很可能来自平均化在局部低损失 valley 中的稳定化，而非全局非凸 worst-case stationarity。
Relation To Prior Work
这篇最接近三条线：Schedule-Free/Primal averaging/Polyak-Ruppert averaging，非凸 GD/SGD 最坏情形理论，以及动力系统视角的 saddle avoidance。
相对 Defazio et al.，本文不是提出新算法，而是补非凸理论。它把原始 Schedule-Free 中被经验使用的三序列结构拆清楚：y 是可证明优化序列，x 是实践评估序列。这个区分是本文相对原始工作真正新增的信息。
相对 Ahn et al.，本质差异是“不改算法”。Ahn 的结果更像把 Schedule-Free 嵌入 online-to-nonconvex conversion，代价是 beta 随机化、平均形式改变、输出对象改变。本文的价值在于证明标准 SF-GD/SF-SGD 已有最优速率，不需要通过变体获得理论。
相对 Brown et al.，本文的贡献是找到了适用于 beta<1 的 Lyapunov 系数，而不是把 f(x_k) 放进势函数。这个选择很关键：在非凸中 x_k 平均化难以控制，硬分析 x_k 反而会丢掉真正下降结构。
相对 primal averaging，本文处在 beta<1 的插值谱系上。beta=0 接近 Polyak-Ruppert averaging，beta=1 接近 primal averaging，但实践常用 beta=0.9/0.98。本文实际上说明中间区间不是纯 engineering interpolation，而有独立可分析的非凸动力学。
实质创新不是某个新更新式，而是把 Schedule-Free 的理论对象从 evaluation iterate 转移到 gradient location iterate，并通过 ODE 到离散 Lyapunov 的方式给出标准算法的最优速率。
Dataset / Evaluation
这篇论文没有传统意义上的 dataset evaluation。实验部分是 PEP 数值实验，用来计算光滑非凸函数类上的 worst-case bound，而不是在真实模型或真实数据上测试 optimizer。
PEP 验证覆盖的是理论 claim 的一部分：y_k 的最坏情形表现确实受 Corollary 4.5 控制；x_k 的最坏情形可能明显更差。这和论文的核心论点一致，即理论上应区分 gradient location 与 evaluation iterate。
但 PEP 不能验证 Schedule-Free 在大规模深度学习中为何优于 tuned scheduler，也不能说明 x_k 在真实训练中为何泛化更好。它只说明在抽象 L-smooth bounded-below 非凸函数类里，x_k 的 worst-case stationarity 不应被默认相信。
因此 evaluation 支撑的是“理论机制”和“x/y 区分”的 claim，不支撑“实践性能强”的完整归因。文中对 deep learning loss landscape 的 PL/star-convex-like 讨论更像合理解释，不是被直接验证的结论。
Limitation
最大限制是主理论保证落在 y_k，而实际 Schedule-Free 通常使用 x_k 作为最终模型参数。论文诚实地指出 x_k 的 worst-case 可更差，但没有给出 x_k 的解析收敛保证。因此这篇论文解释了 Schedule-Free 为什么不破坏优化过程，却没有完全解释为什么实践中 evaluation iterate 往往更好。
第二，严格鞍点避免依赖一次额外扰动。虽然扰动可任意小，并且均值为零时速率可保留，但这仍说明原始 deterministic 初始化下存在测度论技术障碍。把该结果直接翻译成实际训练中的 saddle escape 结论需要谨慎。
第三，理论设置仍是标准但理想化的：L-smooth、finite infimum、SGD 无偏且有界方差、beta<1、特定 averaging/warmup 结构。实际 Schedule-Free AdamW、weight decay、adaptive preconditioning、batch norm、数据顺序、large-batch regime 都不在主证明中。
第四，beta 接近 1 时理论常数包含 1/(1-beta)，但实践常用 beta=0.9 或 0.98。这个 tension 没被完全解决。理论说明 beta<1 均可，但无法解释为什么更大的 beta 在实践或 PEP x_k 曲线上可能更好。
第五，文中关于 x_k 实际表现好的解释依赖“轨迹附近存在 convex-like regularity”这一类假设，但这没有被形式化成主要定理。增益来源不清：可能来自平均化带来的 checkpoint smoothing，也可能来自 deep learning loss valley 的局部几何，或者主要来自工程上的 warmup、batch size、scheduler 对比设置。
Takeaway
- 1. 以后分析 Schedule-Free 时，应优先区分 y_k 和 x_k。
- y_k 是优化理论对象，x_k 是评估/平均化对象；混用会导致错误归因。
- 2. Schedule-Free 的核心可迁移 insight 是“快变量更新 + 慢变量平均 + 插值梯度位置”可以通过 gap-energy Lyapunov 控制。
- 这种结构可能适用于其他带 averaging/momentum 的 optimizer 分析。
一句话总结
这篇论文把 Schedule-Free 从一个经验上好用的 scheduler 替代方案，重新定位为一个可由 gradient-location Lyapunov 解释的非凸一阶方法，并证明其标准形式在 y_k 上达到最坏情形最优速率。