精读笔记
Problem Setting
论文标题：Singular perturbations and hierarchical learning in two-layer neural networks（arXiv preprint / 2026-07-14）。
这篇论文实际处理的是两层网络在 semiparametric single-index 任务中的联合训练动力学：teacher 是 y = phi(<u*, x>)，student 是无限宽两层网络，activation sigma 已知但 link phi 未知。由于 x 是高维 Gaussian，问题可以投影到每个 neuron 的外层权重 a 和与 u* 的 overlap s 上，训练目标变成匹配 phi 和 sigma 的 Hermite 系数。
真正困难点在于：这个系统不是普通 mean-field convergence 问题，而是一个带小参数 epsilon 的快慢耦合动力学。外层 a 以 1/epsilon 的速度训练，内层 overlap s 慢速演化。低阶 Hermite 分量先被学到，但它们对应的残差项并不会在后续阶段完全消失；它们会以约束形式持续影响下一阶分量的学习。
以前的分析要么停留在 kernel/lazy regime，无法解释 feature learning；要么用 layerwise/oracle training 绕开联合训练；要么像 Berthier-Montanari-Zhou 那样用 matched asymptotic 给出非严格预测。本文要解决的关键矛盾是：联合训练确实表现出层级学习，但这个层级结构不是简单的“学完一阶就删掉一阶”，而是“学完一阶后形成一个必须被保持的约束”。
Motivation
已有路线缺的是对 joint training dynamics 的可证明、定量、且能解释层级时间尺度的工具。mean-field Wasserstein flow 给出无限宽动力学框架，但通常不提供这种精细的有限时间层级结构；高维 ODE 方法能抓住低维 order parameters，但在未知 link 的两层网络中，a 和 s 的耦合使动力学远比单神经元 single-index 更难。
作者的核心观察是：Berthier-Montanari-Zhou 的 asymptotic expansion 捕捉到了现象，但其更高阶推断中“忽略已学分量”的处理很可疑。本文证明这个怀疑是实质性的：到二次项时，phi_0 和 phi_1 的残差虽然小，但乘上 1/epsilon 或与放大的 a、s 尺度耦合后，仍然与二次项驱动力同阶。
因此关键缺口不是“能不能再算一个时间尺度”，而是缺少一种处理 singular perturbation near constraint manifold 的通用方法。本文的理论动机就是把 hierarchical learning 解释为快变量把系统钉在低阶匹配约束附近，慢变量在这些约束允许的方向上继续移动。
Core Idea
核心思想可以概括为：把低阶分量学习看成快慢系统中的约束生成过程。常数项学习时，a 的均值被快速拉到 phi_0 / sigma_0；线性项学习时，a 的 centered part 和 s 的 centered part 形成成比例增长的双曲动力学，使 overline{as} 达到 phi_1 / sigma_1。到这一步，网络已经对 teacher direction 有非平凡 alignment，但同时 a 和 s 的尺度发生了明显分离：a_perp 约为 epsilon^{-1/4}，s_perp 约为 epsilon^{1/4}。
本质区别在二次项阶段。prior 的自然简化是只保留 phi_2 相关项，把已学低阶项当作消失；本文指出这是错误建模。正确做法是把 phi_0、phi_1 的已学习状态写成积分约束，例如 overline{z_1} 固定、overline{z_1 z_2} 固定，再引入时间依赖的 alpha_0、alpha_1 作为类似 Lagrange multiplier 的项，使辅助动力学始终沿约束流形演化。
这改变了问题的信息组织方式：过去的低阶学习结果不是历史噪声，也不是可删除项，而是后续动力学的几何约束。这个观点比 naive harmonic-by-harmonic decomposition 更 general，因为它原则上可以推广到任意由积分条件定义的 target set 附近的 singularly perturbed flow。
Method
1. 高维到低维/无限维动力学压缩：作者从两层网络 population gradient flow 出发，在 m,d -> infinity 后得到关于 a(t,omega)、s(t,omega) 的 ODE。它解决的是原始参数空间不可分析的问题；核心变化是把 feature learning 变成 Hermite 系数残差驱动的 order-parameter dynamics。
2. 常数项的快速 relaxation：对 overline{a} 构造显式 idealized ODE，证明其在 epsilon log(1/epsilon) 时间内接近 phi_0/sigma_0。这里需要 tube bound，因为 s 虽小但会通过 1/epsilon 放大扰动。它解决的是最低阶分量是否真的按预测时间尺度被锁定。
3. 线性项的双曲增长系统：centered components a_perp、s_perp 近似由 beta、gamma 控制，其中 beta=cosh theta，gamma=sqrt(epsilon)sinh theta。这解释了为什么线性项时间尺度是 sqrt(epsilon) log(1/epsilon)，也解释了 a 和 s 的尺度分离。这个机制是论文最清楚、最可迁移的部分。
4. 时间依赖 tube：不是只证明局部一致误差，而是让 tube 半径随 beta(t) 增长。它解决的是层级学习中误差尺度本身随阶段变化的问题。没有这个设计，很难在接近线性项学习阈值时保持 sharp 控制。
5. 约束流形近似：对二次项，作者不再试图显式分解真实解，而是用一般 singular perturbation lemma 说明：如果系统长期贴近由积分残差定义的 target set，那么其增量必须近似落在该 target set 的切向方向，快项等价于产生保持约束的 multiplier。这个步骤解决的是“已学分量如何继续影响后续学习”的核心问题。
Key Insight / Why It Works
最重要 insight 是：hierarchical learning 在这个模型里不是简单 curriculum，也不是网络主动选择从低阶到高阶；它是由 Hermite 展开、初始化 s=0、以及两时间尺度 epsilon 共同制造出的动力学尺度分离。低阶项之所以先学，是因为 s^k 在初始化附近按阶数抑制，高阶项初期不可见；外层快训练则迅速调整 a 来匹配当前可见的低阶残差。
常数和线性阶段有效的原因比较干净：常数项只看 overline{a}，线性项由 a_perp 和 s_perp 的耦合正反馈驱动。s 的增长让 alignment 出现，a 的快更新放大对应方向，两者形成可积分的双曲动力学。这里的核心不是 scaling trick，而是 representation alignment 的 onset 被精确写成低维 ODE。
二次阶段的核心贡献是负面的但很重要：证明 naive higher-order story 不成立。已学的 phi_0、phi_1 残差在数值上小，但因为 a、s 已经被前一阶段重标定，其贡献与 phi_2 项同阶。也就是说，层级学习的后半段不是“下一个 harmonic 独立接管”，而是“在维持旧 harmonic 的同时为新 harmonic 腾出自由度”。
这也是经验测度奇异化的来源：一小部分 neurons 需要快速增长去推动二次项，而大部分 neurons 重新排列以保持 overline{a} 和 overline{as} 不变。这个现象比单纯时间尺度分离更有信息量，因为它暗示高阶 feature learning 可能天然伴随 sparse/measure-singular dynamics。
最可能是核心贡献的是 constraint-manifold/singular-perturbation 视角；tube construction 是支撑常数和线性 sharp bound 的技术主体，但其概念增量低一些。模拟部分主要是 sanity check，不是证据核心。本文没有 retrieval、data coverage、test-time compute 或 benchmark scaling 的问题；它的增益完全来自更准确的动力学归因。
Relation To Prior Work
最接近的是 Berthier, Montanari and Zhou 的 learning time-scales 工作。本文基本沿用其 setting 和有效动力学，但把其中关于常数项、线性项的 matched asymptotic 预测严格化，并在二次项处修正其 higher-order conjecture 的简化假设。本质新增信息是：高阶学习不能通过丢弃已学低阶分量来描述。
相对 mean-field 两层网络理论，本文不是在证明全局收敛或泛化，而是在研究一个高维 latent-structure 任务中的精细有限时间轨迹。它属于 mean-field dynamics 与 high-dimensional effective dynamics 的交叉谱系，但更偏 singular perturbation/control-theoretic analysis。
相对 multi-index hierarchical learning 文献，这篇的层级性不是 support/subspace 按多项式 degree 被逐步发现，而是同一个 single-index link 的 Hermite 分量被逐步匹配，同时 teacher direction alignment 逐步增强。这个差异很关键：这里的 latent direction 在学到线性项时已经出现，后续高阶项学习是在已有 alignment 和已有函数拟合约束共同作用下发生的。
看似新的地方中，两时间尺度本身不是新思想，Lagrange multiplier 也在 matched asymptotic 中出现过；实质创新在于把这些东西组织成一个可证明的 approximation theorem for flows near integral-constraint manifolds，并用它指出 prior 的高阶简化在机制上错了。
Dataset / Evaluation
这篇不是 empirical ML paper，evaluation 主要是模拟 ODE，而不是真实数据集或 benchmark。任务覆盖范围非常窄：Gaussian single-index population model，无有限样本噪声，无真实 SGD，无有限宽网络实验。它验证的是理论 claim 的现象一致性，而不是模型泛化或实际训练性能。
模拟支持三件事：常数/线性/二次分量确实出现分离时间尺度；常数和线性阶段的 idealized dynamics 与真实截断系统贴合；二次阶段 naive 只保留 phi_2 的动力学明显偏离，而带约束的辅助系统更接近真实轨迹。这些实验足以支撑“prior simplification is wrong”的机制判断。
但 evaluation 没有验证 finite-width propagation of chaos 在这些时间尺度上成立。文中也明确相关已有 bounds 不够，除非维度和神经元数对 1/epsilon 呈指数级增长。因此如果把结论外推到实际网络训练，证据是不充分的。
Limitation
最核心限制是 asymptotic stack 很重：population gradient flow、无限宽、高维极限、Gaussian 输入、single-index teacher、Hermite 系数正、s(0)=0、外层快 epsilon 小。这些假设共同制造了干净的 hierarchy；去掉任何几个，机制是否保留文中未充分说明。
二次项只分析 onset，不是完整学习。作者识别了正确辅助系统，但这个系统本身难以定量分析，也没有构造像常数/线性阶段那样完整的 tube 到学会 phi_2。更高阶推广虽然在 Appendix B 有一般框架，但真正闭合每一阶的时间尺度和奇异测度行为仍未完成。
有限宽/有限样本是最大外推风险。二次阶段出现少量 neurons 显著增长、其余 neurons 保持约束的奇异行为，这在无限宽 measure dynamics 中可描述，但在有限 m 中可能变成粒子稀缺、方差爆炸或需要很大宽度。增益来源若迁移到实际网络，可能主要来自 scaling/overparameterization，而非一个稳定的有限网络机制。
另一个限制是 misspecification 只来自 link unknown，而 activation sigma 的 Hermite 系数被假定良好且正。实际网络中 activation、数据分布、normalization、finite-step GD 都可能改变 Hermite 阶的可见性。本文的 insight 很强，但适用边界较窄。
Takeaway
- 1. 这篇真正推动的是把 hierarchical learning 从“matched asymptotic 现象学”推进到“singular perturbation near learned-constraint manifolds”的可证明框架。
- 2. 最值得迁移的 insight：已学表示不会在后续阶段消失，它会变成约束；高阶学习必须同时优化新残差和保持旧残差。
- 这对分析多阶段 feature learning、continual refinement、甚至 representation reuse 都有启发。
- 3. 对 higher-order learning 的重要警告：不要把层级结构理解成独立模块顺序激活。
一句话总结
这篇论文在两层网络层级学习理论中给出了一个关键修正：低阶分量学会后不是可忽略项，而是约束后续 feature learning 的奇异扰动结构。