精读笔记
Problem Setting
论文研究的是 deep Ritz method 求解高维 stationary Schrödinger equation 时的 feature learning，而不是传统意义上的 PDE approximation rate。具体对象是 -Δu+u=f、Neumann 边界、单位球区域；训练目标是 Ritz energy，假设函数是 single-index 或二神经元 squared-ReLU 模型。
真正困难点在于：即使 f 是 single-index，PDE 解 u* 通常也不是同一个 single-index 函数。也就是说，网络学习的 feature direction 并不是 supervised setting 中直接拟合 target 的方向恢复，而是在 variational energy、梯度项、source coupling 共同作用下的隐式方向选择。这个 mismatch 使问题天然 agnostic，也使得现有 single-index regression 的结论不能直接搬过来。
以前 neural PDE 理论多数处理“能不能表示”“泛化误差多大”“overparameterized GD 是否收敛”，但很少回答有限宽网络是否真的移动 feature、feature 会对齐什么对象、什么时候会 collapse。本文的关键矛盾就是：PDE 解结构比假设类复杂，但 deep Ritz loss 仍可能通过 source term 暴露低维方向；问题是这个方向信号是否足够强，以及优化是否能捕获它。
Motivation
已有路线不够的地方很明确：NTK 分析基本处在 lazy regime，能说明函数值拟合但不能解释 representation movement；mean-field 分析处理无限宽分布动力学，离有限神经元的 feature selection 还有距离；Barron/Sobolev approximation 与 generalization 结果说明存在性和样本复杂度，但不解释训练过程如何发现方向。
作者的核心观察是，deep Ritz loss 虽然不是普通 regression loss，但对某些低维结构 source term，它诱导的能量核仍然保留了关于 feature angle 的可计算信号。换句话说，PDE variational objective 本身可能具有 feature alignment bias，而不只是一个黑盒非凸 loss。
关键缺口是 finite-width PDE solver 的 representation learning theory。论文选择极简架构不是为了实用，而是为了把“feature 是否出现”从过参数化平均场和工程训练细节中剥离出来，变成一个可证明的 landscape 问题。
Core Idea
核心思想是把 deep Ritz 中的 feature learning 降维为角度动力学。single-index 情况下，参数只剩单位向量 w，Ritz gradient 投影到球面切空间后，其方向信息可以和最优 single-index feature w* 的夹角关联起来；作者证明在 agnostic setting 下，即使真实解不在假设类中，Riemannian GD 仍能把 loss 推到常数倍 OPT 附近。
二神经元部分更像是论文的机制实验：假设第一个 feature 已经对齐 source direction，研究第二个 feature 会不会重复同一方向，还是偏离成新方向。通过把 outer weights 解析消去，loss 变成 θ=angle(w*,w2) 的一维函数。正则项改变的是两个 neuron 之间共享 source 信号和承担 residual 结构的方式：强 joint regularization 倾向 feature collapse，单独惩罚 a2 则迫使第二个 neuron 以偏离方向承载额外结构。
本质区别在于它不是证明大网络最终能近似 PDE 解，而是证明特定 PDE loss 在有限 feature 参数上会产生可解释的 direction selection。这是一种 representation alignment / landscape geometry 的分析，而不是 scaling 或 overparameterization 结果。
Method
第一，Ritz energy 到 H1 shifted loss 的等价化。它解决的是“energy minimization 是否真对应解逼近”的问题；必要性在于后续要把 optimization loss 与 u* 的 H1 距离联系起来。核心变化是把 PDE residual 相关问题转成可比较的函数空间距离，同时实际梯度仍可用已知的 f 计算。
第二，single-index squared-ReLU 假设与球面 Riemannian GD。它解决的是有限 feature direction 的优化分析问题；需要 squared-ReLU 是因为普通 ReLU 会带来不可微和梯度项处理问题。核心变化是把网络训练压缩成球面上一个方向参数的非凸优化，并用 angle contraction / sharpness 控制收敛。
第三，agnostic-to-realizable decomposition。作者把真实 agnostic gradient 分解为 realizable single-index gradient 加上由 OPT 控制的偏差项。它解决的是真实 PDE 解不在假设类内的问题；必要性在于如果不能控制 mismatch，feature alignment 结论只在 toy realizable case 成立。核心变化是把不可实现性变成常数倍 OPT 的误差，而不是让理论完全失效。
第四，二神经元模型中的 kernelization 与 outer-weight elimination。它解决的是多 feature landscape 难分析的问题；通过闭式最优 a，把问题降为角度 θ 的一维 loss。核心变化是 feature emergence 被转写成正则化角度核的局部/全局极小点结构。
第五，两种正则方式的对照。joint penalty on a 与 only-a2 penalty 不是普通 ablation，而是机制变量：它改变了已对齐 neuron 和新 neuron 在承担 source fitting 与 residual fitting 时的竞争关系。论文最有信息量的结论就在这里。
Key Insight / Why It Works
最核心的有效性来源是 representation alignment，而不是 scaling。Ritz energy 中的 source coupling 项 -2fu 会把 f 的低维方向注入 loss；同时梯度能量项 |∇u|² 对不同 feature angle 施加几何约束。对于 squared-ReLU 和单位球分布，这些项形成显式的 arc-cosine 型角度核，使 feature alignment 可以被精确分析。
single-index agnostic 结论成立的关键不是网络真的表示了 PDE 解，而是 mismatch 被 OPT 控制：如果最优 single-index approximation 已经不差，那么 agnostic gradient 与 realizable gradient 的偏差不会破坏朝 w* 的角度收缩。这里的“global-ish convergence”应理解为相对 OPT 的常数近似，不是求解 PDE 的全局最优，也不是避免所有非凸困难。
二神经元中的 feature emergence 更有洞察：第二个 feature 是否偏离 source direction 不是由表达力自动决定，而是由正则化如何分配 outer weights 决定。joint regularization 过强时，两个 neuron 倾向共享同一方向，因为分化的收益抵不过权重惩罚；只惩罚 a2 时，第一个已对齐 neuron 相当于廉价地吸收主 source 分量，第二个 neuron 则在角度核诱导下偏向一个非零角度，像是在学习 PDE solution 相对 source 的附加结构。
我认为最实质的贡献是：它把“finite-width neural PDE solver 是否 feature-learn”这个通常很模糊的问题，变成可计算的 landscape phase transition。辅助部分是 agnostic GD 收敛定理，其保证较弱，常数很大，且依赖初始化在 w* 半球内；它更像是为论文建立 optimization legitimacy，而不是最终 insight。
增益不是来自 data coverage、retrieval、test-time compute 或 benchmark trick，而是来自更好的 inductive bias 分析：PDE variational form 本身对 feature direction 有 bias。不过这个 bias 在多大程度上存在于真实 deep Ritz 网络中，文中未充分说明。
Relation To Prior Work
最接近的技术谱系有三条：deep Ritz / neural PDE solver 理论、single-/multi-index feature learning、以及 arc-cosine kernel / high-dimensional two-layer landscape 分析。论文的本质新意是把第二、三条移植到第一条，但不是简单套用，因为 deep Ritz loss 含梯度项和 PDE source coupling，目标不是 supervised labels。
相对 NTK/PINN/overparameterized convergence 工作，它的差异是主动进入 feature-learning regime：参数方向真的移动，分析对象是 feature alignment，而不是固定随机特征附近的函数空间线性化。相对 mean-field neural PDE 工作，它强调有限宽、甚至一两个 neuron 的机制，而不是无限宽粒子分布的收敛。
相对 standard single-index regression，主要新增信息是 agnostic PDE mismatch 的处理：source term 可能低维，但 solution 不在假设类中。论文说明在 deep Ritz energy 下，source 的方向仍可能被 recovery。这一点是实质创新。
看似新的部分中，二神经元核化和消去 outer weights 与已有 two-layer kernel/feature learning 分析在形式上接近；真正新的不是数学工具，而是将其用于 PDE variational loss 后得到的正则诱导 feature emergence / collapse 解释。
Dataset / Evaluation
evaluation 基本是理论配套的 synthetic landscape visualization，不是实际 PDE benchmark。实验画出了 limiting loss 和有限 d=2 loss 随 θ、ξ 的形状，并比较了 squared-ReLU、sigmoid、GELU 的角度 landscape。它验证的是闭式公式和相变直觉，而不是 deep Ritz solver 在高维实际问题上的性能。
任务覆盖范围很窄：单一 PDE 类型、单位球、构造型 single-index source、二神经元模型。没有跨 PDE、跨边界条件、真实物理数据、复杂 domain 或实际大网络训练结果。它不支持“该机制普遍解释 neural PDE solvers”的强 claim，只支持“在这个可解析模型中，正则与 Ritz loss 确实能诱导 feature 分化”。
实验部分没有明显 benchmark leakage 问题，因为它并不是 benchmark-driven paper。但 evaluation 的外推能力有限：数值图主要是在验证定理，而不是挑战定理。实际训练中 stochasticity、finite sample、未固定第一 feature、多 neuron interaction 是否保持同样结构，文中未充分说明。
Limitation
第一，核心结论高度依赖可解析设定。单位球均匀分布、squared-ReLU、single-index source、线性 Schrödinger operator 共同保证角度核可闭式计算；换成一般 domain、非均匀采样或不同 activation，landscape 可能完全变形。文中 sigmoid/GELU 图已经显示 activation 会改变最优角度，这说明机制不是 architecture-agnostic 的。
第二，二神经元 feature emergence 的分析固定了 w1=w*。这绕过了最难的问题：网络如何先找到第一个 feature，以及两个 feature 同时训练时是否会出现相同 landscape。作者提到正权重情形下可证明有一个 feature 对齐，但完整动态没有展开。
第三，single-index agnostic GD 的保证是常数倍 OPT 加误差，且初始化要求 angle(w0,w*) 在半球内。常数很大，sample complexity 也不是重点优化对象。它更像理论可行性证明，而不是强优化保证。
第四，所谓“第二 feature emergence”未必等价于真实 PDE 解的有效 latent factor。它可能只是 squared-ReLU arc-cosine kernel 与正则项共同造成的几何极小点。这个 feature 是否在实际 PDE approximation 中带来可迁移收益，增益来源不清。
第五，scalability 上限未解决。多神经元时 feature interaction 会从一维 θ landscape 变成高维角度矩阵，局部极小、permutation symmetry、weight sharing 都会显著复杂化。当前分析不能直接说明实际 deep Ritz 网络的 feature hierarchy。
Takeaway
- 1. 这篇论文最值得记住的是：deep Ritz loss 本身可以携带 feature-direction signal，PDE solver 的 representation learning 不一定只能靠 overparameterization 或数据规模解释。
- 2. agnostic mismatch 是 neural PDE feature learning 的核心障碍；source 低维不代表 solution 低维，但 variational objective 仍可能让 source direction 成为可学习方向。
- 3. 正则不是附属训练技巧，而会直接改变 feature landscape：它决定多个 neuron 是 collapse 到同一 feature，还是分化出新方向。
- 这个 insight 可迁移到其他有限宽 scientific ML 模型。
一句话总结
这篇论文是 finite-width neural PDE solvers 的 feature-learning 机制分析：它用 deep Ritz energy 的角度 landscape 证明了 source-aligned feature recovery 和正则诱导的 feature emergence / collapse，但目前仍主要停留在高度可解析的 toy theory 层面。