精读笔记

Problem Setting

《Landscape analysis for shallow neural networks: Complete classification of critical points for cubic activation and affine target functions》（arXiv preprint / 2026-07-17）研究的是一个经过强约束后仍然非平凡的 landscape 分类问题：单隐层 PNN，activation 为 x^d，一维输入/输出，population squared L2 loss，target 是非常数 affine function。

这篇论文真正解决的是两个层次的问题。第一，任意 degree d 下，全局 minimizer 是否存在，以及存在时需要什么结构。第二，d=3 时，所有 critical points 到底是什么类型。难点不是写出 loss，而是处理参数化带来的退化：神经元可以 inactive、semi-active、invisible；多个 neuron 可以共享 pivot；同一个 realization function 有大量等价参数；并且 local geometry 在参数空间而不是函数空间中判定。

关键矛盾是：函数类本身只是低阶多项式组合，似乎很简单；但网络参数化把它变成高度非凸、多重退化的代数簇。以前对 linear/quadratic/ReLU shallow networks 的结论不能直接迁移，因为 cubic 的 shifted monomial 结构允许 spurious local minima，但这些 minima 又只在非常特定的 pivot collapse 与 slope sign pattern 下出现。

Motivation

已有路线的问题是两类。经验风险和真实网络设置太复杂，完整 critical point classification 基本不可做；而过于线性的模型又看不到 polynomial activation 带来的真实非凸性。PNN 处在中间：它牺牲表达一般性，换来完全代数化的 loss，从而可以问一个更硬的问题：不是“有没有坏点”，而是“所有坏点在哪里”。

作者的核心观察是，monomial network 的 realization 可以写成常数加 shifted monomials 的和。对于 affine target，能否精确表示、criticality 是否成立、local type 是什么，都被 pivot 的数量、重合关系和 slope 符号控制。这里缺的是一个从 expressivity threshold 到 critical point taxonomy 的闭环：既说明 global minima 何时存在，也说明 cubic case 中 non-global local minima 是如何精确产生的。

Core Idea

核心思想是把 landscape analysis 从参数坐标转移到“pivot geometry + residual moment constraints”。active neuron 的 pivot p=-b/w 决定 shifted cubic 的中心；visible slope v w^3 决定它对 realization 的有效贡献。gradient 为零意味着 residual N_theta-f 与若干由当前 pivots 诱导的多项式方向正交。若存在多个 distinct pivots，这些正交条件会迅速生成足够多的 moment constraints，迫使 residual 为零，即 global minimizer。

因此 cubic case 的非全局 critical points 只能发生在信息维度不够的地方：所有 active pivots collapse 到一个点。解这个 one-pivot moment system 后只剩三个特殊 cubic realizations：中心点 cubic、左右两个 side cubic。再通过参数层面的 perturbation/Hessian 分析区分 local minimum 与 saddle。和 prior work 的本质区别是，它不是证明某类坏点存在或不存在，而是把坏点的 realization、pivot、activity、visibility、slope sign 全部钉死。

Method

第一，表达能力阈值。作者用 shifted monomial 的 Vandermonde 结构证明：用少于 d 个 distinct shifted degree-d monomials 加常数，不能精确表示非平凡低阶 polynomial，特别是 affine target；用 d 个 distinct pivots 则可以表示任意 degree ≤ d polynomial。这解决的是 global minimizer 是否存在的问题，也解释了为什么 width < d 时 infimum 可以是 0 但不可达。

第二，显式导数公式。loss 是参数多项式，gradient/Hessian 可直接写成 residual 与 monomial directions 的积分。这一步不是技术装饰，而是把 criticality 变成 moment orthogonality。outer bias 方向二阶导恒正，直接排除 local maxima。

第三，canonical cubic 分类。把问题先规约到 [0,1] 和 f(x)=x。若没有 active neuron，critical realization 只能是常数 1/2。若至少两个 distinct active pivots，moment 条件足以推出 residual 对 1,x,x^2,x^3 全正交，因此 realization 必须等于 identity，也就是 global minimum。若只有一个 pivot，解三条 moment 方程，得到三个特殊 cubic realizations。

第四，local type 判定。side cubic 通过构造下降方向证明是 saddle；常数 critical points 也是 saddle；中心 cubic 是否为 non-global local minimum 取决于 slope sign pattern：必须所有 hidden neurons active-visible，且恰好一个 neuron 的 slope sign 与 target slope 同向。这个条件不是附加假设，而是由 local minimality 反推出的结构。

第五，affine invariance。任意区间与任意非平凡 affine target 通过线性重标定回 canonical case。这个机制保证分类不是 [0,1], id 的偶然计算结果。

Key Insight / Why It Works

最有价值的 insight 是：PNN 的坏 landscape 不主要来自“多项式函数空间复杂”，而来自“低秩 shifted-monomial 参数化的退化边界”。当 pivots 足够分散时，gradient conditions 自动提供足够的 moment equations，残差被迫为零；坏点只能躲在 pivot collapse 的低维 stratum 上。

这也解释了为什么 cubic 有且只有这些非全局 critical structures。两个 distinct pivots 已经过强，会推出 global optimality；零个 pivot 只能产生常数投影；一个 pivot 则把问题降成三参数 cubic family 的 L2 projection，解出来正好是中心和两个 side stationary cubics。真正的局部极小还需要参数空间扰动不能把它拆开下降，这由 slope sign pattern 决定。

核心贡献不是 Hessian 公式，也不是 affine rescaling，而是把 critical point classification 归约为 pivot count 的离散分类。Hessian/perturbation 主要用于判定 saddle vs local minimum，是必要但偏工程化的证明层。Vandermonde 阈值是另一个可迁移 insight：degree d activation 要表示低阶 affine target，反而需要 d 个不同 pivots，因为必须通过高阶项 cancellation 造出低阶项。

这不是 scaling、data coverage、retrieval 或 test-time compute 的故事；它是一个 inductive bias / algebraic geometry 结果。所谓 overparameterization 在这里的作用也很具体：width ≥ d 才允许 exact cancellation；但 width 增加本身并不自动消除所有 non-global local minima，至少 cubic 中特定 collapsed-pivot local minima 仍可存在。

Relation To Prior Work

最接近的是 Cheridito-Jentzen-Rossmannek 对 affine target 下 shallow ReLU/leaky ReLU/quadratic activation 的 population landscape 分类，以及 quadratic activation PNN/overparameterization 相关工作。与 linear network “所有 local minima 都 global”不同，cubic activation 明确产生 non-global local minima；与 quadratic activation 在某些设置下无 spurious local minima 的结论也不同，cubic 的奇次结构和 pivot collapse 产生了新的坏点机制。

和 polynomial network expressivity 文献相比，这篇不是只问函数能否表示，而是把表示阈值嵌入 optimization landscape：global minimizer 存在性、minimizing sequence divergence、critical point 分类是一套连续结论。和 empirical-risk landscape 文献相比，它没有处理采样噪声或高维实际训练，但给出了更干净的 architecture-induced geometry。

看似新的部分中，Vandermonde representability 本身是经典线性代数思想的重组；真正实质创新在于把它与 gradient moment conditions、pivot degeneracy、local type perturbation 结合，得到 cubic case 的 complete classification。

Dataset / Evaluation

没有传统 dataset 或实验评测。这是 population loss 下的数学分类，evaluation 等价于定理证明。文中的数值图只是 canonical setting 下 critical realizations 和 loss values 的可视化，不承担验证 claim 的角色。

从 claim 支持度看，论文对自己严格限定的 setting 支持很强：global minimizer threshold、critical point classification、local/saddle 判定都有形式化证明。但它没有验证 empirical risk、finite sample、SGD dynamics 或真实神经网络训练中的可观测性。因此不能把结论直接解读成“实际 cubic networks 训练会怎样”。如果目标 claim 是 architecture-induced population geometry，证据充分；如果外推到 practical optimization，证据不足。

Limitation

最大限制是 setting 极窄。输入输出一维、target affine、loss 是 population L2、activation 是 pure monomial、网络只有一层，完整分类只对 cubic 成立。这些限制不是无关紧要的技术假设，而是方法成立的基础。高维输入会破坏一维 pivot 排序和 Vandermonde/moment 简化；非 affine target 会引入更多 residual modes；empirical loss 会把积分正交替换成有限样本正交，critical set 可能完全变形。

scalability 上限也明显。cubic 的 one-pivot system 已经需要大量符号计算和手工 perturbation；degree 更高时 stationary realizations 数量、退化 strata、符号模式都会膨胀。文中说这些技术可能通向 arbitrary degree，但文中未充分说明如何避免组合爆炸。

另一个隐含前提是，realization-level classification 足以控制 parameter-level local type。论文确实对 cubic 做了 perturbation 分析，但这部分对参数退化高度敏感。扩展到更复杂网络时，local minimum 可能被额外参数方向破坏，也可能出现新的 flat non-isolated structures。

最后，这篇没有讨论优化动态。知道某点是 saddle 或 non-global local minimum，并不等于知道 GD/SGD 是否会到达、逃离或长期停留。optimization relevance 仍是间接的。

Takeaway

• 1. 对 shallow PNN，width-degree relation 不是普通表达能力细节，而直接决定 global minimizer 是否存在；width < degree 时 infimum 为 0 但不可达，优化会通过参数 blow-up 逼近目标。
• 2. cubic activation 的 spurious local minima 有非常具体的来源：所有 active pivots collapse 到 interval midpoint，realization 是最佳中心 cubic approximation，且 slope signs 形成“一正其余负”的结构。
• 坏点不是随机散布在参数空间，而是低维代数退化层上的结构性产物。
• 3. pivot geometry 是分析 polynomial networks landscape 的有效坐标系。

一句话总结

这篇论文在一个极度可控的 shallow PNN setting 中，把 cubic activation 的全部 critical landscape 精确归结为 pivot 分散导致全局最优、pivot collapse 导致有限类坏点的代数机制，是 polynomial-network optimization landscape 从存在性结果走向完整结构分类的一步。