精读笔记

Problem Setting

这篇论文实际解决的是 sparse composite optimization on Stiefel 中的“识别后如何二阶加速”问题，而不是单纯提出一个新的 proximal Newton 变体。问题形式是 f(X)+g(X)，X^T X=I，其中 g 通常是 entrywise l1 或 row-wise l2,1。真正困难点在于：稀疏正则会诱导 active manifold，但这个 active manifold 与 Stiefel constraint 的交不一定 transverse；一旦非横截，识别后的 smooth restricted problem 可能没有标准 Newton 方法需要的稳定几何结构。

以前方法卡在两个地方。ManPG 的 proximal step 在 tangent affine space 上，所以 predictor 可能识别 support，但随后的 retraction 不保 support；RPN / RPNCG / semismooth Newton 类方法可以快，但 sparse Stiefel 的 active manifold ∩ Stiefel 的 constraint qualification 往往被假设掉。关键矛盾是：稀疏性希望固定 support，正交约束会混合列空间；对于 r>1，列支持不重叠或弱重叠时，正交几何和稀疏几何天然会产生非横截。

Motivation

已有路线缺的不是又一个二阶子问题，而是对“Newton 步到底应该在哪个流形上做”的回答。Euclidean composite optimization 中，partial smoothness + nondegeneracy 可以解释 proximal-gradient 的 finite identification，然后在已识别 manifold 上做 Newton。但 Stiefel 场景多了一层 retraction，直接把 Euclidean 结论搬过来不成立。

作者的核心观察是：ManPG 真正携带 active-set 信息的是 tangent proximal predictor Y_k，而不是 retracted X_{k+1}。如果围绕 Y_k 构造局部 smooth model，就可以保留稀疏结构；但固定交 St_Delta ∩ M_g(Y_k) 可能为空，因此必须让 Stiefel 约束也随 predictor 移动。这个缺口就是论文的出发点：识别理论、交叉几何、可计算 retraction 和全局 safeguard 必须同时闭合，否则 Newton acceleration 只是形式上成立。

Core Idea

论文最核心的建模改变是把“固定 Stiefel 上的 nonsmooth optimization”改写为“ManPG predictor 识别出的 moving intersection 上的 smooth Newton correction”。具体说，Y_k=X_k+V_k 已经在 tangent subproblem 中带有稀疏 support，并且满足 Y_k^T Y_k = I + Delta + V_k^T V_k。因此它天然落在 St_{Delta_k} 上，其中 Delta_k=Delta+V_k^T V_k。于是局部 Newton 不在 St_Delta ∩ M_g(Y_k) 上做，而在非空的 St_{Delta_k} ∩ M_g(Y_k) 上做。

这个设计的本质区别是：prior 通常试图在原 manifold 上直接二阶化，或在 proximal Newton 子问题里隐式处理 nonsmoothness；本文则显式把 active manifold identification 和 constraint geometry 分开处理，再用 moving constraint 把两者重新耦合。它引入的 inductive bias 是“support 由 proximal predictor 决定，orthogonality 只需在二阶近邻内修正”。这比直接 retraction-preserving sparsity 更现实，也比全局 semismooth Newton 更局部、更低维，scalability 主要来自识别后工作空间变小。

Method

第一，ManPG predictor identification。作者证明在 nondegenerate critical point 附近，如果 active manifold 与 perturbed Stiefel transverse，则 tangent proximal map T_t(X) locally single-valued、C1，并有限识别 active manifold。它解决的是“Newton model 的 support 从哪里来”的问题。必要性在于 retracted iterate 不保稀疏，只有 predictor 才是可信的 active-set carrier。

第二，off-diagonal perturbation。只扰动列间正交条件，不扰动列范数：St_Delta={X:X^T X=I+Delta, diag Delta=0}。它解决的是 sparse pattern 导致 transversality 失败的问题。核心变化是把异常交叉几何变成参数空间中的 measure-zero 事件，同时保留对原问题的 O(||Delta||) KKT 保证。这里 perturbation 是几何 regularization，不是数值 trick。

第三，clean-intersection support analysis。即使没有 transversality，只要 normal-space intersection 维度稳定，交仍是 clean intersection，可以作为 Newton 的 smooth local model。作者用 support graph、edge count gamma(Y)、2/3-row-cover condition 给出可验证条件。它解决的是“非横截但仍可做 smooth Newton”的问题，也是论文中最有迁移价值的几何部分。

第四，MIX safeguard。Newton-CG 只在 ||V_k|| 小时启动；成功则接受 projected Newton trial，否则回退 ManPG。它解决的是 local model 不可靠、TAPR 失败或投回固定 Stiefel 后目标上升的问题。全局下降不靠 Newton，而靠 ManPG fallback；Newton 只负责局部速度。

Key Insight / Why It Works

这篇论文真正有效的原因不是 Newton-CG 本身，而是把 Newton-CG 放到了一个“已经去掉 nonsmoothness、且维度显著降低”的 moving intersection 上。稀疏正则的主要作用在 ManPG predictor 中完成：support 被识别后，g 在 active manifold 上变成 smooth 或常梯度项；剩下的问题就是在交流形上的 smooth constrained optimization。这个结构一旦成立，superlinear convergence 基本是经典 Riemannian Newton 逻辑。

最核心贡献我认为是 moving intersection + clean intersection，而不是 perturbation 本身。perturbation 主要是为 identification theorem 提供 generic transversality，属于几何正则化和理论闭合工具；但实际实验中 MIX_0 往往最好，说明非扰动情况下的 empirical identification 可能已经足够。文中也承认未扰动非横截下 predictor 常能识别，但理论未覆盖。

clean intersection 的意义更实质：它说明 Newton acceleration 不一定需要 LICQ/transversality，只要 rank 稳定即可。这一点对 sparse structured manifold optimization 很重要，因为很多有意义的 sparse patterns 本来就是非横截的。support graph 把几何退化转成组合条件，这是可迁移 insight。

增益来源相对清楚：不是 scaling，不是数据覆盖，不是 hidden supervision，而是 latent structure reuse，即复用 proximal predictor 暴露出的 active manifold，并在低维 smooth model 上投入 test-time compute。可能只是 engineering 的部分包括 TAPR 三阶段 retraction、参数更新规则、tCG 接受策略；这些对稳定性重要，但不是概念核心。实验速度提升也可能部分来自实现细节和 active set 较小，并不完全归因于理论上的 perturbation / transversality。

Relation To Prior Work

技术谱系上，这篇论文在 Lewis / Wright / partial smoothness 的 active manifold identification、Bareilles-Iutzeler-Malick 的 proximal-gradient identified manifold Newton acceleration、ManPG 的 Riemannian proximal gradient、以及 RPNCG / semismooth Newton 的二阶 nonsmooth manifold optimization 之间搭桥。

和 Bareilles et al. 最接近：都是先由 proximal gradient 识别 active manifold，再在 smooth manifold 上 Newton。但本质差异是 Stiefel 约束下 predictor 与 feasible iterate 分离，且 active manifold 和 Stiefel 的交可能非横截。本文新增的是 Stiefel-specific intersection geometry 和 moving Stiefel local model。

和 RPNCG / RPN 类方法相比，本文不是直接做更强的 proximal Newton 子问题，而是先把 nonsmoothness 通过 identification 消掉，再做低维 Riemannian Newton。看似只是“ManPG + Newton-CG”，但真正新增信息是：Newton-CG 的合法工作空间如何由 predictor、support graph 和 clean intersection 确定。

和 generic perturbation / Sard-type regularization 的关系上，off-diagonal perturbation 本身是已有思想的 Stiefel 化应用；实质创新在于它只扰动列间正交，并和 ManPG identification、O(||Delta||)-KKT、moving model 串成完整算法链。

Dataset / Evaluation

实验覆盖两个典型 sparse Stiefel 场景：compressed modes 用 entrywise l1，sparse PCA 用 row-sparse l2,1。任务覆盖面合理，但仍是经典数值优化 benchmark，不是大规模真实部署场景。SPCA 的 row-sparse 情况本身 transverse，较容易体现 identified reduced Stiefel Newton；CM 更能测试非横截 sparse pattern 和 clean-intersection 机制。

实验基本支持核心 claim：MIX 在保持目标值、稀疏性和可行性相近的情况下，减少迭代并提升时间效率，尤其当解更稀疏时更明显。geometry diagnostics 也支持 rank condition 在这些样本中常成立，非零 perturbation 确实提高 full-rank transversality。

但 evaluation 没有完全隔离增益来源。RPNCGH 是主要 benchmark，其他一阶法被描述为不可靠或达不到高精度，但没有深入分析不同实现、线搜索、子问题精度对速度的影响。扰动版本有时不如 MIX_0，说明理论 perturbation 与实际性能之间不是单调关系。benchmark 主要验证局部高精度效率，不验证更广泛的泛化或极端 sparse/rank scaling。

Limitation

最关键的限制是理论依赖强局部假设。finite identification 需要 nondegeneracy、partial smoothness、finite active manifold family 和 transversality 或 generic perturbation；local superlinear convergence 还假设 sequence convergence 和 second-order sufficient condition。sequence convergence 对 MIX 本身没有完整闭环，文中未充分说明。

第二，perturbation 把问题转移了一部分。Delta 非零时求的是 perturbed Stiefel 问题，只能给原问题 O(||Delta||) KKT；而 Delta 过小可能 conditioning 差，Delta 过大又偏离原问题并改变 sparsity pattern。文中给出理论保证，但自适应选择 Delta 的原则不清。

第三，clean-intersection 条件虽然比 transversality 弱，但仍依赖 support pattern。2/3-row-cover 是 sufficient condition，不是 necessary；Bernoulli support model 只估计条件出现概率，不保证 Stiefel feasibility。实际优化过程中 support 是否自然满足这些条件，仍主要靠 diagnostics。

第四，scalability 上限来自几何算子。intersection projector、Hessian-vector、TAPR/RN-SLRA 在 r 和 gamma 上有高阶成本；当 rank 大、support 不够稀疏或 active graph dense 时，低维优势会下降。实验中高 rank l1 子问题已经出现 ill-conditioning 迹象。

第五，Newton branch 的很多稳定性来自 safeguard engineering。TAPR 三阶段策略、projection-fail 处理、lambda/t 更新规则对实际性能很重要，但理论归因与工程归因没有完全拆开。增益来源不清的部分主要在这些算法策略的组合效果。

Takeaway

• 1. 对 nonsmooth manifold optimization，真正可迁移的思路是：不要在 retracted iterate 上强求 active-set preservation，而应利用 tangent/proximal predictor 作为结构识别器。
• 2. 非横截不一定意味着不能做 Newton；clean intersection / constant-rank 可能是 sparse constrained problems 中比 transversality 更合适的局部正则性语言。
• 3. Moving local model 是关键技巧：当 fixed feasible intersection 为空或不稳定时，用 predictor 自带的二阶 constraint violation 构造非空局部交，再用 safeguard 回到原约束。
• 4. 未来真正值得做的是去掉 sequence convergence 假设、解释未扰动非横截下的 empirical identification、设计自适应 perturbation / conditioning control，并把 support-graph clean-intersection 分析推广到其他 structured regularizers 和 equality-constrained manifolds。

一句话总结

这篇论文把 sparse Stiefel optimization 中的 Newton 加速从“假设 active intersection 正则”推进到“由 ManPG predictor 识别、由 clean/moving intersection 建模、由 safeguard 保全局”的几何化二阶方法。