精读笔记
Problem Setting
[CADMM-Prox: A Bi-level Consensus ADMM for Non-smooth Non-convex Distributed Consensus Optimization]（arXiv preprint / 2026-07-21）
这篇论文处理的是中心协调式 distributed consensus optimization：所有 agent 有本地变量 x_i，通过共享全局变量 y 达成 consensus，目标是最小化 sum_i f_i(y)。真正有挑战的是 f_i 同时允许非光滑和非凸，只假设 closed、proper、bounded below、alpha-semi-convex。
困难点不是 consensus ADMM 的形式，而是 Jacobi 并行更新下缺少一个可用的下降对象。凸 ADMM 可以靠凸性和 saddle-point 结构，smooth nonconvex ADMM 可以靠 Lipschitz gradient 给出的二次下降项，Gauss-Seidel 更新也能提供某种顺序稳定性；但非光滑、非凸、Jacobi 三者叠在一起时，augmented Lagrangian 的下降证明基本断掉。
因此本文的关键矛盾是：既要保留 consensus ADMM 的并行局部更新和低通信结构，又要避免直接证明非凸非光滑 ADMM 的全局收敛。作者的解法是让 ADMM 只在凸 surrogate 上工作，把非凸性放到外层 proximal 机制中处理。
Motivation
已有路线不够的原因很明确：它们通常至少借助 convexity、smoothness 或 Gauss-Seidel 更新之一。对非光滑非凸问题，很多分析需要一个光滑项提供 Lipschitz-gradient descent；没有这个项时，非光滑部分的波动无法被 augmented Lagrangian 稳定吸收。Jacobi 更新进一步削弱了控制力，因为所有 agent 同时更新，缺少 serial ADMM 中逐块下降的结构。
作者的核心观察是 semi-convexity 给了一个全局凸化入口：f_i 本身可以非凸，但 f_i(x)+gamma/2||x-z||^2 在 gamma 足够大时是强凸的。也就是说，不必平滑目标，也不必把 update 改成 Gauss-Seidel；可以通过外层变量 z 定义一系列强凸 consensus 子问题，然后把 classical consensus ADMM 放进去。
关键缺口是：如何让这些 convex surrogate 的解不是只在 surrogate 上有意义，而是能推动原始目标下降。本文用 Phi(z,z)=sum_i f_i(z) 这个等式和 Phi(z,y)<Phi(z,z) 的接受准则闭合了这个缺口。
Core Idea
核心思想可以理解为一个 consensus ADMM 版本的 proximal point / majorization 机制。固定外层点 z 后，原问题被替换为 sum_i [f_i(x_i)+gamma/2||x_i-z||^2]，并保持 x_i=y 的 consensus 约束。这个问题由于 semi-convexity 变成强凸，因此内层 ADMM 不再面对非凸性，只需要解决一个标准凸 consensus 问题。
外层的作用不是复杂优化，而是接受一个使 surrogate merit 下降的 y，然后把 z 更新为 y。由于 Phi(z,z) 恰好等于原目标在 z 处的值，而 Phi(z,y) 等于原目标在 y 处加上到 z 的 proximal penalty，接受条件实际蕴含了原目标的带平方步长下降。这是全文最核心的建模变化：它没有增强 ADMM 本身，而是重新组织了 ADMM 的任务边界，让 ADMM 做它能证明的凸问题，让 proximal 外层承担非凸下降。
与 prior 的本质区别在于，prior 多是在原始非凸 ADMM 轨迹上找 Lyapunov 或 augmented Lagrangian 下降；本文是直接改变每个内层问题的曲率，使收敛证明退回到 convex ADMM，再用外层下降连接回原问题。
Method
第一，proximal convexification。每个 f_i 被替换为 F_i^z(x_i)=f_i(x_i)+gamma/2||x_i-z||^2。它解决的是非凸非光滑局部子问题不可控的问题；需要它是因为 Jacobi ADMM 对一般非凸非光滑块更新没有全局收敛保证；核心变化是内层问题从非凸变为强凸，但代价是引入外层点 z 的局部化偏置。
第二，inner consensus ADMM。固定 z 后，内层执行标准 x_i、y、lambda_i 更新。它解决的是 consensus 约束和分布式并行求解问题；需要它是因为作者希望保留 classical consensus ADMM 的 Jacobi 更新结构；核心变化是 ADMM 不再直接优化 f_i，而是优化已经凸化的 F_i^z。
第三，outer acceptance criterion。内层不要求精确收敛，只要找到 y 使 Phi(z,y)<Phi(z,z)。它解决的是精确内层求解成本过高的问题；需要它是因为理论只需要足够下降，不需要完整求解 surrogate；核心变化是把内层停止条件和原目标下降直接绑定。
第四，outer update z<-y。它解决的是 surrogate center 如何移动的问题；需要它是因为固定 z 的 surrogate 只是局部化问题，不更新 z 就不会回到原始目标；核心变化是 proximal 项在新点处消失，Phi(y,y) 又回到原目标值。
Key Insight / Why It Works
真正有效的原因是 semi-convexity 与 proximal 项之间的精确匹配。semi-convex 函数虽然非凸，但负曲率有全局上界；gamma 大于这个上界后，所有局部目标在内层都被强凸化。这让最棘手的非凸非光滑 Jacobi ADMM 收敛问题被绕开，而不是被直接解决。
最核心贡献不是内层 ADMM，也不是 bi-level 这个形式，而是接受准则带来的下降不等式：Phi(z^{k+1},z^{k+1}) < Phi(z^k,z^k) - gamma N/2 ||z^{k+1}-z^k||^2。这个式子把 surrogate 下降转化为原目标下降，并且给出平方步长可求和。理论上它只需要内层达到一个严格下降点，因此比精确 proximal point 更轻。
但这也说明增益很可能主要来自 proximal damping，而不是来自新的 ADMM 动力学。稳定性改善并不神秘：强二次项压制了非凸振荡，内层又在凸问题上运行，自然更稳定。所谓“Jacobi non-smooth non-convex ADMM convergence”更准确地说是：通过外层 proximal convexification，把每次 Jacobi ADMM 调用限制在凸子问题上，再证明外层下降。
它不是 scaling、retrieval、memory reuse 或 representation alignment 类型的贡献；更接近 better inductive bias / regularized geometry：用二次 proximal center 强行规定每轮可接受移动的几何形状。辅助部分是内层 ADMM 的 O(1/t) 收敛引用和 phase retrieval 实验；核心是 semi-convex convexification 加 Phi 的下降连接。
Relation To Prior Work
这篇属于 augmented Lagrangian / ADMM 与 proximal point / weakly convex optimization 的交叉谱系。最接近的是非凸非光滑 ALM、Moreau envelope ALM，以及已有 nonconvex ADMM 收敛工作。区别在于这些工作常需要 smooth component、Gauss-Seidel 更新、prox-regular 局部条件或较复杂的 ALM 参数机制；本文选择更强的全局 semi-convex 假设，换取更干净的 convex surrogate 和 Jacobi consensus ADMM。
看似新的部分包括 bi-level CADMM-Prox 框架，但思想上并不是全新范式：用足够大的 proximal 项凸化 weakly convex 函数，是标准 proximal / Moreau envelope 直觉；用 ADMM 解凸 consensus 子问题也是已有工具。实质新增在于把这两者组合成一个针对 distributed consensus Jacobi ADMM 的收敛闭环，并用简单接受准则避免精确内层求解。
所以它不是对 classical ADMM update 的根本改造，而是对问题分解方式的改造。本文真正新增的信息是：在 semi-convex 这个假设下，非光滑非凸 distributed consensus 可以通过“外层 proximal descent + 内层 convex consensus ADMM”获得全局稳定性，而不必证明原始非凸 ADMM 本身收敛。
Dataset / Evaluation
实验只覆盖 phase retrieval，一个典型 weakly convex、非光滑非凸问题。设置规模很小，N=50、n=5，更像 proof-of-concept，而不是对 distributed scalability 的压力测试。没有跨任务、跨问题族、真实系统部署、异步通信、稀疏高维统计学习或控制场景验证。
评估指标主要看 y 和 x_i 相对 ground truth 的 infinity norm 误差，并与一个缺少理论保证的 Jacobi consensus ADMM 数值版本比较。结果支持的 claim 是“proximal 版本振荡更少、更稳定”，但不充分支持“广泛适用于非光滑非凸分布式优化”或“总体效率更好”。
文中没有系统展示内层迭代成本、外层次数、gamma/rho 敏感性、alpha 估计误差影响，也没有比较更强的 proximal/ALM baseline。因此实验对核心理论 claim 是辅助性展示，对实际工程优势的证明较弱。增益来源不清，可能主要来自 proximal damping/scaling。
Limitation
最大前提是全局 alpha-semi-convexity。这个假设比 prox-regularity 更强，且实际问题中 alpha 往往不好知道；gamma 选小会破坏凸化，选大则 surrogate 被 proximal 项主导，外层可能变慢。文中未充分说明 alpha 的实际估计和 gamma 的鲁棒选择。
第二个限制是理论结论偏弱。Theorem 1 证明的是 ||z^{k+1}-z^k|| -> 0，本身不等于收敛到 stationary point；Remark 2 中“邻域 generalized stationary point”的表述依赖内层停止和外层 epsilon，但邻域大小、stationarity residual、复杂度界都不清晰。这里的“global convergence”需要谨慎理解，不能按强 stationary convergence 解读。
第三，复杂度可能被转移到内层。论文强调单次内层 update 不增加复杂度，但 bi-level 方法的真实成本取决于每个外层需要多少 ADMM 迭代才能满足 Phi(z,y)<Phi(z,z)。如果 gamma 大、rho 不合适或问题条件数差，内层成本可能显著增加。
第四，方法仍是中心协调式 distributed，不是 fully decentralized。它没有处理网络拓扑、异步通信、通信压缩、agent dropout 等真实分布式部署问题。Jacobi 更新解决的是并行 block update，而不是完全去中心化。
第五，实验不足以排除简单解释：稳定性提升可能只是 proximal damping 的结果，而非 CADMM-Prox 作为框架带来的更深优势。
Takeaway
- 最值得记住的第一点是：对 weakly convex/semi-convex distributed consensus 问题，直接证明非凸 ADMM 收敛未必是最有效路线；把每轮问题凸化后复用 convex ADMM，可能是更干净的理论路径。
- 第二，本文的核心 insight 可以迁移到其他分布式约束优化：如果原目标的非凸性有全局曲率上界，就可以把非凸性外包给 proximal center，把分布式 solver 限制在凸 surrogate 上运行。
- 第三，未来真正值得做的是总体复杂度和 stationarity residual，而不是再展示稳定曲线。
- 需要回答：内层停止成本如何随精度、gamma、rho、N、条件数增长；最终点距离何种 generalized stationary condition 有多近。
一句话总结
CADMM-Prox 在非光滑非凸 Jacobi consensus ADMM 方向上的位置，是用 semi-convex proximal convexification 把原问题转化为一串可由标准 convex consensus ADMM 求解的 surrogate，从而以问题重构而非 ADMM 动力学创新获得弱全局稳定性保证。