精读笔记
Problem Setting
[论文标题] PnP-IPA: A Provably Convergent Plug-and-Play Inexact Proximal Algorithm for Nonconvex Imaging Problems（arXiv preprint / 2026）
这篇论文解决的不是一般意义上的图像复原，而是 GS-denoiser PnP 框架里的优化可证明性与实际可调参之间的冲突。已有 Prox-PnP 类方法已经能把特定 denoiser 解释成某个隐式正则项的 prox，但这个解释只在非常受限的算法形式下可用：步长固定、lambda 受 Lipschitz 常数约束、非凸 data fidelity 时尤其脆弱。
关键矛盾是：真实 imaging inverse problem 中最想调的是 data fidelity 与 prior 的 trade-off，尤其低噪声或重尾噪声场景下需要让 fidelity 发挥作用；但已有理论为了收敛会把 lambda 限制到几乎不可用的范围。Cauchy fidelity 这类非凸且梯度 Lipschitz 常数巨大的情况，会把这个矛盾放大到非常明显。
真正困难不在于写一个新的 PnP update，而在于：scaled implicit regularizer 的 proximal 没有闭式解，隐式正则项也不能在任意点方便评估；因此传统 forward-backward line-search 所需的 exact prox 和 exact objective evaluation 都缺失。
Motivation
作者看到的缺口很明确：GS denoiser 给了 PnP 一个优化解释，但现有算法没有充分利用这个结构。此前路线基本把 D_sigma=prox_phi 当成固定尺度的黑盒 prox 来用，这导致 step-size 和 lambda 被绑死；一旦需要 prox_{tau phi} 且 tau != 1，闭式就消失了。
所以 motivation 不是“让 PnP 更强”，而是“把 GS denoiser 的隐式正则结构重新组织成一个可做 inexact proximal optimization 的形式”。核心观察是 phi_sigma 在 denoiser image 上有 Fenchel-dual 表达：h_sigma^*(x)-||x||^2/2。这个表达提供了绕开 prox_{tau phi} 的入口。
缺的是一个同时满足三件事的机制：允许任意 lambda；允许非凸 f_data；在不能精确评估 f1 的情况下仍能做 line-search。PnP-IPA 本质上是在补这个 optimization-theory 缺口。
Core Idea
核心思想是换 splitting，而不是换 denoiser。论文把目标 f_data + lambda phi_sigma 改写为 f_data(x)-lambda||x||^2/2 + lambda h_sigma^*(x)。这一步很关键：原来难缩放的 weakly-convex implicit regularizer 被拆成一个 smooth possibly nonconvex 项和一个 convex conjugate 项。于是问题重新进入非凸 composite optimization 的范式。
随后，算法不直接计算 prox_{alpha lambda h_sigma^*}，而是用 Moreau decomposition 转成关于 h_sigma 的 primal 强凸内问题。由于 grad h_sigma = D_sigma，内层优化只需要调用 denoiser。直觉上，这把 denoiser 从“外层一步 update”变成“定义 proximal geometry 的 oracle”。这个改变比表面上的 inexact prox 更重要：它使 lambda 和 step-size 不再受 prox_phi 固定尺度限制。
和 prior 的本质区别是，Prox-PnP 依赖 D_sigma 自身就是某个固定 prox；PnP-IPA 则利用 GS denoiser 背后的 convex dual structure 来构造可变尺度的 inexact prox。它不是更强的 prior，而是更灵活的优化接口。
Method
1. Dual splitting：解决 scaled prox 不可算。通过 phi_sigma = h_sigma^* - ||x||^2/2，把目标拆成 f0=f_data-lambda||x||^2/2 和 f1=lambda h_sigma^*。代价是 f0 更非凸，但收益是 f1 convex，forward-backward 框架可以恢复。
2. Inexact denoising-prox：解决 prox_{h_sigma^*} 无闭式。用 Moreau decomposition，把 backward step 变成最小化强凸 G_k(p)。因为 grad G_k 可由 D_sigma 表达，内层只需 denoiser evaluation。输出 y=D_sigma(p)，确保 y 处的 h_sigma^* 可以通过 Fenchel-Young 关系计算。
3. Adaptive residual rule：解决 inexactness 对收敛证明的影响。内层停止条件不是固定 tolerance，而是把 ||grad G_k||^2 绑定到 surrogate descent Delta_tilde。这样误差大小随当前下降需求自动收缩，避免“prox 近似太粗导致方向不降”。
4. Surrogate merit + line-search：解决 f1 在任意插值点不可精确评估。维护 U^k >= f1(x^k)，用 Phi=f0+U 替代真实 F 做 Armijo-like 条件。这个机制是论文里最工程化但也最必要的部分：没有它，variable step-size 基本无法被理论接住。
5. KL convergence embedding：最终证明不是重新发明收敛理论，而是把上述构造嵌入已有 inexact forward-backward KL 框架，得到有界序列全局收敛到 stationary point。
Key Insight / Why It Works
最核心的有效性来自重新选择优化变量与 splitting，而不是来自更好的 denoiser。GS denoiser 的结构 D=Id-grad g=grad h 让 h 强凸，因此 h^* convex smooth；这使得原本难处理的 implicit regularizer 可以通过 conjugate prox 被访问。换句话说，论文把 PnP 的“denoiser prior”变成了一个可以被 proximal calculus 操作的对象。
真正贡献最大的部分是 surrogate merit function。因为 h_sigma^* 只能在 D_sigma(p) 这类点上方便算，普通 line-search 会失效；作者维护 U^k 作为 f1(x^k) 的上界，用 convexity 保证下一步仍有 upper bound。这是把不可评估目标上的下降条件转译成可计算下降条件，属于 optimization plumbing，但不是可有可无的 engineering。
实证增益最可能主要来自解除 lambda 约束后的 better parameter regime，而不是 algorithmic magic。低噪声 Gaussian 和 Cauchy 中，prior 方法被理论约束压到 suboptimal lambda，PnP-IPA 可以调到更符合任务的 fidelity/prior trade-off，因此 PSNR 提升合理。这里的收益更像 parameter scaling freedom，而不是 representation 或 denoiser 能力提升。
内层 prox 的实际开销很小是一个重要经验现象，但目前更像 task-dependent engineering observation。文中说 Gaussian 平均 2 次、Cauchy 约 1 次内层迭代，这对效率很关键；但为什么普遍成立没有理论闭合。若换更复杂 forward model、更强 denoiser或更难退化，这部分可能成为瓶颈。
这不是 retrieval、memory reuse 或 data coverage 型方法；它主要是优化结构重排。深度模型能力仍来自已有 GS denoiser 训练，论文没有新增 image prior 的表达能力。它真正迁移价值在于：当 learned operator 只有某种受限尺度/受限域的 variational interpretation 时，可以尝试通过 dual representation 和 surrogate merit 把它接入更一般的 inexact optimization。
Relation To Prior Work
最近的是 Hurault 系列 GS denoiser / Prox-PnP / alpha-Prox-PnP。那些工作提供 denoiser-as-prox 的理论地基，但算法层面仍受固定尺度 prox 和 lambda 条件限制。PnP-IPA 的新增点是把同一个隐式正则项改写成 h^* splitting，并用 inexact prox + line-search 消化尺度问题。
和传统 PnP-FB 的差异是，传统 PnP 直接把 denoiser放在外层迭代中，通常难以对应明确目标；PnP-IPA 始终围绕 F=f_data+lambda phi_sigma 的 stationary point 证明运行。它牺牲了 denoiser 任意性，换取明确 objective。
和 RED/gradient-denoiser 路线相比，它不是把 denoiser输出硬解释成梯度，而是利用 GS denoiser 已经满足的 proximal/conjugate geometry。与一般 inexact proximal-gradient / PHILA 类工作相比，它的理论骨架并不全新，实质创新是把这些 abstract inexact line-search 条件具体适配到 neural implicit regularizer 的可计算结构上。
所以这篇属于“variationally grounded PnP + inexact nonconvex proximal optimization”的谱系。看似新的是 PnP algorithm，实质新增的信息是：GS denoiser 的 Fenchel-dual 表达可以支撑可变尺度、可 line-search 的 PnP。
Dataset / Evaluation
实验集中在 deblurring：Gaussian 高噪声、Gaussian 低噪声、Cauchy 重尾噪声。任务设计是有针对性的：高噪声用于说明不劣于已有 provable PnP；低噪声用于触发 lambda 约束瓶颈；Cauchy 用于验证非凸 fidelity claim。这个 evaluation 对核心理论卖点是对齐的。
但覆盖范围较窄。主要是合成退化、固定 blur kernels、小规模 cropped images，没有真实相机 pipeline、未知退化、多模态 inverse problem 或大规模任务族。DPIR 在 Gaussian 下仍更强，说明 PnP-IPA 的价值不是 SOTA perceptual restoration，而是 provable PnP 在 constrained regimes 的改进。
Cauchy 实验比较有说服力，因为它确实制造了已有 Prox-PnP 理论参数极端保守的场景。但也要注意，这个 benchmark 很适合展示 PnP-IPA 的优势；是否代表真实 heavy-tailed imaging deployment，文中未充分说明。
实验没有充分隔离“line-search/inexact prox 机制”与“lambda 可自由调”的贡献。当前结果更支持“解除参数约束很有用”，而不是证明每个算法组件都带来独立收益。
Limitation
最大限制是理论依赖 GS denoiser 的全局 Lipschitz / strong convexity 条件，而实际网络只是在训练中 soft penalize 相关谱范数。论文自己也承认实际约束只能近似成立。因此严格定理证明的是理想化 denoiser 下的算法，而不完全是实验中网络的真实行为。
方法没有提升 denoiser prior 的表达能力，只是更好地使用已有 GS prior。若 GS denoiser 本身弱于 diffusion/flow/大型 restoration prior，那么 PnP-IPA 的上限仍受这个 prior 限制。未来扩展到非 GS denoiser 并不直接，因为核心推导依赖 D=grad h 和 h^* 可计算结构。
可扩展性未完全证明。内层强凸问题在本文中很便宜，但这是经验观察；更大图像、更复杂 physics、更严格 tolerance 或 denoiser evaluation 更贵时，test-time compute 可能显著增加。所谓效率优势目前只在较窄设置中成立。
增益归因不够干净。低噪声和 Cauchy 的主要提升很可能来自更自由的 lambda tuning，即 scaling / parameter regime，而不是算法产生了更好的 optimization landscape。文中没有足够 ablation 来证明 surrogate merit 或 alpha schedule 各自贡献。
另一个隐含上限是 stationary point guarantee 本身。非凸 fidelity + nonconvex implicit regularizer 下，收敛到 stationary point 不等价于好解；实验中好解依赖 initialization、denoiser prior 和调参。理论排除了发散，但没有解决 bad stationary point 问题。
Takeaway
- 1. 这篇真正推动的是 provable PnP 的算法可调性：从固定尺度 prox 走向可变尺度、可 line-search、可处理非凸 fidelity 的 inexact proximal framework。
- 2. 最可迁移的 insight 是 dual/surrogate 思路：当 learned prior 的真实正则项难以直接评估或缩放时，可以寻找 conjugate-side 可计算结构，并用 upper-bound merit 替代 exact objective。
- 3. PnP 理论的下一步不应只追求更复杂 denoiser，而要解决“强 prior + 可证明优化接口”之间的结构匹配。
- 没有类似 GS 的 variational handle，很多漂亮 denoiser 很难进入这种证明体系。
一句话总结
PnP-IPA 是 GS-denoiser PnP 从固定步长可证明算法向可变尺度 inexact proximal optimization 演化的一步，核心贡献不是更强图像 prior，而是解除正则参数与非凸 fidelity 上的优化约束。