精读笔记
Problem Setting
论文实际处理的是 unregularized PMD 的策略序列 π_k 是否在 policy space 中收敛到某个最优策略，而不是只证明 V^{π_k} -> V^*。这个问题在多最优策略时才真正有内容：最优策略集合 Π^* 是一个 face，value convergence 只说明 suboptimal action mass 消失，并不说明 optimal actions 内部的分布是否收敛。
关键困难有两个。第一，一般 mirror map 下没有 softmax NPG 那样的乘法更新，也没有 PQA 那样的 simplex projection 显式结构。第二，未正则化 PMD 不会像 HPMD 那样通过 entropy regularization 选择 maximum-entropy optimum，所以最优面内的 drift 不能靠正则项控制。论文要解决的矛盾是：PMD 的 value descent 足以把轨迹推向最优集，但不足以保证在最优集上选定一个点；作者需要找到一个不依赖显式更新式的轨迹收敛机制。
Motivation
已有路线的缺口很明确。Lan / Xiao 类型结果给出任意常数步长下的 O(1/k) value convergence，但 O(1/k) 不可求和，不能直接推出 policy Cauchy。softmax NPG 和 PQA 的 policy convergence 依赖各自的 closed-form update，证明不可迁移。Lin-Zhang 的 general PMD finite-time 结果要求 ∇h 在整个 simplex 上存在且满足 L-coercivity，覆盖 PQA 但排除 entropy 类和部分 Tsallis。HPMD 虽然有 policy convergence，但它靠 regularization schedule 改变了问题本身。
作者的核心观察是：policy convergence 的真正控制量不是全局 objective decrease，而是最优动作和次优动作在 mirror dual coordinate ψ'(π) 中的分离速度。PMD 每一步用 Q^{π_k} 做 linearized improvement；当 π_k 已接近最优时，Q^{π_k} 的 action gap 接近 Q^* 的 gap Δ，于是 dual gap 会线性累积。剩下的问题变成：ψ' 在边界处的形状如何把 dual gap 翻译成 primal probability 的消失速度。
Core Idea
核心思想是把 PMD 的长期行为从 primal policy dynamics 转到 dual boundary geometry。作者定义 G_k(s)=min_{a^*}ψ'(π_k(a^*|s))-max_{a'}ψ'(π_k(a'|s))，证明进入局部区域后，只要次优动作概率尚未为 0，G_k(s) 每步至少增加 η(Δ-2σ)。这把 MDP 的结构性 gap 和 mirror map 的边界曲率直接耦合起来。
这与 prior 的本质区别在于，它不再利用某个特定算法的显式公式，而是用 KKT 条件抽象出所有 decomposable mirror map 的共同 dual update。镜像函数的边界可微性成为分类变量：ψ'(0+) 有界时，次优动作可以有限步 hit 0；ψ'(0+)=-∞ 时，次优动作只能渐近趋零；ψ'(1-) 是否无穷则决定 unique optimal action 需要被推到概率 1 时是否会造成 asymptotic bottleneck。这是一个比较干净的几何解释。
Method
第一步是 general criterion：若 ∑_k ||V^*-V^{π_k}||_∞ < ∞，则 π_k 在 policy domain 收敛到某个 π_∞ ∈ Π^*。这个准则的作用是把 policy convergence 从“直接证明轨迹 Cauchy”降维为“证明 value error 可求和”。证明依赖 quasi-Fejér 型 Bregman 距离控制和 Legendre Bregman divergence 的闭性性质。
第二步是 local dual-gap dynamics。利用 PMD KKT 条件，作者证明进入 ||V^*-V^{π_k}||∞≤σ 后，最优/次优 action 的 ψ' gap 按 gap Δ 线性增长。这个机制解释了所有速率：如果 φ(x)=-ψ'(x)，则次优概率大致由 φ^{-1}(ηΔ k) 控制；如果 χ(x)=ψ'(1-x)，则 unique optimal action 的剩余错误由 χ^{-1}(ηΔ k) 控制。
第三步是四类边界行为分类。Case 1：ψ'(0+)、ψ'(1-) 均有限，dual gap 有界但又必须线性增长，所以只能有限步让 suboptimal mass 变 0。Case 2：ψ'(0+)=-∞，ψ'(1-) 有限，不能有限步到 0，靠 φ^{-1} 得到局部 value bound 和可求和性。Case 3：ψ'(0+) 有限、ψ'(1-)=∞，是否有 unique optimal action 决定是否必须逼近概率 1，因此出现 MDP-dependent dichotomy。Case 4：两端都不可微，同时受 φ^{-1} 和 χ^{-1} 控制。
Key Insight / Why It Works
最重要的 insight 是：PMD 的 policy convergence 不是由全局 value rate 决定，而是由局部最优动作 gap 在 mirror dual space 中的累积决定。全局 O(1/k) 只是把轨迹带进局部区域；真正的收敛/终止来自进入局部后每一步获得一个几乎固定的 dual-margin 增量 ηΔ。
这篇论文最核心的贡献是把“policy convergence under multiple optimal policies”拆成两个可控问题：suboptimal mass 是否消失，以及 optimal face 内部是否稳定。前者由 G_k(s) 的增长和 ψ' 在 0 的行为控制；后者由 summable value error、optimal-action 内部 ψ'-score gap 的有界性和 Bregman quasi-Fejér 性控制。这个分解比直接分析 π_k 更稳，也更容易迁移到其他 mirror-type algorithms。
有限时间终止并不是一个神秘的算法现象，而是 boundary accessibility：若 ψ'(0+) 有限，dual coordinate 只需有限增量就能把概率推到 0；若 ψ'(0+)=-∞，边界在 dual space 中无限远，任何有限步都到不了。类似地，ψ'(1-)=∞ 意味着把某个动作概率推到 1 需要无限 dual effort，因此 unique optimal action 会强制渐近收敛。
这里没有 scaling、data coverage、retrieval 或 hidden supervision 的因素；这是纯 deterministic exact-control 分析。实验部分基本只是确认理论现象。若说有 engineering 成分，主要是数值求解一般 mirror update 的 bisection，但它不是理论增益来源。
Relation To Prior Work
它最接近三条线：general PMD value convergence、softmax NPG/PQA 的特例 policy convergence、以及 HPMD 的 regularized policy convergence。与 general PMD 的差异是目标从 value convergence 提升到 policy-domain convergence，并且绕过了 O(1/k) 不可求和的问题。与 softmax/PQA 特例的差异是证明不依赖显式 update，而是抽象到 decomposable Legendre mirror map 的 KKT/dual geometry。与 HPMD 的差异是没有 regularization schedule，也不选择 maximum-entropy optimum。
看似新的地方中，Bregman quasi-Fejér、Legendre boundary behavior、suboptimality gap 驱动局部速率都不是全新概念；真正新增的信息是把这些工具组织成一个统一分类理论，并指出 ψ 在 0/1 的可微性完整决定了 finite-time、asymptotic 和 MDP-dependent dichotomy。尤其 Case 3 的结论有实质性：Hellinger 这类 mirror map 的行为不能只由 mirror map 决定，还依赖 MDP 是否存在 unique optimal action。
Dataset / Evaluation
实验只使用两个 deterministic Grid World，设计目的很明确：分别制造存在 unique optimal action 与所有状态多最优动作的结构，用来展示四类 mirror map 的定性轨迹。它验证的是理论分类的可视化现象，而不是算法在复杂 RL benchmark 上的性能。
这类 evaluation 足以支持“边界几何导致不同收敛形态”的 illustrative claim，但不支持任何关于 sample efficiency、function approximation、large-scale RL 或真实部署稳定性的 claim。没有随机环境、没有估值噪声、没有神经网络策略，也没有复杂 exploration 问题。这里 benchmark 没有泄漏或数据覆盖问题，因为论文不是 empirical learning paper；但实验的外推价值有限。
Limitation
最大限制是设定非常 exact：finite tabular discounted MDP、精确 Q^{π_k}、精确 PMD update、固定常数步长、decomposable mirror map、Legendre-type ψ。现实 RL 中最关键的 sampling noise、approximate critic、function approximation、nonstationary estimates 都不在理论覆盖范围内。
decomposable 假设也很强。很多实际 policy parametrization 中的 mirror geometry 不是 action-coordinate separable 的，尤其经过 softmax 参数化、共享网络或 structured action space 后，ψ'(π(a|s)) 的坐标级 gap 分析可能不再成立。
局部速率依赖 Δ、σ、T(σ) 和若干隐藏常数。理论上说明了 asymptotic order，但实际预测能力有限；当 Δ 很小或 γ 接近 1，进入局部区域可能非常晚。finite-time termination 的上界也主要是理论性质，不一定是实际可观测优势。
文中未充分说明 limiting optimal policy 的选择机制。它证明存在 π_∞，但当最优 face 维度较高时，π_∞ 如何由初始化、η、mirror map 和 MDP transition 共同决定，仍是隐式的。这个问题对理解 unregularized PMD 的 implicit bias 很关键。
Takeaway
- 1. PMD 的 policy convergence 应该从 dual boundary geometry 理解，而不是从 value convergence rate 理解；value convergence 只是把系统带到 gap-dominated local regime。
- 2. mirror map 的边界可达性决定 qualitative behavior：boundary finite in dual space => finite-time hitting；boundary infinite in dual space => asymptotic approach。
- 这一视角可以迁移到其他 constrained first-order dynamics。
- 3. 多最优策略不是技术细节，而是 policy convergence 的核心困难。
一句话总结
这篇论文把 unregularized PMD 的策略收敛从若干显式更新特例提升为一套由 mirror map 边界几何驱动的统一理论，真正贡献是解释并证明了不同 Legendre mirror map 下 finite-time、asymptotic 与 MDP-dependent convergence 的机制。