精读笔记

Problem Setting

论文处理的是 empirical multi-objective learning 中 stochastic MGDA 的方向偏差问题。MGDA 本身通过求解 min_{λ∈Δ} ||∇F_S(x)λ||^2 得到 common descent / conflict-avoidant direction；随机版本把全量梯度矩阵换成 mini-batch 梯度矩阵 Q。真正困难不在于 Pareto stationarity 的定义，而在于 d_Q = -Qλ_Q^* 是 Q 的非线性投影映射：梯度估计无偏并不意味着方向无偏，也不意味着方向误差按梯度噪声线性缩放。

以前 SMG 分析卡在 CA direction map 的 1/2-Hölder continuity。也就是说，梯度矩阵扰动 ε 可能被放大成方向扰动 sqrt(ε)。这会直接劣化 stochastic convergence rate。关键矛盾是：MGDA 需要动态选择 λ 来避免冲突，但动态 λ 恰好是噪声最容易被放大的地方；如果完全固定 λ，又丢失了 conflict-avoidance 的意义。

Motivation

已有 stochastic MOL 路线通常默认每一步都可以从 mini-batch 梯度中可靠估计 CA direction，或者通过 variance reduction / momentum 去缓解方向偏差。但这篇论文指出，更根本的问题是 CA direction map 本身的局部正则性不是均匀的：有些区域是 Lipschitz 的，有些区域最坏只能 1/2-Hölder。

作者真正抓住的缺口是：现有分析知道最坏 1/2-Hölder，却没有区分“坏正则性何时发生”，也没有把这种结构反馈到算法设计。换句话说，论文的 motivation 不是“再设计一个 aggregation rule”，而是“根据 MGDA 子问题的 conditioning 决定是否应该相信 stochastic CA weight”。

Core Idea

核心思想可以概括为：把 stochastic MGDA 的更新方向控制变成一个 regularity-aware decision problem。若 mini-batch 梯度矩阵在 simplex tangent space 上非退化，即 U^T Q^T Q U 的最小特征值足够大，则 MGDA 子问题有足够曲率，λ_Q^* 对 Q 的扰动稳定，使用 CA direction 是合理的；若该曲率过小，则说明任务梯度在相关方向上几何上接近退化，此时求出来的 λ_Q^* 可能主要反映 mini-batch 噪声，算法转而使用固定 scalarization weight。

这和 prior 的本质区别是：prior 多数试图让 stochastic CA direction 更准，而 MoRe 承认某些区域 CA direction 本身不可稳定估计，于是选择性地不估计。它引入的 inductive bias 是“只有在梯度冲突几何足够清晰时才做 conflict-aware aggregation”。这是一种基于优化子问题正则性的 gating，而不是新的任务关系建模。

Method

方法上最重要的是三个机制。

第一，μ-nondegeneracy。它衡量 Q 在 simplex tangent space 1^⊥ 上是否有足够 curvature。这个条件解决的是 MGDA weight 对梯度扰动是否稳定的问题；如果 reduced Hessian U^T Q^T Q U 有正下界，simplex 子问题在可行仿射空间内相当于强凸，λ 的扰动可以被线性控制。

第二，regularity-aware switching。每步先计算 stochastic gradient matrix Q_t，再判断 μ_min(U^T Q_t^T Q_t U) 是否超过阈值 μ_t。超过则使用 MGDA CA weight；否则设 λ_t = λ0。这个机制解决的是退化区域中 stochastic optimizer 过敏的问题。核心变化是从“始终动态求权重”变成“动态权重和固定权重之间按几何稳定性切换”。

第三，threshold 与 batch schedule 的理论耦合。μ_t 控制算法愿意进入 CA 分支的严格程度；batch size 控制 Q_t 逼近 full-batch gradient matrix 的速度。论文用 |Z_t| = Θ(t+1) 和 α = Θ(T^{-1/2}) 得到 O~(T^{-1/2}) stationarity rate。这里 batch growth 是理论结果的重要组成部分，不应被忽略。

Key Insight / Why It Works

最核心的 insight 是把 stochastic MGDA 的收敛瓶颈归因到 CA direction map 的局部正则性，而不是简单归因到梯度方差。mini-batch 噪声进入 MGDA 后要经过 projection-to-convex-hull / minimum-norm point 映射；这个映射在退化几何附近会出现平方根级敏感性。论文证明 1/2-Hölder exponent 在最坏情况下不可改进，这一点很关键，因为它说明 SMG 的慢 rate 不是纯分析松，而是有几何根源。

MoRe 有效的原因不是它更会“解决冲突”，而是它避免在无法可靠估计冲突方向时过度响应噪声。在非退化区域，Lipschitz continuity 让 stochastic gradient error 以线性方式传到 direction error；在退化区域，固定 scalarization 把不稳定的 λ_Q^* 从更新链路中移除。这个设计本质上是 noise amplification control。

最可能的核心贡献是 regularity-conditioned use of MGDA，而不是实验性能。辅助部分包括 threshold schedule 和 growing batch 的 rate 推导。需要直接指出：O~(T^{-1/2}) 的一部分收益可能主要来自 scaling / increasing batch，而不是单独来自 switching；论文没有做足够 ablation 来分离二者。实验中的性能增益也可能来自 Office-Home 任务间相关性和 uniform fallback 的偏好适配，增益来源不清。

这不是 retrieval、memory reuse、test-time compute 或 latent structure 方法；它属于优化几何层面的 inductive bias：只在子问题 conditioning 支持时使用高自由度的动态权重。

Relation To Prior Work

最接近的是 SMG、MoDo、MoCo / MoCo+、CR-MOGM 以及 deterministic MGDA 系列。和 PCGrad / CAGrad 这类 heuristic conflict manipulation 相比，本文更偏理论优化：它不主要改变冲突定义，而是分析 MGDA direction map 的稳定性。

相对 SMG，实质差异是 SMG 始终对 stochastic Q 求 MGDA weight，而 MoRe 对是否求 MGDA weight 加了 nondegeneracy gate。相对 MoDo / Chen et al. 的 three-way trade-off，本文继承了 CA direction distance 的分析框架，但新增的信息是：1/2-Hölder 是最坏 tight bound，同时非退化区域可恢复 Lipschitz，并可被算法利用。

看似新的部分是 adaptive conflict-avoidant update direction control，但本质上是“condition number aware stochastic optimization”思想在 MGDA simplex 子问题上的落地。实质创新在于把 reduced curvature 与 CA direction continuity 连接起来，并用这个连接解释 stochastic MGDA rate 的来源。

Dataset / Evaluation

实验只覆盖 Office-Home 多域图像分类，一个四任务 MTL benchmark。它能说明 MoRe 在一个标准多任务分类设置下不输主流 baseline，并且 full-batch 估计的 empirical stationarity curve 与理论趋势一致。但任务覆盖面很窄：没有约束学习、meta-learning、强化学习控制、多目标规划或真实部署场景；也没有展示任务数 M 增大时的行为。

evaluation 对核心 claim 的支持是部分的。理论 claim 是 regularity-aware switching 改善 stochastic MGDA 的 convergence/conflict-avoidance trade-off；实验主要展示最终 accuracy 和一个 stationarity 曲线。缺少关键诊断：CA 分支触发频率、μ_min 分布、退化分支占比、不同 μ_t schedule 的 ablation、固定 λ0 的影响、以及与相同 growing batch 的 SMG 公平比较。因此实验更像 sanity check，不足以证明机制归因。

Limitation

第一，理论依赖较强。bounded gradients、smooth scalarization、unbiased bounded variance、with-replacement sampling、growing batch size 都是干净分析条件，和现代深度网络训练的实际噪声结构有距离。

第二，方法把退化区域的问题转移给固定 scalarization。退化并不意味着任务偏好不重要；使用 λ0 只是避免噪声放大，可能牺牲 Pareto front 探索或引入固定偏好偏置。若 λ0 选择不合适，算法可能稳定但偏。

第三，M>2 的 CA distance 分析缺失是实质问题。M=2 时低 reduced curvature 等价于两个梯度接近，因此 fallback direction 与 CA direction 可控；M>2 时退化可能来自更复杂的 affine dependence，不一定能推出所有相关方向都接近。文中未充分说明这一点如何扩展。

第四，scaling 归因不清。线性增长 batch size 本身会显著降低 stochastic error；MoRe 相对 SMG 的理论改善和实验增益中有多少来自 regularity switching，有多少来自 batch schedule，论文没有完全拆开。

第五，实验外推有限。Office-Home 的多域分类不足以验证该方法在高冲突、多目标数、非视觉任务或真实训练预算受限场景中的稳定性。

Takeaway

• 1. stochastic MGDA 的关键瓶颈不是梯度估计无偏性，而是 CA direction map 对梯度矩阵扰动的正则性；后续工作应更多分析 aggregation map 的 sensitivity。
• 2. 动态任务权重不应无条件使用。
• 一个可迁移的原则是：当权重求解子问题 ill-conditioned 时，降低权重自由度可能比继续追求 conflict-aware 更可靠。
• 3. regularity-aware gating 是一个值得迁移的机制，可用于其他 bilevel / projection-based / constrained aggregation 方法：先判断子问题解映射是否稳定，再决定是否信任其输出。

一句话总结

这篇论文把 stochastic MGDA 的慢收敛重新解释为 CA direction 映射的局部正则性问题，并通过 regularity-aware switching 在稳定区域使用 MGDA、退化区域退回固定 scalarization，属于多目标优化中从“设计聚合规则”转向“控制聚合映射敏感性”的方法演化。