精读笔记

Problem Setting

[Deployable Human Preference Alignment in Robotics: Learning Representative Rewards from Diverse Human Preferences]（arXiv preprint / 2026）

这篇论文实际处理的是机器人部署中的 preference alignment capacity constraint：部署方不能维护 N 个用户对应的 N 个策略，但一个全局策略又会压平偏好差异。它不是一般意义上的 PbRL，也不是单纯 personalized RL，而是问：在每个用户只有很少二值反馈、反馈还带噪声的情况下，能否学出少量可部署、可验证、又能覆盖主要偏好差异的策略集合。

真正困难点是“偏好异质性”和“部署可验证性”发生冲突。per-user reward/policy 在统计上高方差，在工程和监管上也不可扩展；pooled reward 在统计上有更多数据，但会把互相冲突的偏好混成一个 reward，导致 minority users 被牺牲。以前方法通常只解决其中一边：要么提高单用户 PbRL 的 label efficiency，要么聚合多用户偏好学单一模型，很少把 policy budget 当作一等公民。

Motivation

作者的核心动机是：机器人场景里，alignment 不是只看最终 reward 预测准不准，还要看部署方能否验证、管理和承担这些策略。这个视角比常规 personalization 更实际，因为机器人策略不是推荐系统里的一个 embedding 或 LLM 里的一个 prompt，它通常涉及安全验证、临床/监管流程、硬件风险和运维成本。

已有路线缺的是“中间粒度”的对齐机制。完全个体化假设每个用户都有足够数据，并且每个用户策略都值得单独部署；单一共享策略假设偏好冲突可以被平均，这在多目标运动偏好里明显不成立。作者的观察是，在 sparse labels 下，直接估每个用户的 reward 不只是贵，而且统计上可能比估一个 group-level reward 更差。因此，合理的方向是把用户先组织成 preference-coherent groups，再为 group 学 reward。

Core Idea

PREC 的核心思想是把多用户偏好对齐建模为 mixture-of-rewards，而不是 per-user reward learning 或 pooled reward learning。每个用户属于某个潜在 preference cluster；每个 cluster 有一个代表性 reward；部署方只需要为 K 个 cluster 训练和验证 K 个策略。这里真正改变的是建模粒度：用户不是完全独立样本，也不是同一分布下的同质标注者，而是来自少数可共享统计强度的偏好子群。

这个 inductive bias 在 sparse feedback 下很强：如果 cluster 假设基本成立，那么同群用户标签可以互相补足，噪声会被平均，reward head 也更不容易过拟合单个用户的少量标签。它和 prior 的本质区别不是用了 EM 或 SPR，而是把“学习 reward”和“发现谁应该共享 reward”放在同一个闭环里做；不是先学每个用户再聚类，而是在聚类过程中直接学习可部署的代表 reward。

Method

方法上只需要抓住三个机制。

第一，shared representation before preference supervision。作者先用所有用户的 offline state-action trajectories 训练 population-level encoder，标签暂时不用。它解决的是单用户轨迹覆盖太窄、偏好标签太少太噪的问题。核心变化是让底层表征主要来自行为覆盖，而不是来自不稳定的人类标签。

第二，cluster-specific reward decoders with latent user assignment。固定 encoder 后，每个 cluster 学一个 reward decoder，用户 assignment 是隐变量。E-step 根据每个 decoder 对该用户标签的解释能力分配用户，M-step 用被分配用户的标签更新 decoder。它解决的是“相似用户应共享统计强度，但相似性本身未知”的问题。

第三，leaky EM。标准 hard EM 在小 cluster 或早期错误 assignment 时容易崩；leaky update 让非所属 cluster 也收到小权重监督，本质上是对 cluster reward 的 cross-cluster regularization。它不改变问题定义，但让 joint clustering/reward learning 更稳定。文中的 monotone ELBO 证明主要说明这个 leaky 形式不是随手加的 heuristic，不过保证的是受限目标的单调性，不等于保证找到真实偏好 cluster。

最终每个 reward head relabel offline transitions，再用 IQL 训练一个 policy。这里 offline RL 是实现路径，不是论文最核心的思想。

Key Insight / Why It Works

最关键的有效性来源是 group-level statistical pooling。每个用户只有几十个标签时，per-user reward 的方差非常大；但如果真实偏好分布有 cluster structure，把同类用户的标签合并会显著提高 reward 可识别性。这不是更强的 reward architecture 带来的魔法，而是更合适的 bias-variance trade-off。

第二个有效点是 decoupled representation learning。SPR encoder 让 reward head 在一个更稳定的 state-action feature space 上拟合偏好，减少了标签稀疏对 representation 的破坏。这里更像 data coverage / representation alignment，而不是偏好推理能力。它的增益可能主要来自 pooled trajectories 提供了更宽的行为支持；SPR 本身是否不可替代，文中未充分说明。

第三个有效点是 joint clustering，而不是 post-hoc clustering。先为每个用户训练模型再聚类，在 sparse regime 下会把估计噪声当作用户差异；PREC 直接学习 group reward，用 group reward 反过来解释用户标签，降低了 individual estimation error。这是论文里最实质的机制贡献。

leaky EM 更像稳定器。它可能减少 cluster collapse 和早期坏分配，但不是根本能力来源。若没有真实 cluster structure 或 K 设得不合理，leaky 只是在错误归纳偏置上做平滑。文中把它包装成有 ELBO 保证，但这个保证的意义有限：它保证优化一个受限目标会单调，不保证该目标对应真实人类偏好，也不保证部署福利最优。

需要直接指出的是，benchmark 中的偏好由三维 scripted feature simplex 生成，这天然有低维、可聚类、可恢复结构。PREC 的优势可能部分来自 evaluation setting 与方法假设高度匹配。它验证了“当偏好确实是低维 mixture-like 结构时，joint group reward learning 很好用”，但没有证明真实机器人用户偏好也如此规整。

Relation To Prior Work

它最接近三条线：offline PbRL、多用户偏好建模、mixture/clustered personalization。和 Christiano/PEBBLE/Preference Transformer 这类 PbRL 的差异在于，它不把偏好源看成单一 labeler distribution，也不追求单个 reward model 的 label efficiency，而是显式建模用户群体结构。和 RLDHP 这类 diverse preference aggregation 的差异在于，PREC 不试图用一个鲁棒 reward 吃下所有冲突偏好，而是承认冲突需要被拆成多个 reward。

和 IdEmb/VPL 这类个体 latent personalization 相比，PREC 的不同在粒度：不是给每个用户一个 embedding 或 posterior latent，而是让用户共享少数离散 reward heads。这牺牲了连续个体化能力，但换来更低方差和更低部署成本。在 sparse regime 下，这个取舍是合理的。

看似新的部分里，SPR、EM、hard/soft assignment、offline reward relabeling 都是已有思想重组；实质创新是把它们组织成一个面向机器人部署约束的 limited-policy alignment framework。它属于 clustered personalization / mixture-of-experts 在 preference-based offline RL 中的一个机器人部署版本，而不是一个全新的 RL 算法。

Dataset / Evaluation

实验覆盖了多个 MuJoCo/D4RL locomotion 环境，并在不同噪声强度和 K 下比较 clustering quality 与 social welfare。作为机制验证是够的：它能说明在连续控制、offline trajectory pool、合成多用户偏好下，group reward learning 比 pooled/per-user 更稳定。

但 evaluation 对核心 claim 的支持仍有限。第一，没有真实人类偏好，也没有真机机器人；所谓 deployable 主要是概念和问题设定上的 deployable，而不是经过真实部署流程验证。第二，用户偏好由三维 scripted descriptors 和 simplex weights 生成，这与 PREC 的 cluster 假设相当契合。第三，评价 utility 也使用同一套 scripted preference features，因此 reward 学习和评估共享同一个隐含偏好结构，存在 evaluation bias 的风险。第四，D4RL locomotion 的行为空间与 assistive robotics/exoskeleton deployment 之间仍有明显鸿沟。

实验最有价值的是 label-budget 分析：当每用户标签增加到较高水平时，Indiv 重新超过 PREC。这说明 PREC 的适用区间很明确：它不是个体化的最终形态，而是 sparse-feedback + limited-policy-budget 下的折中方案。

Limitation

核心限制是 cluster assumption。PREC 假设用户偏好能被少数代表 reward 近似覆盖；如果真实偏好是连续谱、强上下文依赖、或随时间漂移，固定 K 个 reward heads 会产生系统性 mismatch。K 的选择本身也没有被真正解决，只是交给部署方设定。

第二，方法高度依赖 offline trajectory coverage。如果 trajectory pool 没有覆盖某个 minority group 真正想要的行为，cluster reward 再准确也只能在已有支持内优化。核心能力可能主要来自数据覆盖；在真实机器人中，覆盖不足会直接转化为 reward extrapolation 和 offline RL failure。

第三，增益归因不完全清楚。SPR encoder、cluster pooling、leaky EM、ensemble reward、IQL relabeling、scripted low-dimensional preference 都共同作用。ablation 显示 full PREC 最好，但不足以精确说明主要收益来自哪一项。尤其是 SPR 的作用可能只是提供更好的 shared feature，而不是偏好建模上的关键突破。

第四，部署问题被部分转移了。论文减少了策略数量，但仍需要解决新用户如何分配到 cluster、cluster policy 如何验证、用户不满意时如何切换、偏好变化时是否重新训练和重新认证。监管成本从 N 个 policy 降到 K 个 policy，但 cluster assignment 机制本身也可能成为需要验证的系统组件。

第五，真实人类噪声不等于 B-Pref-style synthetic corruption。人类偏好可能非平稳、受交互历史影响、表达不一致且带有安全约束；文中的 good/bad binary labels 和固定 threshold scripted users 只覆盖了很窄的一类噪声。

Takeaway

• 1. 最值得迁移的 insight 是：在 sparse personalization 中，per-user modeling 不一定是更个体化，可能只是更高方差；group-level representative models 往往是更好的统计和部署折中。
• 2. 对齐问题可以显式加入 deployment capacity。
• 不是所有 alignment 方法都应该默认输出一个用户一个模型；在机器人、医疗、自动驾驶等领域，policy budget 本身就是建模约束。
• 3. “先学共享行为表示，再用偏好标签学习小头/子群结构”是可迁移模式。

一句话总结

这篇论文把机器人多用户偏好对齐从 per-user 或 pooled reward learning 推进到 limited-policy clustered reward learning，本质贡献是在 sparse/noisy feedback 和部署验证约束下引入了一个更合适的中间粒度归纳偏置。