精读笔记
Problem Setting
论文实际解决的是：在离散 LTI、高斯噪声、部分观测条件下，如何直接从 y_0:t 和 u_0:t-1 得到当前 LQG 控制输入，而不是先构造 \hat{x}_t 再施加 K\hat{x}_t。这里的关键矛盾是，经典 LQG 的 full-state 控制律 u_t=Kx_t 很简单，但 x_t 不可见；而显式估计 x_t 可能在约束或结构化设置中不再是最合适的中间对象。
真正困难点不是求 K，而是如何把历史测量中的信息压缩成对 Kx_t 的最小方差估计。以前方法通常把信息压缩目标设为 x_t 本身，即 Kalman filter 的 posterior mean；这篇论文把压缩目标改成控制相关的线性函数 Kx_t。换句话说，它不是在挑战标准 LQG 理论，而是在重写 output-feedback 实现路径。
Motivation
作者的动机来自 separation principle 的边界：在标准 unconstrained linear-Gaussian case 中，估计和控制分离是正确的；但在带约束、通信限制、非标准观测结构时，“先估计状态再控制”会变成僵硬的架构约束。论文想抓住的是一个更窄但更可操作的缺口：如果控制器最终只需要 Kx_t，那么完整状态估计可能是过度中间变量。
核心观察是 minimum-variance duality 已经允许人们直接估计状态的线性函数。于是自然的问题变成：把待估计的线性函数从 x_t 换成 Kx_t，是否就能绕开 explicit state estimation，并把带观测历史的随机问题变成确定性二次优化。这个方向的吸引力在于它与约束优化天然兼容，而不是必须先运行一个固定 estimator 再做后处理。
Core Idea
核心思想是 target-oriented output feedback：不要先恢复 latent state，而是直接估计控制动作本身。给定 full-state LQR gain K，最优 full-information 动作是 Kx_t；在部分观测下，当前可实现的最佳动作自然是 E[Kx_t | y_0:t, u_0:t-1]。论文通过 dual dynamics 构造这个条件期望的一个最小方差表示。
它改变的建模方式是：把 controller synthesis 从“state belief -> control”改成“measurement history -> control-relevant linear functional”。引入的 inductive bias 是只保留对 Kx_t 有用的信息，而不是要求观测历史足以重建整个 x_t。和 prior 的本质区别不在于 LQG 增益本身，而在于信息流的组织方式：标准路线显式维护 posterior state estimate；这里通过一组 dual variables 直接学习/求解历史测量的线性组合权重。
Method
第一步是先计算 full-state LQR gain K。这个步骤解决的是控制目标的方向问题：哪些状态方向对最优控制有用。它也是该方法的强前提，因为后续优化并没有重新发现控制律，而是在估计 Kx_t。
第二步是引入 dual recursion z_{i+1}=A^T z_i + C^T alpha_{i+1}，并用边界条件 z_0=K^T+C^T alpha_0 把 K^T 嵌入 telescoping identity。这个机制的作用是把不可见的 Kx_t 展开成初始不确定性、过程噪声、测量噪声、历史输入和历史观测的线性组合，从而让估计误差方差可显式计算。
第三步是对 alpha_0:t 做确定性二次优化。它解决的是“如何组合历史 measurements 才能最小化 Kx_t 的估计误差”。由于噪声独立、零均值且协方差已知，cross terms 消失，目标变成由 Q、R、Sigma_0^- 加权的二次型。
第四步是约束扩展：把由 alpha 决定的 \hat{u}_t 表达式直接限制在凸集合 U 内。这个变化的意义在于，约束不再是对 Kalman/LQR 输出的事后 saturation，而是参与当前控制估计的求解。它带来的是架构层面的便利，但不等同于完整 constrained stochastic control 的全局解。
Key Insight / Why It Works
最关键的 insight 是：对 LQG 控制而言，状态估计不是唯一必要的 sufficient statistic；如果控制律固定为 Kx_t，那么 Kx_t 本身才是当前决策所需的 sufficient target。minimum-variance duality 提供了一个精确工具，把这个 target 的估计误差展开到独立噪声源上，因此优化 alpha 就是在做线性最小方差估计。
这篇论文真正有效的原因不是更强的 planning，也不是 learning 或 scaling，而是线性-高斯结构下的 projection geometry。它本质上是在 Hilbert space 中把 Kx_t 投影到由 measurement history 和 past inputs 张成的线性子空间上。dual variables 只是把这个投影问题写成一个动态可解释的二次优化。
最可能的核心贡献是“把 K^T 放进 minimum-variance dual formulation，从而直接估计 control input”。R2 已经说明若 K=I 就退化为状态估计，因此该方法不是摆脱估计理论，而是把估计目标从 full state 改为 task-specific linear functional。这个区别有价值，但需要准确定位：它是 estimation target 的重参数化，不是对 LQG 最优性原理的根本替代。
辅助部分主要是 constrained formulation。它工程上有意义，因为控制约束可直接并入优化；但论文没有证明它求解的是原始无限时域 constrained LQG/POMDP 的最优策略。更保守的判断是：它给出了一个 convex, receding, control-estimation surrogate，比 saturation 更自然，但 claim 不应外推到一般约束随机控制最优性。
Relation To Prior Work
最接近的谱系有三条：经典 Kalman + LQR separation，minimum-variance duality/state estimation dual formulations，以及直接用 output history 参数化控制策略的 constrained output-feedback 方法。论文的位置更接近第二和第三条的交叉，而不是一般 POMDP planning。
和 Kalman-filter-first 的本质差异是估计目标不同：Kalman 估计 x_t，然后左乘 K；本文直接估计 Kx_t。在线性高斯无约束情形，这两者理论上很可能等价或至少高度一致，因此“without estimating states”更应理解为“不显式输出状态估计”，而不是不做估计。
和 Bakolas-style output-history policy parameterization 的关系是，二者 policy class 类似，都是因果线性组合 past outputs/past inputs。不同点在于本文的 alpha 不是任意控制策略参数，而是由 minimum-variance estimation of Kx_t 导出的 dual optimization。真正新增的信息是把 LQR gain 作为估计目标嵌入 dual dynamics，使 output-feedback 权重具有最小方差解释。
看似新的部分是 POMDP without state estimation 的表述；实质创新更窄：对线性高斯 LQG，把控制输入看作待估计线性函数，并给出可加凸约束的 deterministic surrogate。
Dataset / Evaluation
评估覆盖两个仿真场景：低维 cart-pole 和较高维 MIT Cheetah 3 简化刚体动力学。它们覆盖了 unconstrained 与 constrained 两种设置，但都仍是已知模型、线性化/简化动力学、合成高斯噪声下的 simulation。没有真实机器人、没有未知模型、没有非高斯观测、没有强非线性闭环验证。
实验确实支持一个有限 claim：该 formulation 能在典型线性系统上复现标准 LQG 行为，并能把输入约束放进优化里。它没有充分支持更强 claim：比如比 Kalman separation 更 scalable、更 robust，或在真正 POMDP 上更 general。
尤其是无约束 cart-pole 中 proposed 和 standard 几乎一致，这更像理论等价的 sanity check，而不是性能优势。Cheetah 实验显示约束处理可行，但基于简化线性 rigid-body 模型和少量 Monte Carlo，不能说明真实 deployment 中的接触切换、摩擦不确定性、模型误差下仍有效。
Limitation
最大限制是前提很强：系统矩阵 A,B,C 已知，噪声协方差 Q,R,Sigma_0^- 已知，噪声独立零均值高斯，且 full-state LQR gain K 已经可稳定求出。若模型不准或噪声结构错配，dual optimization 的最小方差解释会直接失真。
第二个限制是它没有真正消除估计，只是避免显式状态估计。事实上，\hat{u}_t=E[Kx_t | history] 本身就是一个估计问题。若 K=I 退化为状态估计，说明框架与 Kalman estimation 共享同一数学基础。论文在表述上容易让人误以为绕过了 belief/state inference，但实际是做了 task-specific inference。
第三个限制是计算复杂度和在线性未充分交代。每个时刻求解 horizon t 的优化，变量规模随时间增长；文中未充分说明是否存在稳定递推、窗口化误差、steady-state dual gain 或与 Kalman filter 相比的复杂度优势。若长期运行必须不断重解历史问题，scalability 会是硬上限。
第四个限制是 constrained LQG 的最优性边界不清。加入 u_hat in U 后得到的是 convex feasibility/estimation problem，但这不等价于求解原始带约束 stochastic control 的动态规划解。这里可能只是把 difficult constrained control problem 转移成了当前动作估计的投影问题。
第五个限制是实验增益归因不清。无约束结果与 standard 相同并不意外；约束结果的优势相对 saturation 也依赖 baseline 选择。文中未充分说明该方法相对 mature constrained MPC/output-feedback MPC 的实质优势。
Takeaway
- 最值得记住的不是“LQG 不需要状态估计”，而是“控制所需的线性函数可以作为估计目标本身”。
- 这个 insight 可迁移到很多场景：当 downstream decision 只依赖 latent state 的某个 projection 时，直接估计 projection 可能比维护完整 belief 更合适。
- minimum-variance duality 在这里的价值是把 history-dependent stochastic estimation 写成 deterministic quadratic optimization，使约束注入变得自然。
- 这为 constrained output-feedback 提供了一个干净接口。
一句话总结
这篇论文把线性高斯部分可观测控制中的“先估计状态再控制”重写为“直接最小方差估计 Kx_t”，实质贡献是 minimum-variance duality 在 task-specific control estimation 上的应用，而不是对经典 LQG/POMDP 最优控制的根本替代。