精读笔记
Problem Setting
这篇论文实际解决的是离散时间 LTI 系统在部分观测和噪声测量下，如何不显式估计 x_t，而直接估计完全状态 LQR 会施加的控制 u_t=Kx_t。它不是在求解一般 POMDP，也不是在学习策略；它是在已知模型、已知噪声统计、线性高斯假设下，把输出反馈 LQG 的中间变量从状态估计换成控制估计。
真正困难点是：状态不可见时，Kx_t 仍然依赖隐藏状态；如果不构造 \hat{x}_t，就必须证明历史观测 y_{0:t} 和历史输入 u_{0:t-1} 中已经包含足够信息来直接恢复 Kx_t 的最小方差估计。以前路线通常卡在 separation architecture：先 Kalman filter 估计状态，再 LQR 施加控制。这个流程在标准 LQG 中是正确的，但在有约束或非标准信息结构时会变得笨重，甚至不再是自然参数化。关键矛盾是：最终控制只需要状态的一个线性投影 Kx_t，但经典方法默认要恢复整个状态后再投影。
Motivation
已有路线不够的地方，不是标准 LQG 的正确性，而是它把“估计状态”当成不可替代的接口。作者的核心观察是：如果控制目标最终是 Kx_t，那么可以直接把 Kx_t 当成需要估计的随机变量；状态估计只是实现这个条件期望的一种方式，不是唯一方式。
这篇论文试图填的缺口是 minimum-variance estimation 和 LQG control 之间的直接桥接：给定 Riccati 得到的 K，能否构造一个只依赖历史观测和输入的确定性优化，使其解直接给出 E[Kx_t | y_{0:t}, u_{0:t-1}]。这也解释了为什么作者会走 minimum-variance duality：它天然适合估计线性系统状态的线性函数，并把随机估计误差转成确定性二次型。
Core Idea
论文真正的核心思想是把 LQG 输出反馈重新表述为“线性函数估计”而不是“状态重构”。先在完全状态可测的假想问题中求出 LQR gain K，然后把真实目标 u_t=Kx_t 看作一个待估计量。通过引入对偶变量 z_i 和 alpha_i，作者把 K^T 沿着系统动力学和观测矩阵反向展开，使 Kx_t 被表示成初始状态、过去输入、过程噪声和测量噪声的组合。
这个建模变化的本质是信息流重组：标准方法是 y_{0:t} -> \hat{x}_t -> K\hat{x}_t；本文是 y_{0:t}, u_{0:t-1} -> \hat{u}_t。新的 inductive bias 是“只估计任务相关投影”，避免为控制无关的状态方向付出估计代价。和 prior 的本质区别不在于最终线性策略类更大，而在于它给出了一个 minimum-variance dual construction，把控制估计写成确定性优化，并自然允许在输出控制上加凸约束。
Method
第一，先固定 fully observed LQR gain K。它解决的是控制目标定义问题：本文不是同时优化输出反馈策略和 LQR gain，而是把理想控制定义为 Kx_t，再估计这个量。这样做的核心变化是把 stochastic control 问题降成 stochastic estimation of a linear functional。
第二，引入对偶动态 z_{i+1}=A^T z_i+C^T alpha_{i+1}，并设 z_0=K^T+C^T alpha_0。它解决的是如何把 Kx_t 与可观测历史联系起来。这个构造让 Kx_t 中的状态项通过 telescoping 展开为历史输入项、初始状态项和噪声项，从而把不可见状态从表达式中消去。
第三，选择 alpha_{0:t} 最小化估计误差方差。由于噪声零均值且相互独立，交叉项消失，误差协方差只剩 z_i^T Q z_i、alpha_i^T R alpha_i 和初始协方差项。因此原来的条件 MSE 问题变成确定性二次优化。
第四，约束版本把 \hat{u}_t 的表达式直接加入 convex set U。它解决的是 separation pipeline 中常见的“先算 unconstrained control 再 saturation”不一致问题。这里的变化是约束进入估计控制量的优化本身，但这仍然不是完整意义上的 constrained stochastic optimal control。
Key Insight / Why It Works
最关键的 insight 是：对线性高斯系统而言，估计 Kx_t 不需要显式产生 \hat{x}_t；minimum-variance estimator 对任意线性函数都可以直接构造。本文有效的根本原因不是新的控制律，而是线性系统中的对偶恒等式把“隐藏状态依赖”转成了“可优化的噪声方差分配”。alpha 的作用可以理解为选择如何用当前和历史测量抵消状态不确定性；z 则记录在这种抵消方式下剩余不确定性如何沿系统传播。
最可能的核心贡献是 Theorem 1 的改写：它把 E[||Kx_t-\hat{u}_t||^2] 精确转成一个确定性二次优化，并把 \hat{u}_t 写成历史观测/输入的线性函数。这个贡献偏 theoretical reframing，而不是性能突破。
辅助部分是 constrained extension 和机器人实验。约束版本在形式上自然，但只是把 affine control expression 加入 convex feasible set；数学难度有限。实验部分更像 sanity check，而不是证明方法在机器人上有实质优势。
这不是 scaling，不是 retrieval，不是 data coverage，也不是 learned representation alignment。它本质上是 better inductive bias：只估计控制相关线性投影。所谓“without estimating states”也要谨慎理解：它没有消除估计问题，而是把状态估计转移成线性函数估计；在 K=I 时它退化回状态估计。若实际实现中每步解优化，可能还引入了 test-time compute 换结构简洁性的 tradeoff。
Relation To Prior Work
最接近的路线有三类：classical LQG separation / Kalman filter + LQR，minimum-variance duality for state/function estimation，以及 output-feedback policy parameterization under constraints。本文属于第三类和第二类的交叉，但目标仍然是经典 LQG。
和 Kalman + LQR 的本质差异是接口不同：标准路线输出 \hat{x}_t，本文输出 \hat{u}_t。在线性高斯无约束场景下，两者理论上应高度等价，因为 E[Kx_t | Y]=K E[x_t | Y]。因此“无需状态估计”更多是表述和计算组织上的改变，不应被理解为突破 separation principle。
和 Bakolas-style direct output-feedback parameterization 相比，本文不是直接搜索一般 causal linear policy，而是由 LQR gain K 锚定目标，再用 minimum variance duality 推导最小方差控制估计。真正新增的信息是：把目标线性函数设成 Kx_t，并加入当前测量的修正后，得到一个面向 LQG control 的 deterministic surrogate。
看似新的地方是“POMDP without estimating states”，但实质上是已有 minimum-variance duality 对线性函数估计的控制化应用。实质创新在于问题重表述和定理连接，而不是发现了新的 LQG 最优控制结构。
Dataset / Evaluation
评估使用两个仿真：cart-pole 线性化模型和 MIT Cheetah 3 简化刚体线性模型。覆盖了一个低维 benchmark 和一个较高维机器人动力学例子，但都在已知线性模型、仿真噪声、手工协方差和 Riccati gain 的框架内。没有真实世界实验，也没有非线性闭环、模型误差、接触切换不确定性或传感器偏置等部署因素。
实验主要说明 proposed 方法在这些标准条件下能复现 standard approach 的行为，且约束可被放进优化。它并没有证明相比 Kalman filter + LQR 有明显性能优势，因为结果本身显示 proposed、standard 和 perfect-state reference 非常接近。这个 evaluation 支持 correctness / feasibility claim，但不充分支持 introduction 中关于 separation failure、POMDP generality 或 robotics robustness 的更强叙事。
文中未充分说明计算时间、优化收敛、随 t 增长的复杂度、和递推 Kalman filter 的公平比较。对于机器人例子，benchmark 更像线性 MPC/LQR 风格的控制仿真，而不是验证一般部分可观测机器人策略。
Limitation
第一，核心前提很强：系统必须是线性时不变，A、B、C 已知，噪声协方差 Q、R 已知，噪声独立零均值，初始分布已知，且 LQR gain K 可通过 DARE 稳定求得。离开这些条件，minimum-variance duality 的精确等价就不再直接成立。
第二，它没有真正解决一般 POMDP。论文标题里的 POMDP 容易造成误解；这里的 POMDP 是 linear Gaussian POMDP 的特例。没有 belief-space planning，没有 nonlinear observation，没有 action-dependent observation，没有 long-horizon information gathering。
第三，无约束情形下相对 Kalman filter + LQR 的实质收益不清。因为 E[Kx_t|Y]=K E[x_t|Y]，如果标准 Kalman estimator 已经可用，本文的控制估计在理论上很可能只是等价实现。增益来源不清，实验也没有展示更低 cost 或更强鲁棒性。
第四，scalability 存疑。Algorithm 每个时间步求解长度随 t 增长的优化问题；相比 Kalman filter 的递推更新，这可能更重。是否存在稳定的 fixed-memory / steady-state recursion，文中未充分说明。
第五，约束版本可能只是把问题转移了。它约束的是估计出来的 \hat{u}_t，而不是随机真实控制误差或状态安全性；对 closed-loop chance constraint、input distribution、constraint violation probability 没有处理。因此它不能直接替代成熟 constrained stochastic MPC。
第六，机器人实验没有证明真实泛化。核心能力可能主要来自已知模型和线性化覆盖，而不是方法具有更强 planning 或 reasoning 能力。所谓 robotics applicability 在当前证据下更像 engineering demonstration。
Takeaway
- 1. 最值得记住的是“直接估计任务相关线性函数”这个视角：如果控制或决策只依赖某个 projection，就不必把完整 latent state 当作必经中间层。
- 2. Minimum-variance duality 提供了一种很干净的机制，把随机估计误差转成确定性优化；这个 insight 可以迁移到其他需要估计 Lx_t 而非 x_t 的控制、滤波和传感器设计问题。
- 3. 这篇论文真正推动的是 LQG 输出反馈的重表述，而不是提出了比 separation 更强的一般控制理论。
- 它更适合作为 constrained output-feedback optimization 的一个 building block。
一句话总结
这篇论文把标准线性高斯 LQG 中“先估计状态再控制”的接口改写为“用 minimum-variance duality 直接估计 Kx_t”，贡献主要是控制相关线性函数估计的理论重表述，而不是一般 POMDP 或机器人控制能力的突破。