精读笔记
Problem Setting
这篇论文实际处理的是优化型反问题中的 repeated deterministic inversion：给定由 PDE/ODE 产生的观测 y_obs，恢复有限维参数 alpha。表面上这是标准 Tikhonov-regularized nonlinear least squares；真正问题在于每一步优化都需要 forward evaluation 和 sensitivity，而 forward model 可能昂贵，目标函数还可能非凸。
以前 ROM 路线通常把注意力放在状态空间降维：先压缩 PDE/ODE state，再通过 observation operator 得到观测。这对 forward simulation 合理，但对 inverse problem 未必最优，因为优化器只关心 f(alpha)=q(g(alpha)) 及其参数导数。对于多参数反问题，另一个瓶颈是参数域覆盖：全张量采样不可扩展，局部 surrogate 又容易错过非凸 landscape 中正确 basin。
所以关键矛盾不是“如何更快算一次 forward solve”，而是如何在参数空间有足够覆盖的同时，让 online inversion、Jacobian assembly、regularization-aware solve 和初始化都不依赖昂贵 FOM。
Motivation
已有 surrogate/ROM 对 inverse problem 的使用方式偏浅：把 FOM 换成便宜的 f_hat，然后照常跑 Gauss-Newton 或其他优化器。这只能省 forward cost，不能解决 sensitivity assembly、initialization sensitivity 和多次反演中的在线预算问题。
作者抓住的缺口是：反问题的可观测信息本来就低于全状态维度，且很多参数化动力系统的观测响应在笛卡尔参数网格上可能有低秩张量结构。如果直接压缩 parameter-to-observation map，就可以让 surrogate 的表示空间与 least-squares objective 对齐。
这也是为什么 TT 是自然选择：它提供了一种在结构化多参数网格上介于 full tensor grid 和 local surrogate 之间的表达。TT-Cross 进一步尝试避免完整网格采样，使这个思路能推到 D=6,9 这类全张量已不现实但仍远未高维统计反问题的区域。
Core Idea
论文的核心不是“用 TT 做 ROM”，而是把反问题所需的信息流重新组织成一个低秩张量计算图。作者构造观测张量 T(:,n_1,...,n_D)=f(alpha_{n_1,...,n_D})，然后用 TT-SVD 或 TT-Cross 得到 T_hat。在线时，任意 alpha 的预测由每个参数方向上的局部插值向量与 TT cores 收缩得到。
关键变化在于第一 TT core 被解释为观测空间中的低维 basis G_1，后续 cores 产生 reduced coordinate c_chi(alpha)。由于 f_hat(alpha)=G_1 c_chi(alpha)，least-squares misfit 可以等价地投影到 range(G_1) 中，变成 ||c_chi(alpha)-G_1^T y_obs||。这使得反演不再在 N_obs 维观测空间中工作，而是在 r_2 维 reduced coordinate 中工作。
和 prior 的本质区别在于：它不是把 low-rank tensor 当作 forward surrogate 的缓存，而是把 objective、Jacobian、GN quantities、discrete minimization 都改写成 TT algebra。这引入的 inductive bias 是“观测响应对多参数的联合依赖可被低 TT-rank 分离表示”，而不是传统 ROM 的“状态流形低维”。
Method
第一，直接压缩 parameter-to-observation map。它解决的是状态 ROM 与反演目标不对齐的问题。反问题只需要传感器时间序列或观测向量，压缩全状态会保留大量对 objective 无关的信息；直接建模 f 更 task-specific，也降低 N_obs 之前的有效复杂度。
第二，TT-SVD 与 TT-Cross 分别对应两种离线 regime。TT-SVD 在低维参数网格可承受时给出稳定压缩和明确 Frobenius 误差控制；TT-Cross 在 D 较大时通过自适应抽样降低 full grid cost。这里 TT-Cross 的意义不是更精确，而是让方法能进入 full tensor infeasible 的参数维度。
第三，reduced-coordinate GN 是方法中最实质的机制。通过正交化 G_1，把观测残差投影为 y_red=G_1^T y_obs，GN 只需要 reduced residual 和 r_2 x D Jacobian。Jacobian 列由 TT prefix/suffix contractions 和插值基函数导数给出，避免 observation-space Jacobian 和 finite-difference surrogate calls。
第四，TT objective minimization 用于离散参数网格上的 basin selection。残差张量和 Tikhonov 正则项都可写成 TT，随后通过 TT maximum/minimum search 找近似最小 entry。这解决的是非凸优化初始化问题，而不是连续优化本身。它更像一个低秩全局 coarse search，然后可接 GN refine。
Key Insight / Why It Works
最重要的 insight 是：对 inverse problem 来说，低秩结构最有价值的位置不是状态变量，而是 observation manifold。只要 f(A) 在观测空间中接近低维，并且其多参数依赖能被 TT 分离，反演的主要计算都可以在这个低秩坐标中完成。
真正有效的部分大概率是 reduced-coordinate formulation + analytic TT Jacobian contraction。单纯 forward acceleration 并不新；把 GN 的 residual/Jacobian/J^T J/J^T eta 从 observation space 移到 TT reduced coordinates，才是 online speedup 和数值稳定性的核心来源。表中的 integrated TROM 相比 Full/FD TROM 仍有 4-8 倍增益，说明贡献不只是 surrogate 替代 FOM。
TT optimization 的贡献更依赖问题形态。在 FHN 这种低维但非凸 landscape 中，它有效，因为参数网格覆盖了 global basin，TT 表示让 grid objective search 便宜。这里的“robustness”更像 structured grid search / memory reuse，而不是优化器获得了新的推理能力。若 basin 很窄、grid resolution 不足或 surrogate smoothing 改变 landscape，这部分可能失效。
TT-Cross 的 scalability 增益也要谨慎解读。它确实避免了 N^D full sampling，但仍需要大量 FOM calls，且 rank growth 决定上限。D=9 的实验说明方法能推进一步，但不是高维反问题的通用解。核心能力可能主要来自数据覆盖与低秩可压缩性，而非对任意高维参数依赖的泛化。
Relation To Prior Work
这篇工作位于 tensor ROM、surrogate-assisted inverse problems、reduced basis inverse methods 和 TT optimization 的交叉处。最接近的是 Mamonov/Olshanskii 系列的 interpolatory TROM for parametric dynamical systems，以及 TT-Cross/TTOpt 一类低秩张量近似和优化方法。
看似新的部分里，TT-SVD、TT-Cross、Lagrange interpolation、Tikhonov GN、discrepancy principle 都是已有组件；论文的新意不在这些模块本身，而在把它们以 inverse-problem-specific 的方式组合起来：直接压缩 f=q∘g，并把 TT structure 用于 reduced objective、Jacobian contraction 和离散初始化。
和 projection ROM / reduced basis 的本质差异是对象不同：prior 多压缩 state/solution manifold，这里压缩 observable response manifold。和 neural surrogate 的差异是 inductive bias 不同：这里依赖 multilinear low-rank separability 和 structured grid，而不是通过训练数据学习 black-box nonlinear map。和 Bayesian TT density/transport 的差异是目标不同：本文是 deterministic optimization-based inversion，不处理 posterior representation。
实质创新是“让 TT 表示进入反问题优化内核”，而不是停留在 forward surrogate。这个点值得迁移到其他 surrogate-assisted inversion 框架。
Dataset / Evaluation
评估选了两个互补场景：heat-transfer PDE 负责验证昂贵 forward model、多参数 inclusion geometry 和 online speedup；FitzHugh-Nagumo 负责验证非凸 objective 下 TT initialization 的价值。这个组合能支持论文的核心 claim：TROM 不只是加速 forward evaluation，也能改善 GN assembly 和 initialization。
但评估仍是受控合成实验。观测由同一建模体系生成，参数域是明确 box，几何参数范围经过设计，传感器布置固定，噪声是高斯加性并且噪声水平已知。discrepancy principle 中对 y_true 和 ROM error 的使用在真实场景中没有同等可得性。
heat-transfer 的 D=3/6/9 说明随参数维度增加仍可运行，但这不是强泛化证据；它仍是结构化 inclusion family，且参数维度最高 9。FHN 例子很好地展示了 initialization，但它的 forward model 低维，主要难点是 objective landscape，而不是 expensive PDE。两者合起来验证了机制，但没有证明方法能处理真实高维、非结构化、强模型误差的 inverse problem。
Limitation
最大限制是低 TT-rank 假设。论文的所有收益都建立在观测张量可压缩上；一旦参数交互强、观测响应有局部非平滑、界面拓扑变化复杂，或传感器数据对每个参数都有高频独立响应，TT ranks 会增长，offline 和 online 优势都会下降。
第二，scalability 的问题被转移到 offline。TT-Cross 减少 full grid 采样，但并没有消除覆盖参数域所需的 FOM call。D=9 中数万次 FOM solve 已经不轻；如果单次 PDE solve 更昂贵、参数维度更高或 rank 更大，offline 代价会成为 deployment bottleneck。
第三，所谓 TROM optimization 是离散网格上的低秩 objective search，不是连续域全局优化。它的成功依赖网格 resolution 和 surrogate fidelity。FHN 中的提升很可能主要来自 grid-level basin retrieval，而不是 GN 本身变得更全局。
第四，ROM error 的处理在实验中偏理想化。文中把 measurement noise 和 ROM error 合并进 discrepancy target，这是正确方向；但真实应用中 δ_rom 通常未知，且可能随 alpha 非均匀变化。文中未充分说明如何在没有 FOM truth 的 deployment 中可靠估计这个量。
第五，参数域必须先验给定为 box 并可笛卡尔离散。对 constrained geometry、非欧式参数、组合结构、未知参数数量、模型选择问题，这个框架需要额外机制。
Takeaway
- 第一，inverse-problem ROM 应该优先压缩 observable map，而不是默认压缩 full state；这会让表示目标和优化目标更一致。
- 第二，surrogate 的价值不应只按 forward evaluation speedup 衡量。
- 真正有用的是能否重写 sensitivity、GN system、regularization 和 initialization 的计算路径。
- 第三，TT-based global coarse search 是处理非凸 deterministic inversion 的一个实用工具，但它本质上依赖低秩目标和参数网格覆盖；未来应把它和 adaptive refinement / error estimator / trust-region 机制结合。
一句话总结
这篇论文把 tensor-train ROM 从 forward surrogate 推进到 optimization-based inverse problem 的计算内核，真正贡献是用低秩观测映射同时重写评估、GN sensitivity 和离散初始化，但其上限由参数域覆盖和 TT-rank 可压缩性决定。