精读笔记

Problem Setting

这篇论文解决的不是一般 3D scene generation，而是机器人部分探索后的 hierarchical 3D scene graph prediction：给定已观测的房间/物体/可通行结构，预测未探索区域的 room-level floor plan、room category、room connectivity，并进一步填充 object layout。

真正困难点是“部分观测约束”和“全局结构先验”之间的冲突。已观测区域必须被严格保留，未知区域又不能只是局部外推，而要符合室内建筑的房间拓扑、尺度、语义共现和可通行关系。occupancy completion 可以补体素，但很难直接给出可用于规划的 room graph；LLM 可以给出高层结构，但几何不可靠；single-room scene synthesis 则绕开了 building-level topology。

Motivation

已有路线缺的不是生成能力，而是面向机器人使用的中间表示。机器人不只需要“看起来像房子”的图像或 occupancy grid，而需要可查询、可规划、可维护的 room-object hierarchy。3DSG 正好是机器人系统里已经在用的表示，但 prior work 更多做 perception/建图，不做 completion。

作者的关键观察是：partial scene completion 不一定需要训练在 partial scenes 上。只要 generative prior 学到了完整 room graph 分布，测试时通过 diffusion masking/inpainting 把已知部分固定，就可以把完整数据训练得到的先验用于部分观测补全。这绕开了 partial-observation 数据采集困难，也使方法更接近 robotics deployment 中的异构输入。

Core Idea

核心思想是把 floor-plan completion 重新表述为 mixed-domain graph generation，而不是 occupancy generation 或 text-to-layout generation。room 是节点，traversability 是边，几何是连续 latent，语义和边可以保持离散；这些变量在 forward process 中按各自 domain 加噪，但在 reverse process 中通过同一个 graph denoiser 联合恢复。

这个建模方式引入的 inductive bias 很关键：房间不是像素块，而是带语义、形状和可通行关系的 graph entities。相比 occupancy diffusion，它更贴近 planning 所需的抽象层；相比 LLM planning，它把几何约束放在模型原生输出空间中；相比单房间 object synthesis，它把信息流组织为 top-down hierarchy，先决定 room graph，再在 room geometry 条件下生成 objects。

Method

方法中最重要的机制不是 graph transformer 本身，而是 mixed-domain diffusion 的分工：连续 geometry 用 Gaussian diffusion，离散 label/edge 用 categorical diffusion 或连续松弛，然后让 reverse model 在联合 graph state 上预测各 domain 的后验参数。这样做是在解决 domain mismatch：room boundary、room type、connectivity 的统计性质不同，强行全连续或全离散都会损失结构。

room shape 用 point-cloud autoencoder latent 表达，解决的是 polygon/topology 直接生成太不稳定的问题。它把复杂边界压到低维连续空间，使 diffusion 更容易学习，但也把边界质量部分转移给 autoencoder 和后处理。

partial conditioning 本质是 diffusion inpainting：已知完整房间在每一步从 forward corruption 中重采样并 mask 回去，未知房间由 reverse model 生成；部分房间则通过 decode-union-reencode 的方式保证预测边界覆盖已观测边界。这个机制的核心变化是 test-time constraint 不需要专门训练一个 conditional model。

object layer 没有形成新的核心方法，主要是把 MiDiffusion 接到预测出的 room geometry 上。它使 pipeline 看起来端到端，但论文真正的技术贡献集中在 room graph completion。

Key Insight / Why It Works

最可能真正有效的是 representation alignment：作者没有在 dense voxel 空间里学一个最终还要转成 graph 的世界模型，而是直接在 room graph 层建模机器人需要的变量。这个选择减少了无关自由度，也让 connectivity、room count、room semantics 这些规划相关变量进入生成过程，而不是后处理结果。

第二个有效点是 mixed-domain bias。edge traversability 本来就是二值结构，实验也显示 discrete edge 更合适；geometry 则天然连续，用 latent Gaussian diffusion 更合理。这个不是简单 engineering，而是把不同变量的噪声模型和恢复目标对齐到变量本身的统计类型。

第三个有效点是 test-time masking。它不是新思想，接近 diffusion inpainting / layout completion，但放在 hierarchical graph 上很实用。它把完整场景生成模型变成 partial scene completion 模型，避免收集部分探索训练数据。这里的泛化更多来自“完整场景先验 + 约束采样”，不是模型真的理解 exploration dynamics。

需要明确的是，object-level pipeline 和 Hydra integration 更多是系统拼接。增益主要来自 room-layer representation 和 conditioning 方式，而不是端到端 hierarchical reasoning。real-world demo 证明可以接系统，但不能证明生成结果能提升闭环探索或对象搜索。

也要警惕 benchmark bias：3D-FRONT 是设计师生成的 synthetic apartment，axis-aligned floor plans 还被后处理显式利用。模型可能主要学到 apartment layout prior 和数据集风格；MP3D OOD 测试规模太小，不能排除 selection bias。所谓 generalization 更像对输入 partial mask 形态的鲁棒性，而不是跨建筑类型的强泛化。

Relation To Prior Work

这篇最接近三条线的交叉：graph diffusion/DiGress、layout diffusion/MiDiffusion、robotics 3DSG/Hydra。它不是从零发明新的 diffusion family，而是把已有 discrete-continuous diffusion 和 graph denoising 组合到 room-level scene graph prediction 中。

和 DiffuScene/MiDiffusion 这类 object layout synthesis 的本质差异是层级位置不同：prior 多在单房间内生成 objects，这篇把生成目标上移到 room graph，并把 object generation 作为 downstream conditional module。和 SSC 的差异是表示选择：SSC 预测 occupancy/semantic volume，适合局部几何，但缺少显式 room topology；本文直接预测 planning-friendly topology，但牺牲了局部边界精度。和 LLM/AnyHome/Holodeck 的差异是几何 grounding：LLM route 借语言或程序规划结构，本文在连续几何 latent 中学习分布。

实质创新在于 room-level mixed-domain graph diffusion 加 partial graph conditioning。看似新的 hierarchical 3DSG pipeline 其实是已有 Hydra + room predictor + MiDiffusion 的系统重组；真正新增的信息是如何在 room graph 层联合建模 shape/category/connectivity，并让完整数据训练的 prior 支持 partial completion。

Dataset / Evaluation

评估覆盖了 synthetic in-distribution completion、small-scale MP3D out-of-distribution partial graph completion，以及真实 RealSense + Hydra pipeline demo。这个组合能支持一个有限 claim：room-level graph diffusion 比 occupancy 和 LLM baselines 更适合生成带拓扑的 floor-plan completion，并且在输入形态变化时比 SSC 更稳。

但 evaluation 没有充分支持更强 claim。MP3D 只有 6 个单层 apartment、30 个 partial graphs，OOD 泛化证据偏薄。真实世界部分主要是可视化，没有闭环 exploration、object search success rate、planning regret 或 uncertainty-aware decision metric。object layer 没有联合评价，room-object consistency 也没有强验证。

指标本身也有偏向。FID/KID on top-down render 衡量 layout realism，但不一定对应机器人可用性；graph MMD 衡量统计相似，不衡量特定 partial observation 下的正确性；IoU/overlap 对不同方法约束不同，SSC 零 overlap 部分来自表示设计。整体上，实验能证明 representation-level advantage，但不能证明 world-modeling 能力已经足够支撑决策。

Limitation

第一，方法依赖固定最大节点数和 padding empty label，scalability 上限明显。更大建筑、多楼层、非 apartment、开放空间或复杂连通结构会放大 fully connected graph transformer 和 fixed-N formulation 的问题。

第二，room boundary latent 和后处理承担了大量几何负担。TSP ordering、RDP simplification、axis-aligned projection 都可能把生成质量的一部分转移到 engineering pipeline。特别是 3D-FRONT axis-aligned prior 被显式利用，增益来源不完全是 learned model。

第三，泛化能力可能主要来自数据覆盖和 representation abstraction，而不是真正的 spatial reasoning。模型学的是 floor-plan distribution prior；partial input 只是约束采样。如果观测片段来自不在训练分布内的建筑类型，预测可能会退化成 plausible hallucination。

第四，top-down independence 假设限制了层级一致性。object layouts 按 room 独立生成，跨房间功能关系、全局 household activity pattern、长期任务相关对象分布都没有被建模。所谓 hierarchical scene graph prediction 目前更像分层生成流水线，不是统一 probabilistic world model。

第五，没有不确定性和多模态评估。对于探索和搜索，预测一个 plausible completion 不够，关键是 posterior over possible worlds 是否 calibrated，以及 planner 能否利用多假设降低风险。文中未充分说明这一点。

Takeaway

• 最值得记住的是：机器人 scene completion 不应默认在 occupancy space 做，room graph 是更接近决策变量的生成空间。
• 表示选对后，很多“推理”问题会变成更容易的 conditional generation。
• mixed-domain modeling 是可迁移 insight。
• 凡是任务同时包含连续几何、离散语义和离散关系，强行统一成单一 domain 往往损失 inductive bias；domain-specific corruption + joint denoising 是一个干净的设计模式。

一句话总结

这篇论文把室内场景补全从 occupancy/text layout 迁移到 mixed-domain hierarchical room graph diffusion，是一次以表示和条件采样机制为核心的 3D scene graph generation 演化，而不是单纯的更大生成模型。