精读笔记

Problem Setting

这篇论文实际处理的是 MCU 级线段检测的可行性边界，而不是刷新 wireframe benchmark。它把问题定义在一个很苛刻但现实的资源区间：几百 KB 到 1MB SRAM、int8 inference、固定 activation arena、无 GPU/phone 级内存。真正困难点不是线段检测本身，而是已有 learned detector 的中间表示和候选机制默认占用大量 activation memory；而传统 detector 虽可在 CPU 上跑，却缺少 learned saliency，并且数据相关的边缘追踪路径不适合给出静态内存上界。关键矛盾是：结构化线段需要几何选择性和精确端点，但 MCU 约束迫使模型使用极低维、局部、可静态调度的表示。

Motivation

已有路线的问题不是单纯“模型太大”，而是表示和系统假设不适合 MCU。Heatmap/field 方法需要后续 linking 或 squeezing；junction/graph 方法依赖候选组合和 verifier；transformer/direct set prediction 需要全局特征和大容量；mobile LSD 虽轻量但运行内存仍远高于 MCU SRAM。作者的核心观察是：当 activation memory 是 binding constraint 时，参数量不是唯一资源指标，output representation 的学习难度、输出通道数、解码复杂度和量化稳定性会一起决定能不能部署。缺口是缺少一个面向 MCU 的 accuracy-memory-bitwidth frontier，而不是又一个轻量 backbone。

Core Idea

核心思想是将线段实例编码为中心位置上的低维几何对象：center confidence 负责实例存在性，length 和 double-angle 负责恢复无向线段。这个设计本质上给小网络施加强 inductive bias：线段天然是一维刚性几何 primitive，不需要让网络在像素热图或端点集合中重新发现 connectivity。对 25k 参数级模型，这种 bias 比增加一点卷积容量更重要。

和 prior 的本质区别不在于 F-Clip 这个表示本身全新，而在于它被放进了 MCU memory regime 并与量化、activation budget、轻量后处理一起评估。论文真正改变的是优化目标：不追求 GPU parser 的 absolute sAP，而是找出在 sub-MB SRAM 下哪种表示最不浪费学习容量。它把 line parsing 从“复杂结构推理”退化为“局部几何参数化 + 候选重排”，这在资源极限下是合理的降维。

Method

方法上最关键的是三件事。

第一，representation selection。Heatmap 解决不了实例化线段的问题，除非加 linker；center-displacement 需要同时回归两个端点偏移，对小模型和低位宽更脆；center-length-angle 把自由度降到长度和方向，减少几何解码的不确定性。它解决的是小模型下的 assignment/connectivity burden。

第二，quantization study。int8 是部署需求，不是性能 trick；论文的有价值发现是 8 bit 对这个几何头基本够用，但 4 bit 会集中伤害 angle branch。这说明几何回归的量化敏感性和分类 heatmap 不同，不能直接套 TinyML 分类任务经验。

第三，H7 上的 verification-augmented pipeline。容量扩展解决 F746 模型表达不足；sub-pixel decode 对齐 sAP 的端点误差度量；TTA 用延迟换鲁棒性；LoI verifier 解决 raw center detections 中 spurious candidate 排序不佳的问题。这里最重要的不是模块新颖性，而是它们都复用同一内存 arena，把额外精度尽量转化为 compute/post-processing，而不是 peak SRAM。

Key Insight / Why It Works

最核心的有效性来源是 better inductive bias + representation alignment。线段是低维几何对象，center-length-angle 直接匹配这个 latent structure；在极小模型下，这比让网络输出 pixel mask 或两个端点更容易学。双角编码处理了无向线段的 180 度歧义，使角度目标连续性更好，但它也暴露出低位量化下的脆弱性：角度分支动态范围窄，4 bit 网格过粗，误差会被端点重建放大。

第二个有效性来源是 memory-aware scaling，而不是通用 architecture innovation。25k 模型到 0.39M 模型的收益说明，在 1MB 约束下 capacity 仍然有用；但这属于 scaling within budget，不是新的检测范式。TTA 的 18.1 到 21.0 更明显是 test-time compute；LoI verifier 的收益是 candidate re-ranking，接近 L-CNN/HAWP 的老思想，只是压缩到 MCU 可用范围。

我会把论文贡献排序为：第一是 MCU 约束下 representation frontier 的实证判断；第二是 angle regression 的 quantization failure 分析；第三才是 MiLSD 最终系统。最终 24.1 的结果不能被理解为一个 tiny FCN 自身学会了强 wireframe parsing，它是 F-Clip 候选生成 + 更多 SRAM + TTA + verifier 的组合。增益来源部分清楚，但最终 pipeline 的各阶段交互仍有不清楚之处，尤其 verifier 到底修正了 localization、ranking 还是 annotation mismatch。

Relation To Prior Work

它最接近 F-Clip、M-LSD/TP-LSD、L-CNN/HAWP 和 TinyML/MCUNet 这几条线的交叉。F-Clip 提供 center-length-angle 的基本表述；M-LSD/TP-LSD 提供 center-based single-stage detector 的移动端思路；L-CNN/HAWP 提供 candidate verification 的范式；TinyML 工作提供 activation memory 和 int8 deployment 的系统视角。

真正新增的信息不是某个模块，而是把这些已有思想放到 MCU SRAM 约束下重新排序：在 GPU 上，junction/field/transformer 可能更强；在 MCU 上，低维几何表示和静态内存上界优先级更高。看似新的 LoI verifier 本质上是已有 verification head 的压缩版；TTA 和 sub-pixel decode 也不是新技术。实质创新在于：明确展示 learned line segment detection 在 sub-MB memory 里的可行 operating points，并指出 representation 和 bit-width 的相互作用。

Dataset / Evaluation

评估主要基于 ShanghaiTech Wireframe，这能验证 indoor/man-made wireframe parsing 的基本 claim，但不能充分验证机器人或工业场景部署 claim。Wireframe 的结构偏建筑、标注偏显著线段，和 MCU 端可能面对的低照度、运动模糊、纹理边缘、户外结构、工业高反光场景并不等价。论文有资源对比和 activation budget 分析，但真实 on-device latency 和完整 pipeline profiling 文中未充分说明，尤其 H7 的最终 figures 被描述为 software-measured，需要 ST Edge AI/on-target confirmation。

benchmark 支持“在 Wireframe 上 sub-MB learned detector 可工作”这个结论；不充分支持“真实机器人/工业部署已经成立”。sAP 本身也可能惩罚或奖励标注风格：文中提到部分 false positives 是真实但未标注边缘，这意味着 verifier 的上限和 oracle gap 受 annotation policy 影响。评估没有跨数据集、跨相机模型或真实 MCU 视频流，因此泛化 claim 应该保守看待。

Limitation

最大限制是方法没有形成全局结构建模。center-length-angle 是强局部参数化，适合单条 segment 的恢复，但不能表达 junction consistency、共线合并、遮挡关系或场景级 topology。LoI verifier 只是沿候选线采样并重排，不等于全局 reasoning。若候选生成漏掉线段，verifier 无法补救；oracle 仍有明显上限，说明 recall ceiling 是硬问题。

第二，最终精度很大一部分来自 scaling 和 test-time compute。H7 版本比 F746 强，部分原因是更大模型和更多 SRAM；TTA 带来的收益是 latency 换 accuracy；LoI head 是额外监督的候选分类器。因此“MiLSD”不是单一 elegant mechanism，而是 resource-aware engineering stack。这个并非缺点，但需要明确归因。

第三，量化结论仍偏经验。文中指出 int4 伤害 angle branch，但没有充分探索 mixed precision、per-channel quantization、angle bin classification、von Mises/circular loss、endpoint refinement 或 integer-friendly angle parameterization。所谓 4-bit 不可行，可能主要是在当前 per-tensor symmetric quantization 和当前 head 设计下不可行。

第四，真实部署鸿沟仍在。内存 arena 是核心卖点，但完整 H7 pipeline 的实际 latency、功耗、candidate 数量上界、TTA 是否实时、LoI worst-case cost 都没有被充分闭环。对机器人系统来说，稳定帧率和坏例行为与 sAP 同样关键。

Takeaway

• 1. 在极小模型下，output representation 比 backbone micro-optimization 更重要；给任务正确的几何 inductive bias，往往比增加参数更有效。
• 2. TinyML 几何视觉不能直接照搬分类模型量化经验。
• int8 可能够用，但 sub-8-bit 会首先破坏连续几何变量，尤其是角度/方向这种误差会被解码放大的 head。
• 3. 未来值得做的不是把 GPU parser 硬压缩到 MCU，而是重新设计 memory-native representation：低维候选生成、可量化几何参数、固定 activation arena、轻量 verification、必要时用 compute 换 memory。

一句话总结

MiLSD 的位置是 learned line segment detection 向 MCU memory regime 的一次系统性下探：它的真正贡献不是发明新 parser，而是证明在 sub-MB SRAM 下，强几何表示、int8 量化和轻量候选验证的组合比压缩传统大模型更可行。