第04章 精度、断点与基准：技术能力的真实边界
本章导读
精度到顶之后，决定项目成败的就不再是模型。本章对应原报告 3.3—3.6 节，接上一章 3.1—3.2 的五层架构往下讲：3.3 用一张公开精度表说明任务层已进入饱和区，并指出建筑足迹 F1 停在 0.68—0.75 的原因是标注定义而非模型；3.4 给出坐标投影尺度、样本分布、L4→L5 接口三类系统断点；3.5 逐条拆 mIoU、F1、OA 等指标各自的陷阱；3.6 用复现偏差、任务形式不匹配、答案泄漏三个警告信号质疑基准本身。最该带走一句：基准分数只能筛掉明显不合格的方案，不能用于选型定标。
学习目标
读完本章，你应当能够：
- 复述 3.3 节变化检测的公开精度区间（LEVIR-CD 上 F1 91.15%—92.41%、WHU-CD 上 F1 95.95%），并解释“饱和”的判据是方法间差异小于标注噪声；
- 用建筑足迹提取 F1 从 0.682 到 0.747 的例子，说明“标注定义导致的天花板”为什么比模型结构更关键；
- 用 3.4 节三类断点（坐标投影与尺度、样本分布与业务分布、L4→L5 接口成本）各写一条工程对策；
- 判断 mIoU、F1/IoU、OA、误报漏报率、PSNR/SSIM 各自在什么场景下会误导，并写出规避办法；
- 写出报告精度时必须同时给出的六项信息：数据集、划分方式、阈值、是否使用预训练权重、是否跨域测试、样本量；
- 用 3.6 节三个警告信号判断一份基准评测结论能否作为选型依据，并说明复测机制该怎么约定。
3.3 任务层：精度已进入“饱和区”
这是本报告最重要的技术判断之一。把 2025—2026 年公开论文的数字汇总后，可以看到清晰分层：
| 任务 | 公开精度区间（2025—2026） | 判断 |
|---|---|---|
| 建筑物变化检测（LEVIR-CD） | F1 91.15%—92.41%，IoU 81.45%—85.89% | 已饱和 |
| 建筑物变化检测（WHU-CD） | F1 95.95%，IoU 91.04% | 已饱和（数据集更易） |
| 建筑足迹提取（倾斜航空影像） | F1 0.682（仅足迹）/ 0.727（+屋顶）/ 0.747（+形状） | 未饱和，天花板由标注定义决定 |
| 全球建筑密度/高度制图（TEMPO） | F1 85%—88%，五年趋势一致性 0.96 | 粗分辨率产品的独立口径 |
| 三维室内点云语义分割（S3DIS） | mIoU 71.7%—76.2%，mAcc 77.6%—83%，OA 约 90%—92% | 室内静态场景可用 |
| 大场景 3DGS 重建（城市级） | 相对 NeRF：PSNR +10—13 dB，SSIM +0.3—0.4 | 渲染指标，非量测指标 |
“饱和”的含义需要说清楚：三个 2025 年发表的变化检测方法（RFHP-CD、FAEWNet、RoCD）在 LEVIR-CD 上全部落在 F1 91%—92.5% 区间，差异小于标注噪声。这意味着继续优化模型结构对业务的边际价值已经极低——真正的痛点转到跨数据集稳定性（LEVIR-CD→WHU-CD→S2Looking）与弱监督条件下的表现。
而建筑足迹提取的 F1 只有 0.68—0.75，原因不是模型差，是“标签定义”不同：仅足迹、加屋顶、加形状三种标注口径，F1 从 0.682 提升到 0.747。这类“标注定义导致的天花板”在业务落地中比模型结构更关键。业务选型的第一问应当是“口径”，而不是“精度”。
3.4 三个技术断点：为什么“模型能用”不等于“系统能跑”
在公开工程材料中反复出现三类断点，它们不是模型问题，而是系统问题。
断点一：坐标、投影与尺度的隐式假设。 遥感模型通常在固定分辨率、固定投影、规则网格上训练；GIS 生产数据却是多坐标系、多尺度、非规则边界。直接推理会出现“精度看起来正常、位置系统性偏移”，且难以察觉。工程对策是在推理前后加显式的坐标与尺度校验环节。
断点二：样本分布与业务分布不一致。 训练样本常来自“好做的区域”，业务关心的恰是“难做的区域”（山区、云雨区、城市边缘、地貌过渡带）。结果是总体精度漂亮、关键区域漏报不可接受。对策是按业务重要性分层采样与分层评估。
断点三：L4→L5 的接口成本。 模型输出是栅格概率图，业务系统要的是矢量图斑、属性和可审核的变更记录。这段链路的成本有明确证据：超图 2025 版专门增加“增量平差”“自动构建镶嵌线（规避建筑物与云区）”“自适应匀色”等生产能力工具，说明上游影像生产的几何与辐射一致性仍是 AI 解译的前置条件。自然资源部国土卫星遥感应用中心 2025 年 8 月发布的 SatAI V1.0，明确把“样本采集制作—模型训练—智能解译—指标分析—成果应用”做成全流程平台，其定位就是压缩这段接口成本。
3.5 精度评价：为什么“mIoU 85%”说明不了业务问题
| 指标 | 适用 | 陷阱 |
|---|---|---|
| mIoU | 多类别语义分割 | 类别不平衡时被大类主导；小目标改进被淹没 |
| F1 / IoU | 二类变化检测、建筑提取 | 与阈值强相关；不同论文阈值不同，不可比 |
| OA（总体精度） | 快速汇报 | 类别不平衡下虚高（背景占 95% 时 OA 可达 95%） |
| 误报率/漏报率 | 执法、督察等业务 | 业务代价不对称，须分别设阈值 |
| PSNR/SSIM/LPIPS | 重建与渲染 | 与几何精度无单调关系 |
| 趋势一致性 | 时序制图产品 | 需多年份独立标注验证 |
报告精度时必须同时给出六项信息：数据集、划分方式、阈值、是否使用预训练权重、是否跨域测试、样本量。缺任何一项，数字都不可比。
“查全率优先”是测绘与自然资源类业务的行业惯例，因为漏报代价（违法用地未发现、灾害隐患未识别）远高于误报代价。但误报率过高会让人工复核负担反而上升，形成“AI 很忙、效率没升”的假象。最优工作点不是指标最优，而是“总人力成本最小”的那个点。
3.6 基准本身可信吗：三个警告信号
2026 年的复现研究给出了值得警惕的数字：
- 复现偏差：在同一协议下重新复现时，TerraMind-Large 的 PANGAEA 平均 mIoU 为 60.22 ± 0.41，不同实现之间存在系统性偏差，部分公开结果难以复现。
- 任务形式不匹配：GEOBench-VLM 的作者明确提示，通用视觉语言模型（VLM）在地理空间任务上的低分部分源于“任务形式不匹配”，而非纯粹能力不足。
- 答案泄漏：Google 的评测中 UnivEARTH 基准上独立 LLM 已达 93.6%，作者自己指出原因是“源自 NASA 的文章与答案可在公开网络获取”。
工程结论：基准分数只能用于“筛掉明显不合格的方案”，不能用于“选型定标”。 选型必须以目标区域的抽样验证为准，样本量按二项分布置信区间估算（例如要求 F1 的 95% 置信区间半宽 ≤2%，需数百个正样本量级），并在合同中约定验收数据集与复测机制。
本章小结
- 建筑物变化检测在 LEVIR-CD 上 F1 已落在 91.15%—92.41%、IoU 81.45%—85.89%，三个 2025 年方法全部落在 F1 91%—92.5% 区间、差异小于标注噪声，任务层进入饱和区。
- 饱和不等于全任务饱和：建筑足迹提取 F1 只有 0.682—0.747，瓶颈是仅足迹、加屋顶、加形状三种标注口径，业务选型的第一问应当是“口径”而不是“精度”。
- 三类断点是系统问题不是模型问题：坐标投影与尺度的隐式假设会造成“精度看起来正常、位置系统性偏移”，样本分布与业务分布不一致会造成总体精度漂亮而关键区域漏报，L4→L5 的接口成本有超图 2025 版生产工具与 SatAI V1.0 全流程平台作为证据。
- 精度评价必须成对给指标与陷阱；报告精度时须同时给出数据集、划分方式、阈值、预训练权重、是否跨域测试、样本量六项信息，缺任何一项数字都不可比。
- 测绘与自然资源类业务惯例是查全率优先，因为漏报代价远高于误报；但误报率过高会让人工复核负担上升，最优工作点不是指标最优，而是“总人力成本最小”的那个点。
- 基准本身要打问号：TerraMind-Large 复现的 PANGAEA 平均 mIoU 为 60.22 ± 0.41，GEOBench-VLM 的低分部分源于任务形式不匹配，UnivEARTH 上独立 LLM 的 93.6% 被作者指为答案泄漏。
- 工程结论：基准分数只能用于筛掉明显不合格的方案，选型须以目标区域抽样验证为准，样本量按二项分布置信区间估算，并在合同中约定验收数据集与复测机制。
思考与练习
- 结合你的项目，列出当前使用的精度指标，按 3.5 节逐条写出它们的陷阱与你会补的配套指标。
- 辨析：甲方要求“mIoU 到 85% 才验收”，乙方说“这个数字说明不了业务问题”。用 3.5 节两张表分别支撑，再给出你建议写进合同的替代口径。
- 应用题：某市变化检测项目要求“查全率不低于 95%”。按 3.4 与 3.6 节写出坐标尺度校验、分层抽样评估、复测机制三项前置动作的具体做法。
- 取一篇你读过的遥感论文精度表，按 3.6 节判断它够不够作选型依据，缺哪项信息就写哪项。
- 你的训练样本来自什么区域、业务最关心的区域是哪里？按 3.4 节说明这种分布差异会以什么指标形式暴露。
- 用 3.3 节的数字说明：为什么继续优化模型结构对变化检测业务的边际价值已极低，真正的痛点转到了哪里。