第07章 数据质量与技术层面的六个判断
本章导读
分析结论错了，追下去八成是数据质量而不是算法。本章对应原报告 3.10—3.11 节，是技术层的最后一章：先讲 ISO 19157-1:2023 到底规定了什么，再给五类质量要素与三条实践要点，最后收束为技术层面的六个判断。要带走的一句话是：标准只提供“怎么量”，不提供“多少算合格”，阈值必须由业务方写进产品规范——多数质量体系做不下去，不是因为不会算指标，而是没人定义及格线。读完你应当能把质量评价拆成可执行的检查项，并知道哪些阈值不能由技术团队自己拍板。
学习目标
读完本章，你应当能够：
- 复述 ISO 19157-1:2023 的定位，说明“不规定最低可接受质量水平”这一条对工程意味着什么；
- 用 3.10 节五类质量要素（完整性、逻辑一致性、位置精度、时间质量、主题质量）各写一条可执行的量测；
- 解释“用户定义的可用性”为什么不能当作标准里的并列要素，并说出正确的实现方式；
- 说明质量报告为什么不随成果交付会产生隐性成本，写出报告应至少包含的三项内容；
- 用 3.11 节六条判断逐条对照一个真实项目的技术栈，标出至少两处不符并说明后果；
- 解释“空间统计进 SQL”与“模型 2 : 治理 8”两条判断在预算与组织上分别意味着什么。
3.10 数据质量：最容易被跳过、也最容易致命的一环
分析结论错了，追下去八成是数据质量而不是算法。空间数据的质量评估有国际标准可循：ISO 19157-1:2023《Geographic information — Data quality — Part 1: General requirements》（2023 年 4 月发布，第 1 版，102 页，ISO/TC 211 归口）建立了描述地理数据质量的组件体系、量测（measure）的内容结构、评价程序与报告原则〔来源：ISO 官网标准页，2023-04〕。
标准里有一句话对工程实践极其重要：它不规定任何“最低可接受质量水平”，这类要求应由产品规范（依 ISO 19131）给出。翻译成工程语言就是——标准只提供“怎么量”，不提供“多少算合格”；阈值必须由业务方注入。这是绝大多数质量评估系统做不下去的真正原因：不是不会算指标，而是没人定义“及格线”。
标准正文的质量要素分五类：
| 质量要素 | 问的问题 | 典型量测 |
|---|---|---|
| 完整性 | 该有的有没有、不该有的有没有 | 漏要素率、多余要素率 |
| 逻辑一致性 | 拓扑、格式、编码是否自洽 | 自相交数、悬挂边数、取值域违规数 |
| 位置精度 | 位置对不对、误差多大 | 与高精度参考的偏差分布 |
| 时间质量 | 时相是否一致、更新是否及时 | 时相偏差、数据现势性 |
| 主题质量 | 分类与属性是否正确 | 分类混淆矩阵、属性正确率 |
实践要点三条：
- 阈值写进产品规范，而不是写在代码里。同一个“分类精度 85%”指标，在耕地监测里可能不合格，在宏观生态评估里绰绰有余。把阈值与业务场景绑定、文档化，才能被审计。
- 质量报告随成果交付。不带质量报告的数据集，下游无法判断可用性，最终只能重做一遍验证——这是行业里最普遍的隐性成本。
- 区分“用户定义的可用性”与标准五要素。业界常把“可用性”当第六类，但 2023 版正文并未把它列为并列要素，而是通过“定义其他领域特定质量部件”的扩展机制处理。要做可用性评分，应实现为自定义量测加用户需求映射，而不是假设标准里有现成类别。
质量与合规的交集：质量记录本身是合规证据的一部分。当监管要求证明“数据满足某类用途”时，能拿出的不是一句承诺，而是可复核的质量评价过程与结果。
3.11 技术层面的六个判断
- 格式已收敛，别再纠结。分析用 GeoParquet、影像用 COG、三维用 3D Tiles、交付用 GeoPackage——2026 年按这个组合走，五年内不会错。
- 单机能力被严重低估。多数“大数据”项目的数据量在单机可处理范围内，先做单机基准测试再决定是否上分布式，能省掉大量运维成本。
- 空间统计进 SQL 是分水岭。热点分析、聚类、异常检测一旦能在引擎内完成，就具备了增量与审计能力，这是分析从“项目”变“产品”的前提。
- GeoAI 的瓶颈在下游而非模型。预算应按“模型 2 : 数据治理与验证 8”分配，反过来一定失败。
- 三维的门槛是坐标与语义，不是渲染。任何三维项目在立项阶段就要确认坐标系、高程基准、构件语义映射三件事，否则后期返工代价极高。
- 质量阈值必须写进产品规范，而不是写进代码。ISO 19157-1:2023 只定义“怎么量”，不定义“多少算合格”；把阈值交给业务方文档化，质量体系才立得住，也才能被审计。
本章小结
- 分析结论错了，追下去八成是数据质量而不是算法；空间数据质量有国际标准可循——ISO 19157-1:2023（2023 年 4 月发布，第 1 版，102 页，ISO/TC 211 归口）。
- 标准只提供“怎么量”，不提供“多少算合格”：最低可接受质量水平应由产品规范（依 ISO 19131）给出，阈值必须由业务方注入，这是多数质量评估系统做不下去的真正原因。
- 五类质量要素是完整性、逻辑一致性、位置精度、时间质量、主题质量；“可用性”在 2023 版正文中不是并列要素，要做可用性评分，应实现为自定义量测加用户需求映射。
- 三条实践要点：阈值写进产品规范而不是代码、质量报告随成果交付、区分用户定义的可用性与标准五要素。
- 质量记录本身是合规证据：监管要求证明数据满足某类用途时，能拿出的应是可复核的评价过程与结果，而不是一句承诺。
- 技术判断里最硬的三条：格式组合（GeoParquet、COG、3D Tiles、GeoPackage）五年内不会错；先做单机基准再决定是否上分布式；三维的门槛是坐标与语义而不是渲染。
- GeoAI 的瓶颈在下游而非模型，预算应按“模型 2 : 数据治理与验证 8”分配，反过来一定失败。
思考与练习
- 取一份你单位交付过的数据集，检查是否附带质量报告；如没有，列出缺失的三项内容与补法。
- 为“分类精度 85%”写两条阈值声明，分别用在耕地监测与宏观生态评估，说明各自依据什么定。
- 辨析：“标准里没写合格线，所以质量无法评估”。用 3.10 节判断这句推论错在哪一步，并给出正确说法。
- 应用：为城市级时空平台项目从 3.11 节六条判断里挑三条写成立项约束，并说明违反后的代价。
- 对你的分析管线做一次单机基准测试，记录耗时与数据量，据此判断是否真的需要分布式。
- 用五类质量要素给你的项目建一张检查表，每类至少一项，标出目前无人负责的那两项。