TECHNICAL WHITEPAPER · V1.0

自愈式数据管道

大规模公开数据采集的治理方法。核心主张:采集的护城河不在「采到」,而在「采得干净、错得起、能自愈」——治理管道本身就是产品。

版本 V1.0 · 2026年11月14日 篇幅 全八章 素材 真实运行管道数十轮班次 口径 案例已全部去标识化

一、问题:覆盖越广,脏数据越贵

大多数数据采集项目的失败,不是采不到,而是采回来没人敢用。当采集范围从一个城市扩到覆盖全国县镇的规模时,第一个教训就是:脏数据的清理成本随覆盖面积超线性增长——覆盖翻倍,混乱不止翻倍。

混乱来自四个源头天然的性格差异:

由此沉淀出问题分类框架,所有后续机制都对着它开药:

四类混乱

身份混乱——同名异地、一店多名、业态与名称不符;位置漂移——坐标错误、区域编码混入、归属地张冠李戴;重复冗余——多源重复入库、同主体反复出现;时效腐烂——主体已消失或变更,记录仍在线上。

方法论的第一句话由此而来:先给混乱分类,再谈治理;没有分类的清理,只是把脏数据搬了个地方。

二、采集架构:四源轮转与增量队列

管道的骨架是一句话:来源互补,队列唯一,入库幂等。

四源轮转地图 / 工商 / 政采 / 网页按班次轮换采集
→
清洗标化命名归一、编码核实、置信评估
→
增量队列统一排队、键去重防重
→
入库留痕重复即跳过、动作全留痕

架构上最大的取舍是宁慢勿错:队列排多长都行,跳过一班也行,但不让一条未核实的记录绕过队列直进库。

三、限流与熔断:把服务方配额当第一公民

采集管道和外界最脆弱的接口是公共数据服务的配额。多数项目死于此:配额被打爆,访问资格被封,管道一夜归零。

我们的原则是退让式采集,三个层次:

实战验证

这条链路经历过整波熔断加数日等待后无损补采的完整考验。对服务方克制的管道,才配长期活下去——这是全书最不像技术、却最救命的一章。

四、质量三闸:降置信、属地校验、双源核实

在清洗与入库之间设三道闸,各管一类混乱、各有一个明确的取舍:

三道闸共同的哲学:拒绝要慢,通过要留痕。宁可让脏数据带着标注入库等复核,也不让真实数据被静默丢弃。

五、判例式纠错:让每一次错误只犯一次

传统数据治理靠「规则清单」:遇到问题 A,写规则 A。但清单永远追不上现实——新花样每周都在出现。我们改用另一个模型:像法庭一样运作纠错。

机制很简单:定期回访已入库的记录(巡逻),每次纠错不只是一个动作,而是一次裁决;裁决沉淀为判例,后续所有班次自动遵循。

判例一 · 下架须双查

某类记录疑似主体消失。单看一个来源不能定生死——必须两个独立来源交叉复核后才可下架。此后所有类似情形照此办理,不再逐次争论。

判例二 · 存疑仅保留

另一类记录查证后仍存疑。裁决是不删不改、保留观察,把「查不清」与「确认错」区分开——宁可留一条存疑,也不错杀一条真实。

这套机制的妙处在于纠错成本递减:第一个案例花一个班次,第二个案例花五分钟。运行数月后,绝大多数新问题都能在既有判例里找到答案,人工介入频次持续下降——这就是「自愈」二字的含义:系统越运转,越不需要人来扶。

配套纪律只有一条:只增不覆盖。判例永远追加、永不改写历史裁决,错了就出新判例修正方向——这保证了任何一天的纠错逻辑都可以被完整回溯。

六、可验证性:可复算优于已声明

数据产品最难回答的问题是:「我凭什么相信你说的质量指标?」我们的答案是把验证权交给任何怀疑者——所有结论必须可被独立重算。

两件事合起来构成管道的诚信底线:体检结论必须能被第三方按同样的方法重跑出来。凡是重算不出来的数字,一律不写进对外材料。

七、边界与合规:只采公开、联系方式本人授权

治理管道跑得越远,越要把边界刻死。三条铁律:

合规不是白皮书末尾的一句口号,而是管道设计的输入:正因为联系方式必须本人授权,采集架构才需要在入库时就把「公开可采」与「授权可展」分层——这一章反过来解释了前几章的很多设计。

八、效果与迁移:治理即产品

全书收束成一张可迁移的清单。任何一条要长期生长的数据管道,都值得问自己七个问题:

  1. 你的混乱分过类吗?还是只有一条条孤立的「脏数据」?
  2. 多源冲突时,你有没有预设谁更可信?
  3. 被服务方限流时,你的管道是硬扛还是退让?
  4. 拒绝一条数据的代价,和错杀一条数据的代价,你算过吗?
  5. 上一次的纠错经验,能让下一次自动受益吗?
  6. 你的质量指标,第三方能重算吗?
  7. 合规是事后的道歉,还是事前的设计?

七个问题都答得上,管道就有了自愈的前提。答案本身不重要——重要的是这些问题被永久地刻进了流程,而不是记在某个人脑子里。覆盖会老去,采集会过时,只有治理方法可以一直活下去。

本白皮书全部机制与判例来自真实运行班次,案例已去标识化,数字与配额细节按发布当期口径复核。版本 V1.0 · 2026年11月14日 · 火斗云智 AIOS 工程实践系列。
主页·流水线·产品·状态