它不是爬虫。它每天定时抓取七个官方赛事源,按硬门槛与软门槛做资格判定, 识别 HTTP 200 背后的反爬页面,对多口径日期做降级处理,把已核实的赛事脱敏后发布为公开精选库。 判断先做完,人只做最后一步决策。
七个源依次抓取、计算内容指纹、比对台账。魔搭源内容发生变化,新条目「虹桥国际科技周黑客松」进入候选队列。
判定:check · 待核脚本给出的理由是「需核实:需到现场」。打开官方详情页逐条核对:报名不走现场、支持个人报名、线上可完成。 Agent 保留原判定不改写,由人改成可打——这正是它设计上的分工。
人工复核后:eligible · 可打条目进入 23 项台账,状态 registered,并标注「纯线上提交」的约束。缺口与下一步动作一并落到台账里,不靠人记。
台账:第 23 项 · registered七个官方源逐一抓取。静态页直接解析;对单页应用启动无头浏览器渲染,监听运行时数据请求,拿到静态抓取拿不到的正文。
抽取日期集合与赛事名集合作为内容指纹,与上一轮比对。按硬门槛、软门槛、行动项三级判定每一条赛事是否可打。
源页变化、日期与台账不一致、源不可达,按等级告警。七天内的截止项单独测算压力,已提交项不计入。
已核实的赛事生成对外精选库。生成时清洗内部词表,发布前逐字段扫描,任一命中即阻断发布。
| 赛事源 | 状态 | 响应体 | 抓取耗时 | 识别结论 |
|---|---|---|---|---|
| 魔搭社区赛事modelscope.cn | 可达 | 146,053 B | 566 ms | 正常 · 内容已变化 抓取 8 个日期、8 个赛事名,比对后进入候选队列 |
| 华为云大赛developer.huaweicloud.com | 可达 | 7,062 B | 81 ms | 正常 · 静态列表 列表页信息有限,赛事详情需另行取页确认 |
| 阿里云天池tianchi.aliyun.com | 可达 | 47,513 B | 193 ms | 正常 · 静态列表 抓取 3 个赛事名,未检出本期新增 |
| Kagglekaggle.com | 不可达 | 20,475 B | 1,264 ms | 假可达 · 反爬验证页 HTTP 200,但正文是验证挑战页,不是赛事列表 |
| Aholo 官方aholo3d.cn | 可达 | 4,228 B | 282 ms | 正常 · 运行时渲染后取得 静态正文仅 71 字符,渲染后抓到 10 个日期、6 个赛事名 |
| OPC 圈活动opcquan.com | 可达 | 2,201,022 B | 3,329 ms | 正常 · 聚合站,日期降级 抓取 47 个日期、36 个名称,日期仅作参考、不作依据 |
| 讯飞 AI 开发者大赛challenge.xfyun.cn | 可达 | 71,743 B | 196 ms | 正常 · 静态列表 抓取 4 个赛事名,其中一条进入本期候选 |
表面信号:请求成功,拿到了 2 万字节正文。
正文实际是反爬验证挑战页。如果只看状态码,会得出"该源 0 条赛事"的结论——这个结论是错的,它会把一个活跃源当成空源,长期静默漏赛。
处置:判为不可达,不出候选、不改台账,按 P2 告警上报。要真正打通需走官方认证接口,属于成本决策,不擅自推进。
表面信号:请求成功,但静态正文只有 71 个字符。
它和 Kaggle 一样"抓不到内容",但根因相反:不是被拦截,而是内容由前端运行时加载。按反爬处置会误判,按空源处置会漏赛。
处置:启动无头浏览器,监听运行时数据请求,等页面脚本执行完再取正文。渲染后拿到 10 个日期、6 个赛事名。同一个"抓不到",修法完全不同。
表面信号:数据最丰富的一个源,抓到 36 个赛事名。
但它是第三方聚合站。本期比对出 3 条日期与台账不一致:12-31 对 12-01、12-05 对 11-30、12-10 对 12-06。三处全是聚合站口径与官方口径的偏差。
处置:聚合站日期降级为参考,不作为日期依据,不据此产候选、不据此改台账。数据量大不等于可信度高。
星火杯 · 大模型应用创新赛
虹桥国际科技周黑客松
台账 23 项的状态分布。「已放弃」是其中最长的一段,它同样是判断结果:判断不去的,也要留痕。