工作台
五层架构:入口 · 生成 · 测评 · 质检 · 数据。每次只推进一步,不跳步。
达标闸门(任一不过即不合格)
流水线
投喂面与答案面必须物理隔离:题面、附件只进投喂面;标答、考点、难点清单只进答案面,两栏永不同目录。
00 架构总览
出题不是写题,是一套可核验的判据工程。下到上是四层:法则定边界,技能定流程,通道定可行性,基准定尺。
一、四层架构(下为上位约束)
| 层 | 件 | 管什么 | 体积 / 指纹 |
|---|---|---|---|
| L0 元宪法 | META-LAW-000 | 效力位阶与改动流程,十条 | 4,096 B · cb3aa7e8 |
| 元法则 | META-LAW-012 投喂面保真 | 素材不得转录加工,只换载体 | 4,526 B · 1b05654c |
| 元法则 | META-LAW-013 素材原始性 | 必须真实原件,只做品牌脱敏 | 4,558 B · 3ba08b8e |
| 元法则 | META-LAW-014 专家判断力 | 考判断不考计算,十条 + 十二判据 | 5,498 B · ec215aa7 |
| 元法则 | META-LAW-015 难度靶心 | 打弱项不打强项,八条 + W1–W7 | 4,196 B · 779932d0 |
| 技能层 | exam-pack-builder | SKILL.md 11,006 B + 八个 references + 两个脚本 | 八件套闭环 |
| 通道层 | vision_selftest.py | 原始件换载体投喂,分批读件 + 流式作答 + 落盘 | 已实测可用 |
| 基准层 | benchmark-model-ladder.md | B0/B1/B2 三级基准,跨模型测试契约七条 | 4,833 B |
冲突时次序固定:012/013 素材真实性优先于 014 出题形式,014 优先于 015 难度选择。三十三件固化资产一律 444 只读,改动需人工审批解锁。
二、自测通道能力矩阵(实测,非推断)
| 原始件 | 换载体路径 | 结果 | 实测证据 |
|---|---|---|---|
| xlsx | libreoffice → PDF → pdftoppm 400dpi → PNG → JPEG(1800/q75) | 可用 | 模型读出「网线_六类_非屏蔽_8芯_305m / 金额 10080」,并准确抄出料工费合计 ¥21,448.84、价税合计 ¥23,379.24,与真值一致 |
| pdftoppm 直转 PNG | 可用 | 纯矢量弱电图无文本层,渲染后位图可读 | |
| png / jpg | 直接 base64 内联 | 可用 | 图例图正确数出 9 类符号并逐类命名 |
三、基准线三级(不因一次结果换尺)
| 级 | 模型 | 定位 | 判读规则 |
|---|---|---|---|
| B0 | 讯飞 spark-x2.6 | 下限基准 | 只收文本,测不到就只当「够难」的必要条件,不能当充分条件 |
| B1 | 平台质检模型 | 真实判据 | 我方测不到,只等回执;回执说「太简单」才上调基准 |
| B2 | 外部强模型(claude-opus-4-8 等) | 上限探针 | 保守测法:强模型已 ≤50 分,平台能力更高,大概率也 ≤50 分 |
铁规:不因一次结果换基准,换基准等于换尺。加条数硬压分数不算调难。
四、三步顺序(颠倒则结论全错)
得分低先查通道:页有没有真的进上下文、附件有没有被换成占位文本。通道不通时的低分一律作废,不得据此判难度。
五、真实实测记录 · 三题分数谱(同一模型 claude-opus-4-8,达标线 ≤50)
三题同一通道、同一模型、同一判分口径,全部达标。Q44 首测 61 分未过关,收紧评分标准后复测 33 分——失分全在归属判断:图能不能作依据、要不要核减、设备费该不该排除。
Q46 · 双厂房预算信息点基数多义
| 项 | 断言 | 分值 | 得分 | 证据 |
|---|---|---|---|---|
| B1 | 信息点基数不唯一(≥3 种) | 20 | 0 | 只列 487 与 70,并明示「不存在同名不同值的冲突」 |
| B2 | 487 = 445 + 23 + 19 且含无线点 | 10 | 10 | 完整拆出构成,指明服务类布线按 487 |
| B3 | 464 基数与 34,350÷464 = 74.03 | 12 | 0 | 未出现 464,未做折算 |
| B4 | 网络模块 435 为第三基数 | 12 | 0 | 该页已读到,未识别为另一个基数 |
| B5 | 网络跳线 474 为第四基数 | 10 | 0 | 同上 |
| B6–B8 | 配线架缺口 / 布线档位缺依据 | 30 | 0 | 未查配线架端口,未提两项目 70 与 58 的档位差异 |
| B9 | 修复顺序:先定口径再算数 | 10 | 0 | 给的是「先清零 AP → 再重算」,未围绕口径统一 |
结论:低分来自真难度,不是投喂缺陷。PDF 文本层已核验 34,350、435、474 均在 D30 第 3 页,而该页内容被作答引用,可证该页确已进入模型视野。另两次运行因「历史图像被换成占位文本」作废,不计入难度判定。
Q45 · 双清单交叉复核与规则冲突裁决 —— 7 分(达标)
| 条 | 断言 | 分值 | 得分 | 判定依据 |
|---|---|---|---|---|
| B1 | 布线双单价 58 / 70,D26 按 70 计 | 12 | 0 | 全文未提两个单价并存;已核两行确在 D26 服务类序1、序2 |
| B2 | 计费点数含无线点,多计 1,334 / 490 | 18 | 0 | 反向判「487=445+19+23 可核平」——数值守恒即判正确,未做二次归属 |
| B3 | 该缺陷两项目重复、模板级 | 10 | 0 | 有模板级表述,但对象是「交换机安装单价 0」,不是 B2 缺陷 |
| B4 | D26 需求 0 台 vs 设备页 1 台 | 10 | 0 | 明确反向:判「两份均对平,无未批先估」 |
| B5 | 设备费未入价税合计,补 1,853 / 56,680 | 12 | 0 | 判「1,700 按流程另走信息化申请,已正确排除」等——与标答完全相反 |
| B6 | D30 主差额 61,027.00、修正 258,655.8446 | 18 | 0 | 无此二数,只给 197,628.84 + 4,347 = 201,975.84 |
| B7 | D26 修正 25,232.2356 | 10 | 0 | 判 D26 修正后仍为 23,379.24,未加 1,853 |
| B8 | 少计与多计分列、未相抵 | 10 | 7 | 确有两栏未合净额,但「多计(应扣)」为空,未列 1,824 |
Q44 · D30 点位与预算清单一致性复核 —— 33 分(v1.2 达标;v1.1 首测 61 分未过关)
| 条 | 断言 | 分值 | 得分 | 判定依据(v1.2) |
|---|---|---|---|---|
| A1a | 不得以图数点 | 12 | 0 | 未声明图不作依据,反把图纸列为依据之一 |
| A1b | 覆盖范围:图仅一层、清单两批次 | 8 | 0 | 方向相反——判“附件3 含总平面图、改造范围图,覆盖面完整” |
| A2 | 门禁缺口:19 点、无设备无服务 | 17 | 8 | 19 点与“卡机无料号、无报价依据”齐,未明列无安装服务 |
| A3 | 布线不得核减(一票制) | 9 | 0 | 只判 487 闭合,未就核减表态(v1.2 取消原 4 分档) |
| A4 | AP22–44 = 23 台 × 2,100 | 7 | 7 | 台数与金额齐 |
| A5 | 面板不得核减 | 6 | 6 | 显式判“面板 160 缺设计依据,材料不足,不作错误结论”,无“疑”字 |
| A6 | 六类不判超量 | 2 | 2 | 每点网线长度判材料不足 |
| A7 | 图例 9 类映射 + 卡机无对应 | 3 | 3 | 全映射并标出卡机缺行 |
| A8 | 汇总漏计 52,000 / 含税 56,680 | 12 | 0 | 抓到 52,000,未给 56,680,且把 46,200 判“走信息化申请,本预算合理排除”→ 触发不得分条件 |
| A9 | AP 未计税、少 4,347 | 11 | 11 | 定位 AP 48,300 未参与 9% 计税,给 4,347.00 |
| A10 | 五份齐 + 不放行 + 差额 61,027 | 8 | 3 | 五份齐(01–05)、判“退回补正”,未给 61,027.00 |
| A11 | 版本取舍:取 11-03 弃 10-28 | 5 | 5 | 点名两版日期、声明采用 11-03、给理由 |
01 新题创建
L1 入口层:场景 + 真实素材。只认真实素材,不虚构。
真实业务场景
真实素材(三通道)
每个素材都要标真实性:真实工程件 / 生成内容。生成内容不得充当附件,否则会被判 AI 出题。
快捷示例
02 任务卡
L2 生成层第一件:场景与素材提炼成结构化任务卡。
03 六件套 + 难点台账
六件套:场景背景 · 题目本体 · 考点 · 作答思路 · 标准答案 · 答案附件。第七件是隐藏难点台账。
隐藏难点台账(8–15 条,每条须挂考点)
| 难点 | 藏在哪(页/行/字段) | 对应考点 | 性质 |
|---|
04 实测台
题目原样喂给通用大模型,不带任何辅助提示。判据只看平台记录,不看模型自述。
05 判分台
逐条 TRUE / FALSE,不凭整体观感。合计型与一票制按预设规则处理,不临时扩大扣分。
| # | 断言 | 权重 | 类型 | 判定 | 备注 |
|---|
06 质检关
每题必过三关:经济价值 · 完备性 · 真实性。
07 归档
L5 数据层:导出 JSON、生成真值网关键、回读校验清单。写入返回成功不等于落库。
导出
真值网关
POST /api/report/truth,body = {"key": ..., "value": {...}},value 不得为空。写入后必须回读,seq 非空且 count>0 才算成功。
08 题库
按状态筛选、按得分排序。状态机推动题目自己往下走。