工作台

五层架构:入口 · 生成 · 测评 · 质检 · 数据。每次只推进一步,不跳步。

达标闸门(任一不过即不合格)

流水线

场景 → 真实素材 → 任务卡 → 六件套 → 裸模型实测 → 逐条判分 → 三道质检 → 落库归档

投喂面与答案面必须物理隔离:题面、附件只进投喂面;标答、考点、难点清单只进答案面,两栏永不同目录。

00 架构总览

出题不是写题,是一套可核验的判据工程。下到上是四层:法则定边界,技能定流程,通道定可行性,基准定尺。

一、四层架构(下为上位约束)

层件管什么体积 / 指纹
L0 元宪法META-LAW-000效力位阶与改动流程,十条4,096 B · cb3aa7e8
元法则META-LAW-012 投喂面保真素材不得转录加工,只换载体4,526 B · 1b05654c
元法则META-LAW-013 素材原始性必须真实原件,只做品牌脱敏4,558 B · 3ba08b8e
元法则META-LAW-014 专家判断力考判断不考计算,十条 + 十二判据5,498 B · ec215aa7
元法则META-LAW-015 难度靶心打弱项不打强项,八条 + W1–W74,196 B · 779932d0
技能层exam-pack-builderSKILL.md 11,006 B + 八个 references + 两个脚本八件套闭环
通道层vision_selftest.py原始件换载体投喂,分批读件 + 流式作答 + 落盘已实测可用
基准层benchmark-model-ladder.mdB0/B1/B2 三级基准,跨模型测试契约七条4,833 B

冲突时次序固定:012/013 素材真实性优先于 014 出题形式,014 优先于 015 难度选择。三十三件固化资产一律 444 只读,改动需人工审批解锁。

二、自测通道能力矩阵(实测,非推断)

原始件换载体路径结果实测证据
xlsxlibreoffice → PDF → pdftoppm 400dpi → PNG → JPEG(1800/q75)可用模型读出「网线_六类_非屏蔽_8芯_305m / 金额 10080」,并准确抄出料工费合计 ¥21,448.84、价税合计 ¥23,379.24,与真值一致
pdfpdftoppm 直转 PNG可用纯矢量弱电图无文本层,渲染后位图可读
png / jpg直接 base64 内联可用图例图正确数出 9 类符号并逐类命名
体积红线 单请求 body 约 3 MB 为上限:27 页 2.92 MB 通过,29 页 3.2 MB 被网关断开
张数红线 单请求图片过多会被提前断连,靠压缩而非切批解决;切批会把历史图像挤出上下文
不转录 换载体只改呈现介质,不改一字、不重排、不摘取;表格线、空行、红字、页边截断等原始噪声全部保留

三、基准线三级(不因一次结果换尺)

级模型定位判读规则
B0讯飞 spark-x2.6下限基准只收文本,测不到就只当「够难」的必要条件,不能当充分条件
B1平台质检模型真实判据我方测不到,只等回执;回执说「太简单」才上调基准
B2外部强模型(claude-opus-4-8 等)上限探针保守测法:强模型已 ≤50 分,平台能力更高,大概率也 ≤50 分

铁规:不因一次结果换基准,换基准等于换尺。加条数硬压分数不算调难。

四、三步顺序(颠倒则结论全错)

先问通道进不进得去 → 再问模型答不答得出 → 最后才问题目难不难

得分低先查通道:页有没有真的进上下文、附件有没有被换成占位文本。通道不通时的低分一律作废,不得据此判难度。

五、真实实测记录 · 三题分数谱(同一模型 claude-opus-4-8,达标线 ≤50)

10Q46 双厂房基数多义 · 达标
7Q45 交叉复核与冲突裁决 · 达标
33Q44 D30 一致性复核(v1.2)· 达标
31 页单请求上限(压至约 1.9 MB)

三题同一通道、同一模型、同一判分口径,全部达标。Q44 首测 61 分未过关,收紧评分标准后复测 33 分——失分全在归属判断:图能不能作依据、要不要核减、设备费该不该排除。

Q46 · 双厂房预算信息点基数多义

10得分 / 100(达标线 ≤50)
claude-opus-4-8作答模型(B2 上限探针)
30 页单请求一次投喂(D26 14 + D30 15 + 图例 1)
187 s作答耗时 · 107,459 token
项断言分值得分证据
B1信息点基数不唯一(≥3 种)200只列 487 与 70,并明示「不存在同名不同值的冲突」
B2487 = 445 + 23 + 19 且含无线点1010完整拆出构成,指明服务类布线按 487
B3464 基数与 34,350÷464 = 74.03120未出现 464,未做折算
B4网络模块 435 为第三基数120该页已读到,未识别为另一个基数
B5网络跳线 474 为第四基数100同上
B6–B8配线架缺口 / 布线档位缺依据300未查配线架端口,未提两项目 70 与 58 的档位差异
B9修复顺序:先定口径再算数100给的是「先清零 AP → 再重算」,未围绕口径统一
Z3 触发 全程未提「基数不统一」,只报某处金额多算 → 总分上限 40
失分落点 全部落在 W3 口径层断点:读到了 487 / 70 / 34,350 / 435 / 474,但不做「物料用量 ÷ 点数」的折算,也不把 435、474 当成第三、第四基数
诱饵被吃 模型把根因压在「无线 AP 48,300 重复计列」,判「改一处即可修好」——与标答「改一处修不好」方向相反,正中预设的醒目诱饵

结论:低分来自真难度,不是投喂缺陷。PDF 文本层已核验 34,350、435、474 均在 D30 第 3 页,而该页内容被作答引用,可证该页确已进入模型视野。另两次运行因「历史图像被换成占位文本」作废,不计入难度判定。

Q45 · 双清单交叉复核与规则冲突裁决 —— 7 分(达标)

7得分 / 100
31 页D26 14 + D30 15 + 图例 1 + 图册 1
400 s作答耗时 · 104,798 token
0零分条款触发数
条断言分值得分判定依据
B1布线双单价 58 / 70,D26 按 70 计120全文未提两个单价并存;已核两行确在 D26 服务类序1、序2
B2计费点数含无线点,多计 1,334 / 490180反向判「487=445+19+23 可核平」——数值守恒即判正确,未做二次归属
B3该缺陷两项目重复、模板级100有模板级表述,但对象是「交换机安装单价 0」,不是 B2 缺陷
B4D26 需求 0 台 vs 设备页 1 台100明确反向:判「两份均对平,无未批先估」
B5设备费未入价税合计,补 1,853 / 56,680120判「1,700 按流程另走信息化申请,已正确排除」等——与标答完全相反
B6D30 主差额 61,027.00、修正 258,655.8446180无此二数,只给 197,628.84 + 4,347 = 201,975.84
B7D26 修正 25,232.2356100判 D26 修正后仍为 23,379.24,未加 1,853
B8少计与多计分列、未相抵107确有两栏未合净额,但「多计(应扣)」为空,未列 1,824
诱饵被吃 D30「需提流程」页写“网络设备申请→信息化申请”,模型据此把 1,700、52,000 全部判为“已正确排除,非错”——流程页只约束申请渠道,不豁免预算须入汇总并计税
低分反证 openpyxl 直读确认 58 / 70 / 487×58=28,246 / 23×113=2,599 均在投喂页内;作答自身引用了同页 PVC 230=110+30+90、光缆 1850m、熔接 72 芯 → 服务类页确在视野,低分属真难度

Q44 · D30 点位与预算清单一致性复核 —— 33 分(v1.2 达标;v1.1 首测 61 分未过关)

61 → 33首测 / 收紧后复测
18 页D30 15 + 图例 1 + 图纸 2
292 s作答耗时 · 75,192 token
4 条v1.2 只收紧这 4 条
条断言分值得分判定依据(v1.2)
A1a不得以图数点120未声明图不作依据,反把图纸列为依据之一
A1b覆盖范围:图仅一层、清单两批次80方向相反——判“附件3 含总平面图、改造范围图,覆盖面完整”
A2门禁缺口:19 点、无设备无服务17819 点与“卡机无料号、无报价依据”齐,未明列无安装服务
A3布线不得核减(一票制)90只判 487 闭合,未就核减表态(v1.2 取消原 4 分档)
A4AP22–44 = 23 台 × 2,10077台数与金额齐
A5面板不得核减66显式判“面板 160 缺设计依据,材料不足,不作错误结论”,无“疑”字
A6六类不判超量22每点网线长度判材料不足
A7图例 9 类映射 + 卡机无对应33全映射并标出卡机缺行
A8汇总漏计 52,000 / 含税 56,680120抓到 52,000,未给 56,680,且把 46,200 判“走信息化申请,本预算合理排除”→ 触发不得分条件
A9AP 未计税、少 4,3471111定位 AP 48,300 未参与 9% 计税,给 4,347.00
A10五份齐 + 不放行 + 差额 61,02783五份齐(01–05)、判“退回补正”,未给 61,027.00
A11版本取舍:取 11-03 弃 10-2855点名两版日期、声明采用 11-03、给理由
v1.1 为什么拦不住 三条主靶都允许“半步得分”:A1 只说不以图数点即得 10、A8 数字对但口径判反仍得 6、A3 整条可绕过仍得 4,V1 致命三项拿到 27/43
v1.2 只改 4 条 A1 拆 12+8 不给半步;A3 未表态记 0;A5 出现“疑”字记 0;A8 增“把 46,200 判合理排除即 0”。题面、附件、标答一字未动,且收紧动作发生在复测之前
低分反证 作答引用同页细节:材料 94,379.94 逐项、税 12,329.9046、光缆 1850m、熔接 72 芯、连接器 928/46、机柜 2 台 → 全部页签在视野。A1 失分不是看不见图,是把“图含总平面”当成覆盖完整的证据
作废运行 首测另有一次 3,161 字运行被 max_tokens 截断、五份不齐,不计入难度判定

01 新题创建

L1 入口层:场景 + 真实素材。只认真实素材,不虚构。

真实业务场景

真实素材(三通道)

每个素材都要标真实性:真实工程件 / 生成内容。生成内容不得充当附件,否则会被判 AI 出题。

快捷示例

02 任务卡

L2 生成层第一件:场景与素材提炼成结构化任务卡。

03 六件套 + 难点台账

六件套:场景背景 · 题目本体 · 考点 · 作答思路 · 标准答案 · 答案附件。第七件是隐藏难点台账。

隐藏难点台账(8–15 条,每条须挂考点)

难点藏在哪(页/行/字段)对应考点性质

04 实测台

题目原样喂给通用大模型,不带任何辅助提示。判据只看平台记录,不看模型自述。

05 判分台

逐条 TRUE / FALSE,不凭整体观感。合计型与一票制按预设规则处理,不临时扩大扣分。

#断言权重类型判定备注

06 质检关

每题必过三关:经济价值 · 完备性 · 真实性。

07 归档

L5 数据层:导出 JSON、生成真值网关键、回读校验清单。写入返回成功不等于落库。

导出

真值网关

POST /api/report/truth,body = {"key": ..., "value": {...}},value 不得为空。写入后必须回读,seq 非空且 count>0 才算成功。

08 题库

按状态筛选、按得分排序。状态机推动题目自己往下走。

主页·流水线·产品·状态