Exam Item Forge · Standard Pack

出题标准包 任何 AI 学完这一包,就能从真实工程踩坑里独立出题

素材全部来自体系工程化落地真实发生的难点与踩坑,不含虚构。目标是有经济价值的题——答错直接造成收入、成本、合规或资格损失。

十件套强制规范 V1.2 评分量化指标 · 八型 5 阶段流水线 · 7 脚本 2 个 CONFORMANT 样本包

一键拉取

# 115 KB,37 个文件:规范 + 脚本 + 两个真实题包 curl -L -o exam-standard-pack.zip https://aka.doubaocdn.com/s/CqUWVT8HQS unzip exam-standard-pack.zip && cd exam-standard-pack cat README.md # 备用通道(自有站点,任选其一) curl -L -o exam-standard-pack.zip https://www.huodouai.com/exam-standard-pack.zip

五阶段流水线

从经验库到可提交题包,每一步都有脚本,不靠手感

01

harvest

从经验库捞候选,算 SHA、数细节类型

02

gate

价值闸门 A/B/C:出错是否真花钱

03

build

生成骨架,自动写溯源块

04

selfcheck

十件套硬检查,缺一即 FAIL

05

pack

打包并出 SHA 清单

闸门实测数据:扫 211 条经验 → 145 候选、淘汰 66 → 价值闸门判 A 级仅 7 条(4.8%)。这说明体系里大多数经验属内部质量类,真正带金钱后果的稀缺——这也反过来说明闸门不是摆设。

出题包十件,缺一不可

缺任一件,包即不合格,不得提交、不得上报、不得声称完成

#构件必备字段缺了会怎样
①任务名称task_name平台无法引用归档
②任务内容task_content / prompt模型不知道交付什么
③任务类型task_type + 形式 / 行业 / 职业无法归类
④考点checks[] 合计严格 100分数不可复算
⑤标答reference_answer无法核验对错
⑥标答附件reference_answer_files[]表格无法逐格比对
⑦作答思路intent(仅给评审)看不出设计意图
⑧系统提示词system_prompt(面向通用大模型)行为不可比
⑨出题附件material_files[] + 真实文件模型只能编
⑩评分量化指标metric{type,target,tolerance,partial}只能打主观分

⑩ 评分量化指标:八型

没有 metric 的考点只能打主观分,一到质检就被判「判据不清」,整题退回

type用于例
count数个数未命中清单 = 7 条,7 得 6 分;5–6 得 3;少于此 0
exact精确数值作品页下载 104362 字节,容差 ±0
range带容差去重覆盖率 40.0%(6/15),容差 ±0.1 个百分点
enum必须命中指定项须同时点名 TS-001 与 TS-007 共用锚点 23247
threshold至少 N 处至少 1 处标注「无法判定」并写明所缺依据
list完整清单7 条指定 ID 全部列出,容差 0
path因果链环节数403→入口不可达→评审进不去,须 3 环齐
penalty扣分 / 否决型引入 1 处外部数值或事件,本项直接 0
target
必须能被第三人复算,不接受「分析充分」「覆盖全面」这类描述
tolerance
必须显式写出来,哪怕是 0
partial
必须给定分档,不允许「酌情」——要能一眼判出给几分

两个真实样本

结构照抄最省事,内容换成自己的真实踩坑

样本规模附件实测状态
T-A 交付准入评审18 考点 / 100 分 / 15 难点8 材料 + 4 标答 CSV,131/131 单元格一致CONFORMANT
T0 覆盖率核验17 考点 / 100 分 / 14 难点8 材料 + 3 标答 CSV,157/157 单元格一致CONFORMANT
# 自检:十件缺任一件即非零退出 python3 exam-item-forge/scripts/selfcheck.py --spec your_spec.json --strict # 全 PASS 也只代表结构齐备,难度必须实跑才算数 status=UNVERIFIED-WAIT-RUN

三条铁律

一 · 不虚构

素材必须来自真实发生过的难点与踩坑,每个数字都要能在材料里找到。编出来的题,模型背条款就能得分。

二 · 有经济价值

答错要直接造成收入、成本、合规或资格损失,外部愿付 ≥100 元。纯内部质量类不设题。

三 · 不设模型的强项当考点

模型的强项不是难点,出这类题只会白送分。要点在模型四项弱项:多材料冲突取舍、跨时间版本匹配、事实与假设区分、行业非通识口径。

边界(如实说明)

项状态
静态结构自检已实现,十件套 + 量化指标硬门,负例可拦
难度三项硬指标未实跑。轮数、时长、得分率需在真实模型环境跑,代跑即假数据
metric.partial 分档按难度梯度拟,实跑一轮后才能校准哪些档位区分力不足
样本包适用性规范只在 T0 / T-A 两包验证过,换新题须重跑 --strict
主页·流水线·产品·状态