素材全部来自体系工程化落地真实发生的难点与踩坑,不含虚构。目标是有经济价值的题——答错直接造成收入、成本、合规或资格损失。
从经验库到可提交题包,每一步都有脚本,不靠手感
从经验库捞候选,算 SHA、数细节类型
价值闸门 A/B/C:出错是否真花钱
生成骨架,自动写溯源块
十件套硬检查,缺一即 FAIL
打包并出 SHA 清单
缺任一件,包即不合格,不得提交、不得上报、不得声称完成
| # | 构件 | 必备字段 | 缺了会怎样 |
|---|---|---|---|
| ① | 任务名称 | task_name | 平台无法引用归档 |
| ② | 任务内容 | task_content / prompt | 模型不知道交付什么 |
| ③ | 任务类型 | task_type + 形式 / 行业 / 职业 | 无法归类 |
| ④ | 考点 | checks[] 合计严格 100 | 分数不可复算 |
| ⑤ | 标答 | reference_answer | 无法核验对错 |
| ⑥ | 标答附件 | reference_answer_files[] | 表格无法逐格比对 |
| ⑦ | 作答思路 | intent(仅给评审) | 看不出设计意图 |
| ⑧ | 系统提示词 | system_prompt(面向通用大模型) | 行为不可比 |
| ⑨ | 出题附件 | material_files[] + 真实文件 | 模型只能编 |
| ⑩ | 评分量化指标 | metric{type,target,tolerance,partial} | 只能打主观分 |
没有 metric 的考点只能打主观分,一到质检就被判「判据不清」,整题退回
| type | 用于 | 例 |
|---|---|---|
count | 数个数 | 未命中清单 = 7 条,7 得 6 分;5–6 得 3;少于此 0 |
exact | 精确数值 | 作品页下载 104362 字节,容差 ±0 |
range | 带容差 | 去重覆盖率 40.0%(6/15),容差 ±0.1 个百分点 |
enum | 必须命中指定项 | 须同时点名 TS-001 与 TS-007 共用锚点 23247 |
threshold | 至少 N 处 | 至少 1 处标注「无法判定」并写明所缺依据 |
list | 完整清单 | 7 条指定 ID 全部列出,容差 0 |
path | 因果链环节数 | 403→入口不可达→评审进不去,须 3 环齐 |
penalty | 扣分 / 否决型 | 引入 1 处外部数值或事件,本项直接 0 |
结构照抄最省事,内容换成自己的真实踩坑
| 样本 | 规模 | 附件实测 | 状态 |
|---|---|---|---|
| T-A 交付准入评审 | 18 考点 / 100 分 / 15 难点 | 8 材料 + 4 标答 CSV,131/131 单元格一致 | CONFORMANT |
| T0 覆盖率核验 | 17 考点 / 100 分 / 14 难点 | 8 材料 + 3 标答 CSV,157/157 单元格一致 | CONFORMANT |
素材必须来自真实发生过的难点与踩坑,每个数字都要能在材料里找到。编出来的题,模型背条款就能得分。
答错要直接造成收入、成本、合规或资格损失,外部愿付 ≥100 元。纯内部质量类不设题。
模型的强项不是难点,出这类题只会白送分。要点在模型四项弱项:多材料冲突取舍、跨时间版本匹配、事实与假设区分、行业非通识口径。
| 项 | 状态 |
|---|---|
| 静态结构自检 | 已实现,十件套 + 量化指标硬门,负例可拦 |
| 难度三项硬指标 | 未实跑。轮数、时长、得分率需在真实模型环境跑,代跑即假数据 |
| metric.partial 分档 | 按难度梯度拟,实跑一轮后才能校准哪些档位区分力不足 |
| 样本包适用性 | 规范只在 T0 / T-A 两包验证过,换新题须重跑 --strict |