知识库/评测全流程规范
评测全流程规范

离线评测到 CI 门禁:一条可追溯的质量流水线

把数据集、推理配置、裁判 Prompt 和结果一起版本化,才能解释一次退化到底来自哪里。

最近更新:2026/10/30

离线评测到 CI 门禁:一条可追溯的质量流水线

标准流程

准备数据集 → 批量推理 → 记录模型和配置 → 执行规则或裁判评分 → 汇总指标 → 与基线比较 → 输出退化原因 → 决定是否阻断。

门禁建议

不要只设置一个总分阈值。应区分关键用例失败率、严重安全问题、核心任务成功率和整体平均分。对高风险指标可以直接阻断,对低风险指标则使用趋势告警或人工复核。

报告最小结构

变更说明、数据集版本、运行配置、指标对比、显著退化样本、根因假设、人工复核结论和上线建议。