Checklist
LLM 裁判定期校准 Checklist
定期检查裁判与人工标注的一致性、漂移、偏差和门禁附近样本。
文件：llm-judge-calibration-checklist.md版本：v1.0.0下载：2
使用说明
模型、裁判 Prompt、Rubric 或业务分布发生变化时提前重校准；把校准集当作独立版本资产。
# LLM-as-Judge 定期校准 Checklist
- [ ] 校准集覆盖正常、边界、争议和高风险样本
- [ ] 人工标签已完成双人复核
- [ ] 裁判模型和 Prompt 版本已记录
- [ ] 人工一致率、裁判一致率和混淆矩阵已计算
- [ ] 检查位置偏差、长度偏差和模型偏好
- [ ] 检查分数分布与上个周期的漂移
- [ ] 门禁阈值附近样本已转人工复核
- [ ] 低置信度和规则冲突样本不会静默通过
- [ ] 校准结论、变更和回滚版本已归档
- [ ] 下一次校准日期和负责人已确定