LLM-as-Judge 校准：自动评分前先证明裁判可信

裁判 Prompt 的基本结构

1. 明确评测目标和评分维度。
2. 给出通过、部分通过、失败的边界示例。
3. 要求裁判引用输入证据，而不是只输出感觉分。
4. 固定 JSON 输出结构，并对非法输出做重试或转人工。
5. 对位置、长度和措辞偏差做专项验证。

校准流程

先建立一批专家标注的校准集，再让候选裁判独立评分，比较通过率、混淆矩阵和人工一致性。发现系统性偏差后，优先修改 Rubric 和样本覆盖，再决定是否更换模型。

什么时候必须人工复核

高风险安全事件、低置信度样本、裁判与规则冲突、分数接近门禁阈值，以及校准集之外的新类型失败，都应进入人工复核队列。