模型裁判
下载技能包 ↓证据优先 LLM 裁判
把 expected、实际回答和 Trace 组织成脱敏证据包,让 LLM 裁判按指标逐项判定并保留不确定性。
面向:AI 质量工程师、算法工程师、评测平台开发者版本:v1.0.0下载:1
证据优先 LLM 裁判
核心思路
裁判不直接读取完整原始会话,而是读取经过裁剪和脱敏的共享证据摘要。指标 description 是判定准则,judge_scope 只是关注提示,不能把未关注的证据过滤掉。
判定结果
每个指标返回 pass、fail、na 或 error,并附中文理由、证据片段、置信度和人工复核标记。证据不足时返回 error 或 needs_human_review,不猜测。
校准要求
裁判模型、Prompt、Rubric 和校准集必须版本化。上线前比较人工标签与裁判结果,重点检查门禁附近样本、长度偏差、位置偏差和不同场景的误判率。