技能市场/模型裁判
模型裁判

证据优先 LLM 裁判

把 expected、实际回答和 Trace 组织成脱敏证据包,让 LLM 裁判按指标逐项判定并保留不确定性。

面向:AI 质量工程师、算法工程师、评测平台开发者版本:v1.0.0下载:1
下载技能包 ↓

证据优先 LLM 裁判

核心思路

裁判不直接读取完整原始会话,而是读取经过裁剪和脱敏的共享证据摘要。指标 description 是判定准则,judge_scope 只是关注提示,不能把未关注的证据过滤掉。

判定结果

每个指标返回 pass、fail、na 或 error,并附中文理由、证据片段、置信度和人工复核标记。证据不足时返回 error 或 needs_human_review,不猜测。

校准要求

裁判模型、Prompt、Rubric 和校准集必须版本化。上线前比较人工标签与裁判结果,重点检查门禁附近样本、长度偏差、位置偏差和不同场景的误判率。