指标卡片怎么写：从概念名词到质量契约

指标卡片的固定字段

每个指标至少包含：

• 定义：它测量的质量问题是什么。
• 评测粒度：单条样本、单轮对话、整条轨迹还是一批数据。
• 输入要求：问题、参考答案、检索上下文、工具 Trace 等。
• 计算公式：明确分子、分母和聚合方式。
• 判定标准：通过、失败、未知如何区分。
• 采集方式：规则、人工、LLM-as-Judge 或组合方式。
• 阈值策略：基线、置信区间和业务风险如何共同决定门禁。
• 常见误用：指标不能代表什么。

RAG 指标的几个边界

“召回率”必须先说明召回对象。文档召回率需要相关文档标注；答案事实召回率则需要把参考答案拆成可验证的事实声明。两者的输入和失败原因不同，不能共用一个数字。

忠实度衡量答案是否能被提供的上下文支持，答案相关性衡量是否回答了用户问题，完整性衡量是否覆盖了必要要点。这三个指标可以同时出现高低组合，不能用其中一个代替全部质量。

阈值不要脱离基线

没有跨业务通用的“优秀阈值”。建议记录当前生产版本、候选版本、样本量、置信区间和人工复核结果，再根据风险等级设置阻断规则。