Golden 数据集：让评测结果可以复现和回归

什么时候需要 Golden 集

当团队需要比较模型、Prompt、知识库或 Agent 版本时，就需要一组稳定、可追溯、覆盖关键风险的样本。它不追求代表全部线上流量，而是优先覆盖高价值任务和已知失败模式。

推荐分层

• 冒烟用例：验证服务可用、基本格式和关键路径。
• 回归用例：覆盖稳定业务能力，作为版本比较基线。
• 边界用例：缺字段、歧义、超长输入、无答案等场景。
• 对抗用例：提示注入、越权、恶意输入和故意扰动。

每条用例的最小字段

case_id、业务场景、用户输入、期望行为、参考答案或关键事实、允许使用的证据、严重度、标签、数据来源、标注版本和隐私等级。

Badcase 回流

线上样本进入回归集前要先脱敏、去重、确认授权、补充失败原因并经过复核。原始 Trace 和最终 Golden 用例应分开保存，通过来源 ID 建立关联。