文档模板
Golden 数据集标注规范文档
统一问题、参考答案、证据、期望行为和严重度的标注口径。
文件：golden-annotation-guideline.md版本：v1.0.0下载：3
使用说明
先用 10 条样本做双人标注和一致性校验，再开放给大批量标注；争议样本单独沉淀。
# Golden 数据集标注规范
## 用例字段
| 字段 | 要求 | 示例 |
| --- | --- | --- |
| case_id | 稳定且不可复用 | rag-001 |
| question | 保留真实表达，先脱敏 | 如何申请退款？ |
| reference_answer | 写关键事实，不强制逐字一致 | 订单完成后 7 天内 |
| evidence_ids | 可定位到文档/段落 | doc-001#p3 |
| expected_behavior | answer / clarify / abstain | answer |
| severity | P0 / P1 / P2 | P1 |
## 标注规则
1. 事实必须可由证据支持。
2. 没有充分依据时，期望行为应为拒答或澄清。
3. 多个答案可接受时，记录必要事实集合。
4. 涉及隐私和生产数据时必须完成脱敏和授权确认。
## 一致性校验
- 双人独立标注样本数：
- 一致率：
- 争议样本处理人：
- 规范版本：