# AI 评测方案 ## 1. 项目概述 - 项目/版本: - 业务负责人: - 测试负责人: - 评测日期: ## 2. 业务目标与风险 - 用户任务: - 成功标准: - 失败代价: - P0/P1/P2 风险: ## 3. 评测范围 - [ ] 底座模型能力 - [ ] RAG 检索与生成 - [ ] Agent 任务与轨迹 - [ ] Prompt 版本回归 - [ ] 线上观测 - [ ] 红队安全 ## 4. 指标与判定 | 指标 | 定义 | 输入 | 计算方式 | 门禁阈值 | 复核规则 | | --- | --- | --- | --- | --- | --- | | 核心任务成功率 | | | | | | ## 5. 数据集与版本 - Golden 集版本: - 样本量: - 边界/对抗样本: - 脱敏与授权: ## 6. 执行流程 准备数据 → 批量推理 → 打分 → 对比基线 → 根因分析 → 发布决策。 ## 7. 输出与回滚 - 报告地址: - 阻断条件: - 回滚方案: - Badcase 回流负责人: ## 8. 结论 - 通过项: - 风险项: - 待人工复核: - 上线建议: