"模型答得好不好"是一个无法行动的问题。真正能驱动优化的，是把 AI 应用拆成几个可以分别下结论的组件，再决定每一层测什么、用什么指标。
为什么要拆
一个端到端的失败，可能来自检索没召回、Prompt 约束不足、模型本身能力不够，或 Agent 某一步调用出错。只看最终输出，团队会把检索问题当成模型问题来修，白费力气。分层评测的目的，是让每个失败都能落到某一层。
常见的五层
| 层 | 被测对象 | 典型指标 |
|---|---|---|
| 模型层 | 基座 / 微调模型本身 | 基础能力、指令遵循 |
| 检索层 | 召回与排序 | 召回率、相关性 |
| Prompt 层 | 系统提示与模板 | 格式符合、约束遵循 |
| Agent 层 | 工具调用与多步决策 | 步骤正确率、工具选择 |
| 端到端 | 用户视角的完整回答 | 任务成功率、满意度 |
怎么落地
- 自底向上定位：先确认检索和工具可靠，再评 Prompt 和端到端，避免把下层问题归给上层。
- 每层独立数据：检索层用"查询 → 应召回文档"对，Agent 层用"任务 → 期望轨迹"，不要都用一套端到端问答。
- 固定上游再测下游：评 Prompt 时固定检索结果，评模型时固定输入，才能隔离变量。
常见误区
- 只测端到端：能发现有问题，却说不清是哪一层，无法分工。
- 跨层共用指标：用一个总分代替各层质量，掩盖真实短板。
- 拆得过细：超过团队能维护的粒度反而没人更新；从五层起步，按需要再细分。