QATIPS KNOWLEDGE BASE

评测体系知识库

核心理论、指标口径和质量流程的体系化手册。

AI 评测分层框架2026/10/30

AI 应用评测分层：先确定测什么，再决定怎么测

底座模型、RAG、Agent、Prompt、线上观测和红队评测解决的是不同问题，不能用一个榜单或一个指标替代全部质量判断。

指标规范手册2026/10/30

一个指标只有在输入、公式、粒度、判定规则和采集方式都明确后，才能进入评测流水线。

测试用例与 Golden 数据集2026/10/30

Golden 集不是随手整理的一批问题，而是带有业务标签、参考答案、证据和版本记录的质量资产。

LLM-as-Judge 裁判体系2026/10/30

裁判模型不是天然可靠的评分器，需要通过 Rubric、人工校准、偏差检测和定期重校准建立信任边界。

评测全流程规范2026/10/30

把数据集、推理配置、裁判 Prompt 和结果一起版本化，才能解释一次退化到底来自哪里。

质量治理2026/10/30

模型、Prompt、知识库、工具和评测脚本都可能改变结果，应该把它们纳入同一套变更记录。