QATIPS · AI QUALITY PLAYBOOK
面向测试人员的 AI 评测知识与实战平台。从 RAG、Agent 测试到 Golden 数据集和 LLM 裁判校准,用知识、教程、技能包和模板,把评测方法带回你的项目。
先判断测什么,再选择指标、数据和工具。
TESTER TOOLBOX
把 RAG、Agent、Prompt、安全评测中反复使用的方法,整理成可下载、可复用的 Skill。下载后替换自己的接口和数据即可开始工作。
每个技能包含 SKILL.md、字段模板和运行检查清单。
BUILD IN PRACTICE
用一套开源工具完成 YAML 用例编写、批量评测、Prompt A/B 对比、对抗用例和 GitHub Action 门禁。
把 Promptfoo 评测接入 Gitee 的持续集成,在代码提交或合并请求时自动执行质量门禁。
READY-TO-USE ASSETS
方案、用例、Prompt、CI 配置和 Checklist,复制或下载后直接带回团队使用。
每个模板都有文件名、版本和使用说明,支持单文件下载与 ZIP 打包。
KNOWLEDGE MAP
先确定评测对象、边界和角色,再决定指标与工具。
把指标定义成可计算、可解释、可持续采集的质量契约。
从业务采样、标注到 Badcase 回流,建立可版本化的评测资产。
设计、校准和监控模型裁判,让自动评分结果值得信任。
从离线评测到 CI 门禁、线上观测和报告输出。
管理 Prompt、模型、知识库和评测资产变更带来的质量风险。
RECENT NOTES