质量治理
下载技能包 ↓评测失败归因助手
把失败从“模型不行”拆成执行、数据、用例、指标、Judge、环境和业务实现问题。
面向:测试负责人、研发工程师、算法工程师版本:v1.0.0下载:2
评测失败归因助手
先分类,再修复
一个失败结果不能直接推出业务代码需要修改。应按证据依次核对版本、用例、执行状态、Trace、工具结果、Judge 输入和数据源。
推荐分类
- execution:超时、会话未完成、任务未领取、重试耗尽。
- data:数据源、查询口径、动态预期或脱敏问题。
- case:问题歧义、expected 过时、样本不代表业务。
- metric:指标定义或适用性错误。
- judge:裁判漂移、证据不足、格式错误。
- environment:模型、依赖、权限、网络或配置问题。
- product:真实业务实现退化。
输出
每个失败项都要包含证据、假设、下一步验证和责任边界。未验证的推断标记为待确认,不自动改用例或修改业务代码。