技能市场/质量治理
质量治理

评测失败归因助手

把失败从“模型不行”拆成执行、数据、用例、指标、Judge、环境和业务实现问题。

面向:测试负责人、研发工程师、算法工程师版本:v1.0.0下载:2
下载技能包 ↓

评测失败归因助手

先分类,再修复

一个失败结果不能直接推出业务代码需要修改。应按证据依次核对版本、用例、执行状态、Trace、工具结果、Judge 输入和数据源。

推荐分类

  • execution:超时、会话未完成、任务未领取、重试耗尽。
  • data:数据源、查询口径、动态预期或脱敏问题。
  • case:问题歧义、expected 过时、样本不代表业务。
  • metric:指标定义或适用性错误。
  • judge:裁判漂移、证据不足、格式错误。
  • environment:模型、依赖、权限、网络或配置问题。
  • product:真实业务实现退化。

输出

每个失败项都要包含证据、假设、下一步验证和责任边界。未验证的推断标记为待确认,不自动改用例或修改业务代码。