技能市场/评测资产治理
评测资产治理

评测指标卡设计器

把模糊的“质量好不好”拆成有对象、有证据、有公式、有阈值的可执行指标卡。

面向:测试工程师、算法工程师、产品质量负责人版本:v1.0.0下载:2
下载技能包 ↓

评测指标卡设计器

解决的问题

很多评测从指标名称开始,最后只留下一个无法解释的平均分。本技能要求先写清质量对象和失败代价,再确定输入证据、判定规则和聚合方式。

设计流程

  1. 写明指标测量的对象:答案、检索、工具调用、轨迹、展示或安全行为。
  2. 定义适用条件和不适用条件,避免用一个指标覆盖所有场景。
  3. 指定最小证据集、计算粒度、通过/失败/无法判断三类结果。
  4. 设置基线、目标和阻断阈值,分别记录硬门槛与观察目标。
  5. 用 10 条正常、边界和失败样本试算,再交给业务专家复核。

设计原则

指标描述是唯一判定依据;用例里的 judge_hint 只能说明当前样本应关注哪些证据。证据不足时保留人工复核,不用猜测补齐。