离线评测测的是"发版前这批样本"，线上观测测的是"真实流量此刻的表现"。两者用同一套质量语言接力，才能在问题扩大前发现它，而不是等用户投诉。

离线与线上的分工

  • 离线评测：发版前用固定 Golden 集比较版本，可控、可复现。
  • 线上观测：发版后对真实流量采样评估，覆盖离线没预料到的分布。
  • 接力点：线上发现的新失败，脱敏后回流进 Golden 集（见"Badcase 回流机制"），下个版本就能回归。

线上能观测什么

类型 指标 来源
直接信号 点踩、重试、人工介入率 用户行为
采样评估 抽样跑裁判，估算质量分 LLM-as-Judge
系统信号 延迟、错误率、拒答率 服务日志

漂移告警

  • 分布漂移：输入话题、长度、语言的分布明显偏离评测集时告警——说明评测集该更新了。
  • 质量漂移：采样质量分持续下滑时告警，再定位是模型、检索还是上游数据变化。
  • 阈值对齐：线上告警阈值和离线门禁挂钩，口径一致才好对比。

常见误区

  • 测完就失明：只做离线评测，上线后没有任何质量信号。
  • 全量跑裁判：成本过高且没必要，按比例采样即可。
  • 信号不回流：线上发现的问题不进回归集，同类问题反复出现。