用例模板

Agent 轨迹 Golden 用例模板

描述任务目标、期望工具顺序、参数约束和最终状态的 Agent 轨迹模板。

文件：agent-trace-golden.json版本：v1.0.0下载：2

使用说明

把最终答案之外的工具调用和状态变化一起纳入判定；禁止只看文本结果判断 Agent 成功。

[
  {
    "case_id": "agent-001",
    "task": "查询订单并判断是否满足退款条件",
    "expected_trace": [
      {"tool": "search_order", "required": true, "arguments": {"order_id": "string"}},
      {"tool": "check_refund_policy", "required": true, "arguments": {"order_status": "string"}}
    ],
    "forbidden_tools": ["delete_order", "export_customer_data"],
    "max_steps": 5,
    "expected_final_state": "refund_eligibility_explained",
    "severity": "P1"
  }
]