评估环境的五个要素与缺一失效 数据集、环境状态、工具接口、评分标准、执行协议五个要素缺一不可,每个要素缺失对应一种无法复现的失效。 FIVE ELEMENTS, FIVE FAILURES 1 · DATASET 数据集 工单、模拟器规范 验收标准打包为一条 2 · STATE 环境状态 可变信息 可重置到同一起点 3 · TOOLS 工具接口 两侧各自的原子操作 不含高层抽象 4 · RUBRIC 评分标准 四层检查 加聚合规则 5 · PROTOCOL 执行协议 交互顺序 终止条件 MISSING ONE, LOSING REPRODUCIBILITY 缺数据集:每次运行的任务不同,结果无法比较。 缺状态重置:上次的残留影响这次,同一用例有时过有时不过。 缺工具接口:Agent 只能用自然语言描述动作,规划与推理被工具本身吸收。 THE TWO THAT GET OVERLOOKED 评分标准与执行协议 缺评分标准:只能人工看输出,无法规模化。缺执行协议:对话可能永远不结束,或在不该结束时结束。