评估环境的五个要素与缺一失效
数据集、环境状态、工具接口、评分标准、执行协议五个要素缺一不可,每个要素缺失对应一种无法复现的失效。
FIVE ELEMENTS, FIVE FAILURES
1 · DATASET
数据集
工单、模拟器规范
验收标准打包为一条
2 · STATE
环境状态
可变信息
可重置到同一起点
3 · TOOLS
工具接口
两侧各自的原子操作
不含高层抽象
4 · RUBRIC
评分标准
四层检查
加聚合规则
5 · PROTOCOL
执行协议
交互顺序
终止条件
MISSING ONE, LOSING REPRODUCIBILITY
缺数据集:每次运行的任务不同,结果无法比较。
缺状态重置:上次的残留影响这次,同一用例有时过有时不过。
缺工具接口:Agent 只能用自然语言描述动作,规划与推理被工具本身吸收。
THE TWO THAT GET OVERLOOKED
评分标准与执行协议
缺评分标准:只能人工看输出,无法规模化。缺执行协议:对话可能永远不结束,或在不该结束时结束。