评估的六个核心对象 任务定义输入与成功条件,尝试是一次运行,轨迹是过程记录,结果是业务状态,评分器给出判断,套件组织回归。 FROM OUTPUT TO BEHAVIOUR 任务 输入、环境、成功条件 可判定、可复现 有区分度 尝试 一次运行 非确定性来源 重复次数影响置信 轨迹 工具调用、检索、状态 用于归因 体积大,需采样 结果 业务状态是否达成 不依赖模型自述 最可靠的一层 评分器与套件 代码、规则、量表、人工 套件组织回归与分层 按任务族划分 WHY SIX, NOT TWO 只有「输入」与「输出」两个对象时,失败无法归因 同一次失败可能是任务定义不清、单次运气差、过程违规,或评分器判错。四个对象各自对应一种。 对象分开之后,「这次失败该改哪里」才有一个可执行的答案。 评估从「一次输出」扩展为「一次任务的一次尝试」。