三层学习信号与验证器的输出
结果验证回答事情是否办成,过程验证回答是否以允许方式办成,质量验证回答是否让用户满意。三层依次需要更多判断,也更容易出错。
FROM HARD SIGNAL TO SOFT JUDGEMENT
LAYER 1
结果验证
测试、数据库状态、接口返回
判定者:代码。最可靠,应优先建。
LAYER 2
过程验证
权限、规则、动作序列
判定者:策略库。可代码化。
LAYER 3
质量验证
表达、耐心、是否抓住重点
判定者:量表 + 模型。最不确定。
WHAT A USABLE VERDICT MUST CONTAIN
四项缺一不可
一、成功 / 部分成功 / 失败,三档而不是二分
二、逐维度结论,而不是一个总分
三、每条结论的证据位置(第几轮、哪次调用)
四、失败类型标签,供后续归因
外加一条:证据不足时允许拒绝评分。
低置信度案例不应进入学习集。
只给总分的验证器无法指导更新:它说不清该改知识、改提示词、改程序还是改参数。