三层学习信号与验证器的输出 结果验证回答事情是否办成,过程验证回答是否以允许方式办成,质量验证回答是否让用户满意。三层依次需要更多判断,也更容易出错。 FROM HARD SIGNAL TO SOFT JUDGEMENT LAYER 1 结果验证 测试、数据库状态、接口返回 判定者:代码。最可靠,应优先建。 LAYER 2 过程验证 权限、规则、动作序列 判定者:策略库。可代码化。 LAYER 3 质量验证 表达、耐心、是否抓住重点 判定者:量表 + 模型。最不确定。 WHAT A USABLE VERDICT MUST CONTAIN 四项缺一不可 一、成功 / 部分成功 / 失败,三档而不是二分 二、逐维度结论,而不是一个总分 三、每条结论的证据位置(第几轮、哪次调用) 四、失败类型标签,供后续归因 外加一条:证据不足时允许拒绝评分。 低置信度案例不应进入学习集。 只给总分的验证器无法指导更新:它说不清该改知识、改提示词、改程序还是改参数。