三层验证与各自的判定者 结果层由环境状态判定,过程层由策略与动作序列判定,质量层由量表与模型判定。三层的可靠性依次下降,成本依次上升。 BUILD BOTTOM-UP LAYER 1 · RESULT 结果层:事情办成了吗 判定者:环境状态与测试 最可靠、最便宜,应当先建 LAYER 2 · PROCESS 过程层:以允许的方式办成了吗 判定者:策略库与动作序列 可代码化,但需要策略完整 LAYER 3 · QUALITY 质量层:用户是否满意 判定者:量表 + 模型评分 最不确定,需要校准 RELIABILITY VS COST 越往上越不确定 结果层:几乎无歧义 过程层:需策略覆盖完整 质量层:需人工校准 上层依赖下层:结果不对时, 讨论过程是否合规意义不大。 所以建的顺序应当自下而上。 常见错误:一开始就做质量层的量表评分,因为「它最能反映体验」。 结果没有下层支撑时,量表分数无法解释——涨了不知道是不是真的好了。