三层验证与各自的判定者
结果层由环境状态判定,过程层由策略与动作序列判定,质量层由量表与模型判定。三层的可靠性依次下降,成本依次上升。
BUILD BOTTOM-UP
LAYER 1 · RESULT
结果层:事情办成了吗
判定者:环境状态与测试
最可靠、最便宜,应当先建
LAYER 2 · PROCESS
过程层:以允许的方式办成了吗
判定者:策略库与动作序列
可代码化,但需要策略完整
LAYER 3 · QUALITY
质量层:用户是否满意
判定者:量表 + 模型评分
最不确定,需要校准
RELIABILITY VS COST
越往上越不确定
结果层:几乎无歧义
过程层:需策略覆盖完整
质量层:需人工校准
上层依赖下层:结果不对时,
讨论过程是否合规意义不大。
所以建的顺序应当自下而上。
常见错误:一开始就做质量层的量表评分,因为「它最能反映体验」。
结果没有下层支撑时,量表分数无法解释——涨了不知道是不是真的好了。