评分器的三种形态与偏差
代码判定最稳定但覆盖有限,规则判定居中,模型量表覆盖最广但带有位置与长度偏差。三者应组合使用并互相校准。
PREFER CODE, CALIBRATE THE MODEL
FORM 1
代码判定
跑测试、查状态、比对结构
无偏差,可复现
局限:只能判可形式化的项
「表达是否清晰」判不了
FORM 2
规则判定
动作序列、权限、必含字段
可解释,接近无偏差
局限:规则写完之前有盲区
规则写错会系统性地误判
FORM 3
模型量表
逐项打分并引用证据
覆盖面最广
偏差:位置、长度、自身偏好
必须与人工标注校准
COMBINATION RULES
能用代码判的不用模型判;必须用模型的先校准再上线
冲突仲裁:代码结论优先于模型结论;模型结论只补代码覆盖不到的部分。