自进化的三种失效与四层指标
实现漂移、认识论过度乐观、隐性判断力不足是三类主要失效。四层指标分别检验提案、激活、遵循与保留集增益。
EACH METRIC CATCHES A DIFFERENT LIE
METRIC 1
提案有效率
提案在独立验证中是否被接受
假阳性:提案对自己有效
它检验「更新器会不会改」
METRIC 2
产物激活率
正确场景是否加载了新产物
假阳性:分数涨了但不是因为它
它检验「会不会被用到」
METRIC 3
遵循成功率
激活后是否按新规则执行
假阳性:短任务看不出偏离
它检验「能不能守住」
METRIC 4
保留集增益
未参与进化的任务是否改善
假阳性:保留集与训练集重叠
它检验「有没有泛化」
THREE FAILURE MODES BEHIND THE NUMBERS
实现漂移 · 认识论过度乐观 · 隐性判断力不足
实现漂移:方案一旦变难,就退回训练数据里更熟悉的做法,偏离原假设;分数可能还涨了。
过度乐观:信号还只是噪声,系统已开始解释结果、打补丁、宣布发现;阴性结果被忽略。
判断力不足:能跑实验,但不知道哪个基线重要、哪个异常值得追、何时该放弃假设。