样本量与重复次数的两笔账
任务数决定能否分辨两个版本的差异，重复次数决定单任务结论是否稳定。两者代价不同，不能互相替代。
TWO INDEPENDENT BUDGETS
BUDGET 1 · TASKS
任务数决定分辨力
要分辨两个版本 5 个百分点的差异
取 p = 0.5、误差 5%、置信 95%
需要约 384 个任务
BUDGET 2 · TRIALS
重复次数决定稳定性
单个任务的结果有随机性
重复 3 次能看出波动范围
重复 10 次才能稳定判断单任务
THEY ARE NOT INTERCHANGEABLE
加任务数不能替代加重复次数，反之亦然
任务少但每任务跑 10 次：知道「这批任务上很稳」，但不知道「换一批任务还成立吗」。
任务多但每任务跑 1 次：知道「覆盖广」，但单个任务的结论可能是运气。
实用配比：回归集任务多、重复少；关键任务重复多、任务少。