双路召回与分数尺度的差异
稠密召回给出零到一之间的余弦相似度,稀疏召回给出无上界的 BM25 得分,两路无法直接相加,因此融合只使用排名。
TWO SCALES, ONE RANKING
问题
"退款流程"
稀有标识符
error_code_4021
稠密召回
cosine ∈ [0, 1]
看懂改写与同义
稀疏召回
BM25 ∈ [0, ∞)
命中精确词
排名融合
Σ 1 / (k + rank)
精排
top N
一个量纲在零到一之间,一个没有上界,相加没有意义;用排名避开这个问题,代价是丢掉原始分数的区分度。
精排不是补救融合,它换的是匹配方式:双编码器各自编码,跨编码器把两者拼在一起看。