全文检索与向量混合搜索最佳实践

全文检索适合精确关键词,向量检索适合语义相似内容。RRF(Reciprocal Rank Fusion,倒数排名融合)将两路结果的名次转换为可相加的分数,适合需要同时保留关键词命中和语义召回的搜索场景。

RRF 算法原理

RRF Score = Σ (1 / (k + rank_i))

  • rank_i
    rank_i
    :文档在某一路检索结果中的排名,从 1 开始;未进入该路结果的文档,该路贡献为 0。
  • k
    k
    :平滑常数,常用值为 60。值越大,头部名次之间的贡献差距越小;排名从 1 开始时,
    k=0
    k=0
    也不会使分母为 0。

RRF 使用排名融合,不要求全文分数与向量距离处于同一数值范围。它不会自动保证召回率或性能,仍需根据业务数据评估候选数量、过滤条件和排序质量。

前置准备

以下使用两篇文档和三维示意向量演示完整流程,方便直接复现。示意向量只用于说明距离与排名;生产数据应使用同一个嵌入模型生成文档向量和查询向量,参见 AI_EMBEDDING。模型调用需要可用端点和配额,参与计算前应检查向量不为

NULL
NULL
、维度一致。

CREATE TABLE doc_hybrid_search ( doc_id BIGINT, title STRING, content STRING, embedding VECTOR(FLOAT, 3) ); INSERT INTO doc_hybrid_search VALUES (1, '数据资产管理', '数据 数据资产 数据质量 数据血缘', VECTOR(1.0F, 0.0F, 0.0F)), (2, '旅行记录', '海边旅行与城市散步', VECTOR(0.0F, 1.0F, 0.0F)); CREATE INVERTED INDEX doc_hybrid_title_idx ON TABLE doc_hybrid_search(title) PROPERTIES('analyzer'='chinese'); CREATE INVERTED INDEX doc_hybrid_content_idx ON TABLE doc_hybrid_search(content) PROPERTIES('analyzer'='chinese'); BUILD INDEX doc_hybrid_title_idx ON doc_hybrid_search; BUILD INDEX doc_hybrid_content_idx ON doc_hybrid_search;

关键词候选与向量候选

全文检索在标题和正文中匹配查询词项:

SELECT doc_id, title FROM doc_hybrid_search WHERE MULTI_MATCH(title, content, '数据 数据资产 数据质量 数据血缘', map('analyzer', 'chinese', 'minimum_should_match', '67%')) ORDER BY doc_id;

doc_idtitle
1数据资产管理

向量检索使用余弦距离,距离越小越接近查询向量:

SELECT doc_id, title, COSINE_DISTANCE(embedding, VECTOR(1.0F, 0.0F, 0.0F)) AS distance FROM doc_hybrid_search ORDER BY distance, doc_id;

doc_idtitledistance
1数据资产管理0
2旅行记录1

示例第一篇文档同时进入两路结果,第二篇仅进入向量候选。生产中应结合相关性阈值和候选数量控制召回范围。大规模近似检索的索引配置见创建向量索引。

融合两路候选

两路各取最多 100 个候选,使用

FULL OUTER JOIN
FULL OUTER JOIN
保留两路结果的并集。未命中某一路时,该路贡献为 0;使用一致的
vector_rank
vector_rank
别名引用向量排名。

WITH fulltext_search AS ( SELECT doc_id, ROW_NUMBER() OVER (ORDER BY SCORE() DESC, doc_id) AS fulltext_rank FROM doc_hybrid_search WHERE MULTI_MATCH(title, content, '数据 数据资产 数据质量 数据血缘', map('analyzer', 'chinese', 'minimum_should_match', '67%')) ORDER BY fulltext_rank LIMIT 100 ), vector_distances AS ( SELECT doc_id, COSINE_DISTANCE(embedding, VECTOR(1.0F, 0.0F, 0.0F)) AS vector_score FROM doc_hybrid_search WHERE embedding IS NOT NULL ), vector_search AS ( SELECT doc_id, vector_score, ROW_NUMBER() OVER (ORDER BY vector_score, doc_id) AS vector_rank FROM vector_distances ORDER BY vector_rank LIMIT 100 ), fused AS ( SELECT COALESCE(f.doc_id, v.doc_id) AS doc_id, f.fulltext_rank, v.vector_rank, v.vector_score, COALESCE(1.0 / (60 + f.fulltext_rank), 0) + COALESCE(1.0 / (60 + v.vector_rank), 0) AS rrf_score FROM fulltext_search f FULL OUTER JOIN vector_search v ON f.doc_id = v.doc_id ) SELECT d.doc_id, d.title, f.vector_score, f.fulltext_rank, f.vector_rank, CAST(f.rrf_score AS DECIMAL(10, 6)) AS rrf_score, CASE WHEN f.fulltext_rank IS NOT NULL AND f.vector_rank IS NOT NULL THEN '混合命中' WHEN f.fulltext_rank IS NOT NULL THEN '仅全文命中' ELSE '仅向量命中' END AS hit_type FROM fused f JOIN doc_hybrid_search d ON d.doc_id = f.doc_id ORDER BY f.rrf_score DESC, d.doc_id LIMIT 20;

doc_idtitlevector_scorefulltext_rankvector_rankrrf_scorehit_type
1数据资产管理0110.032787混合命中
2旅行记录1NULL20.016129仅向量命中

第一篇在两路均排名第 1,分数为

1/61 + 1/61
1/61 + 1/61
;第二篇只有向量排名第 2,分数为
1/62
1/62
。两路未命中不能用一个虚构名次代替,否则会给未命中的检索路增加额外贡献。

注意事项

  • 文档向量与查询向量必须使用相同模型和维度;不要让
    NULL
    NULL
    向量参与距离排名。
  • 两路先排序再截取候选;仅写
    LIMIT
    LIMIT
    不能表达需要保留哪些候选。
  • RRF 融合的是排名;
    ORDER BY embedding
    ORDER BY embedding
    按向量值排序,不能代替距离排序。
  • 候选数量、过滤条件和
    k
    k
    应根据实际检索质量评估,不承诺固定召回率。

清理示例数据:

DROP TABLE doc_hybrid_search;

相关文档

联系我们
预约咨询
微信咨询
电话咨询
邮件咨询