全文检索与向量混合搜索最佳实践
全文检索适合精确关键词,向量检索适合语义相似内容。RRF(Reciprocal Rank Fusion,倒数排名融合)将两路结果的名次转换为可相加的分数,适合需要同时保留关键词命中和语义召回的搜索场景。
RRF 算法原理
RRF Score = Σ (1 / (k + rank_i))
rank_i
rank_i
:文档在某一路检索结果中的排名,从 1 开始;未进入该路结果的文档,该路贡献为 0。
k
k
:平滑常数,常用值为 60。值越大,头部名次之间的贡献差距越小;排名从 1 开始时,k=0
k=0
也不会使分母为 0。
RRF 使用排名融合,不要求全文分数与向量距离处于同一数值范围。它不会自动保证召回率或性能,仍需根据业务数据评估候选数量、过滤条件和排序质量。
前置准备
以下使用两篇文档和三维示意向量演示完整流程,方便直接复现。示意向量只用于说明距离与排名;生产数据应使用同一个嵌入模型生成文档向量和查询向量,参见 AI_EMBEDDING。模型调用需要可用端点和配额,参与计算前应检查向量不为
NULL
NULL
、维度一致。
CREATE TABLE doc_hybrid_search (
doc_id BIGINT,
title STRING,
content STRING,
embedding VECTOR(FLOAT, 3)
);
INSERT INTO doc_hybrid_search VALUES
(1, '数据资产管理', '数据 数据资产 数据质量 数据血缘', VECTOR(1.0F, 0.0F, 0.0F)),
(2, '旅行记录', '海边旅行与城市散步', VECTOR(0.0F, 1.0F, 0.0F));
CREATE INVERTED INDEX doc_hybrid_title_idx ON TABLE doc_hybrid_search(title)
PROPERTIES('analyzer'='chinese');
CREATE INVERTED INDEX doc_hybrid_content_idx ON TABLE doc_hybrid_search(content)
PROPERTIES('analyzer'='chinese');
BUILD INDEX doc_hybrid_title_idx ON doc_hybrid_search;
BUILD INDEX doc_hybrid_content_idx ON doc_hybrid_search;
关键词候选与向量候选
全文检索在标题和正文中匹配查询词项:
SELECT doc_id, title
FROM doc_hybrid_search
WHERE MULTI_MATCH(title, content, '数据 数据资产 数据质量 数据血缘',
map('analyzer', 'chinese', 'minimum_should_match', '67%'))
ORDER BY doc_id;
向量检索使用余弦距离,距离越小越接近查询向量:
SELECT doc_id, title,
COSINE_DISTANCE(embedding, VECTOR(1.0F, 0.0F, 0.0F)) AS distance
FROM doc_hybrid_search
ORDER BY distance, doc_id;
| doc_id | title | distance |
|---|
| 1 | 数据资产管理 | 0 |
| 2 | 旅行记录 | 1 |
示例第一篇文档同时进入两路结果,第二篇仅进入向量候选。生产中应结合相关性阈值和候选数量控制召回范围。大规模近似检索的索引配置见创建向量索引。
融合两路候选
两路各取最多 100 个候选,使用
FULL OUTER JOIN
FULL OUTER JOIN
保留两路结果的并集。未命中某一路时,该路贡献为 0;使用一致的
vector_rank
vector_rank
别名引用向量排名。
WITH fulltext_search AS (
SELECT doc_id,
ROW_NUMBER() OVER (ORDER BY SCORE() DESC, doc_id) AS fulltext_rank
FROM doc_hybrid_search
WHERE MULTI_MATCH(title, content, '数据 数据资产 数据质量 数据血缘',
map('analyzer', 'chinese', 'minimum_should_match', '67%'))
ORDER BY fulltext_rank
LIMIT 100
), vector_distances AS (
SELECT doc_id,
COSINE_DISTANCE(embedding, VECTOR(1.0F, 0.0F, 0.0F)) AS vector_score
FROM doc_hybrid_search
WHERE embedding IS NOT NULL
), vector_search AS (
SELECT doc_id, vector_score,
ROW_NUMBER() OVER (ORDER BY vector_score, doc_id) AS vector_rank
FROM vector_distances
ORDER BY vector_rank
LIMIT 100
), fused AS (
SELECT COALESCE(f.doc_id, v.doc_id) AS doc_id,
f.fulltext_rank, v.vector_rank, v.vector_score,
COALESCE(1.0 / (60 + f.fulltext_rank), 0)
+ COALESCE(1.0 / (60 + v.vector_rank), 0) AS rrf_score
FROM fulltext_search f
FULL OUTER JOIN vector_search v ON f.doc_id = v.doc_id
)
SELECT d.doc_id, d.title, f.vector_score, f.fulltext_rank, f.vector_rank,
CAST(f.rrf_score AS DECIMAL(10, 6)) AS rrf_score,
CASE WHEN f.fulltext_rank IS NOT NULL AND f.vector_rank IS NOT NULL THEN '混合命中'
WHEN f.fulltext_rank IS NOT NULL THEN '仅全文命中'
ELSE '仅向量命中' END AS hit_type
FROM fused f
JOIN doc_hybrid_search d ON d.doc_id = f.doc_id
ORDER BY f.rrf_score DESC, d.doc_id
LIMIT 20;
| doc_id | title | vector_score | fulltext_rank | vector_rank | rrf_score | hit_type |
|---|
| 1 | 数据资产管理 | 0 | 1 | 1 | 0.032787 | 混合命中 |
| 2 | 旅行记录 | 1 | NULL | 2 | 0.016129 | 仅向量命中 |
第一篇在两路均排名第 1,分数为
1/61 + 1/61
1/61 + 1/61
;第二篇只有向量排名第 2,分数为
1/62
1/62
。两路未命中不能用一个虚构名次代替,否则会给未命中的检索路增加额外贡献。
注意事项
- 文档向量与查询向量必须使用相同模型和维度;不要让
NULL
NULL
向量参与距离排名。
- 两路先排序再截取候选;仅写
LIMIT
LIMIT
不能表达需要保留哪些候选。
- RRF 融合的是排名;
ORDER BY embedding
ORDER BY embedding
按向量值排序,不能代替距离排序。
- 候选数量、过滤条件和
k
k
应根据实际检索质量评估,不承诺固定召回率。
清理示例数据:
DROP TABLE doc_hybrid_search;
相关文档