为什么embedding选择比你想的重要
embedding是把文本变成向量,向量之间的距离代表语义相似度。RAG系统的检索阶段就是拿用户问题的向量去数据库里找最近的文档向量。
如果embedding模型不够好,会出现两种情况。一是召回率低,相关文档没被找到,LLM拿不到足够信息,回答质量差。二是精度低,不相关文档被排在前面,LLM被噪声干扰,回答跑偏。
这两种问题靠调prompt解决不了,只能换embedding模型。
4种主流方案
目前做RAG常用的embedding方案就四种。
OpenAI text-embedding-3-small:2024年1月发布,1536维,输入$0.02/百万token。便宜,效果好,闭源。
OpenAI text-embedding-3-large:同系列大版本,3072维,输入$0.13/百万token。效果更好但贵6.5倍,维度翻倍存储成本也涨。
Cohere embed-v3:1024维,输入$0.10/百万token(推理搜索场景)。支持多语言,在MTEB排行榜上表现稳定。
BGE-M3(开源):北京智源研究院2024年1月发布,1024维,自己部署免费。支持100+语言,Hugging Face可下载。
关键维度对比
先说维度。维度越高,表达能力越强,但存储和计算成本也越高。3072维的向量比1024维占3倍存储空间,查询时计算量也大。
再说价格。按每月1000万token的推理量算(大约3万篇文档每篇300字):
- text-embedding-3-small:$0.2/月
- text-embedding-3-large:$1.3/月
- Cohere embed-v3:$1.0/月
- BGE-M3:$0(自己部署,服务器成本另算)
数据来源:OpenAI和Cohere官方定价页。
然后看效果。Hugging Face的MTEB(Massive Text Embedding Benchmark)是目前最权威的embedding评测榜单,覆盖8个任务56个数据集。截至2024年底,text-embedding-3-large的MTEB平均分约64.6,text-embedding-3-small约62.3,BGE-M3约64.2,Cohere embed-v3约63.0。
分数差距看起来不大,但在实际RAG检索中,几分的差异可能意味着召回率差10%到15%。
用代码评估哪个适合你
benchmark分数是参考,你的数据才是决定因素。下面这段代码帮你在自己的数据集上对比不同embedding的检索效果。
import numpy as np
from openai import OpenAI
import cohere
# 准备测试数据:问题和相关文档、不相关文档
test_cases = [
{
"query": "怎么部署Next.js到Cloudflare",
"relevant": "Next.js应用可以 通过Cloudflare Pages部署,连接GitHub仓库后自动构建",
"irrelevant": "Python Flask是一个轻量级Web框架"
},
{
"query": "GPT-4的token限制是多少",
"relevant": "GPT-4 Turbo的上下文窗口是128K token",
"irrelevant": "React 18引入了并发渲染特性"
}
# 加更多测试用例,建议至少20条
]
def evaluate_embedding(model_name, embed_func):
"""评估某个embedding模型的检索准确率"""
correct = 0
total = len(test_cases)
for case in test_cases:
query_emb = embed_func(case["query"], model_name)
rel_emb = embed_func(case["relevant"], model_name)
irrel_emb = embed_func(case["irrelevant"], model_name)
# 计算余弦相似度
sim_relevant = cosine_sim(query_emb, rel_emb)
sim_irrelevant = cosine_sim(query_emb, irrel_emb)
# 相关文档相似度应该更高
if sim_relevant > sim_irrelevant:
correct += 1
accuracy = correct / total
print(f"{model_name}: {accuracy:.1%}")
return accuracy
def cosine_sim(a, b):
return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
# OpenAI embedding
client = OpenAI()
def openai_embed(text, model):
resp = client.embeddings.create(input=text, model=model)
return resp.data[0].embedding
# 评估三个模型
evaluate_embedding("text-embedding-3-small", openai_embed)
evaluate_embedding("text-embedding-3-large", openai_embed)
# Cohere类似,用co.embed接口
这段代码的核心逻辑很简单:对每个测试用例,看相关文档的相似度是否高于不相关文档。跑完就知道哪个模型在你的数据上表现最好。
建议至少准备20到30条测试用例,覆盖你实际业务中的典型问题和文档类型。用例太少结果不可靠。
怎么选
分三种情况。
刚起步,调用量不大:直接用text-embedding-3-small。$0.02/百万token的价格几乎可以忽略,效果够用,API稳定不用维护。等遇到检索质量问题再考虑换。
对检索质量要求高:上text-embedding-3-large或BGE-M3。前者不用维护但贵一些,后者免费但需要自己部署GPU服务器。如果你的文档量在10万条以下,BGE-M3用一台4GB显存的机器就能跑。
多语言场景:BGE-M3和Cohere embed-v3都支持100+语言。如果你的RAG系统要同时处理中英文混合文档,这两个比OpenAI的模型更稳。OpenAI的embedding在纯英文场景表现最好,但中文和非英语语言的MTEB分数相对低一些。
一个容易忽略的坑
换embedding模型后,之前存的向量全部作废。不同模型的向量空间不兼容,不能拿text-embedding-3-small的向量和text-embedding-3-large的向量算相似度。
所以如果你预计后续可能换模型,从一开始就用一张表存原文,另一张表存向量。换模型时重新生成向量表就行,不用动原始数据。
-- 推荐的表结构
CREATE TABLE documents (
id BIGSERIAL PRIMARY KEY,
content TEXT NOT NULL,
metadata JSONB,
created_at TIMESTAMP DEFAULT NOW()
);
CREATE TABLE embeddings (
id BIGSERIAL PRIMARY KEY,
doc_id BIGINT REFERENCES documents(id),
model_name VARCHAR(50) NOT NULL,
vector VECTOR(1536),
created_at TIMESTAMP DEFAULT NOW()
);
model_name字段记录用的是哪个模型,方便后续对比和迁移。
小结
embedding选择没有标准答案,但有个合理的决策路径:先用最便宜的跑起来,收集真实case建测试集,用代码评估效果,不满意再升级。别在项目初期就花时间调优embedding,先跑通整个RAG流程再说。
如果你已经在用某个embedding模型,欢迎在评论区分享你的体验和踩过的坑。
