一文搞懂RAG核心技术：向量化如何让AI真正“读懂“你的文档 | 程序员必藏

不秃头de程序猿

1365人浏览 · 2025-09-30 11:25:53

不秃头de程序猿 · 2025-09-30 11:25:53 发布

最近在与豆包的对话中，我陷入了一个灵魂拷问：当我们上传一个文件时，系统是怎么精准抓住“我到底在找什么”的？难道要给每个字符串赋予“灵魂”？那内存不得当场罢工？

记得一年前，AI 的检索能力还远没有如今这么“聪明”。当时我把几份 PDF 扔给系统，兴冲冲地问：“微服务的优势是什么？”它却义正辞严地回我：“微服务的挑战包括……”——词对了，意思跑偏了。为什么会这样？因为传统检索只会“找词”，却不会“懂你”。

后来我在做 RAG 的过程中逐步摸清了门道：要想让 AI 真正“读懂问题、找到对的片段、给出靠谱的答案”，关键是先把文本变成向量，然后用向量做语义检索。听起来有点抽象？别急，下面慢慢讲清楚。

一、传统检索的局限与 AI 精准检索的挑战

在构建 Retrieval-Augmented Generation（RAG）系统时，一个核心问题是：用户上传海量文档后，如何让模型从中“精准地”检索到与问题最相关的片段？

传统基于关键词的检索（如倒排索引）容易出现：

你搜“汽车”，结果里“轿车”一个没有；同义词不背锅，系统背。
你搜“优势”，结果全在讲“挑战”；词对了，意思歪了。
你中文提问，资料是英文；关键词直接“语言互相看不顺眼”。
你问的是一段完整逻辑，关键词却把词拆成了散装零件。

关键词检索天生偏“词形”，不懂“语义”。想让 AI 精准检索？得从“匹配词”升级到“匹配意思”。

AI 想“读懂问题并找到答案”，必须跨过“词形匹配”的藩篱，进入“语义匹配”的世界。这正是向量化（Text Embedding）发力的地方。

二、向量化到底是啥？（把话翻译成坐标）

一句话：把文本变成一个高维向量（比如 2048 维的 float）。语义相近的文本，向量更接近。就像你我描述“微服务的优势”，虽然用词不同，但“语义坐标”会很像。

“微服务架构的优势” → [0.82, -0.15, 0.61, …]（2048 维）
“分布式系统的好处” → [0.78, -0.12, 0.58, …]（很像）
“今天天气真不错” → [0.10, 0.85, -0.40, …]（一点都不像）

接着，用余弦相似度一算，谁跟你的问题更像，一目了然。是不是有点“灵魂伴侣”的感觉？

嗯…专业的来讲就是

关键词检索：匹配的是字符/词形，难以理解“意思”。
向量检索：把文本映射到高维语义空间，语义相近的文本向量彼此更接近，可用余弦相似度等指标度量相关性。

三、文本如何向量化：原理到实现

把模型想成一个专注的“同传”：先把一句话拆成小词小片段，然后用“注意力”在上下文里左看右看、前后比照，最后递上一张“语义名片”——一条定长的高维向量。

切词热身：把文本切成 token（小词粒），方便后续理解
左顾右盼：自注意力像眼神巡逻，抓住上下文里的重点与关系
递名片：产出一个固定长度的向量（如 2048 维 float32），代表这段话的实际意义

向量化接口（Embedding API）

// 将 JSON 响应解析为 List<float[]>（示例）
private List<float[]> parseVectors(String response) throws Exception {
JsonNode root = objectMapper.readTree(response);
JsonNode data = root.get("data");
if (data == null || !data.isArray()) {
throw new RuntimeException("API 响应格式错误: data 字段不存在或不是数组");
}
List<float[]> vectors = new ArrayList<>();
for (JsonNode item : data) {
JsonNode embedding = item.get("embedding");
if (embedding != null && embedding.isArray()) {
float[] vec = new float[embedding.size()];
for (int i = 0; i < embedding.size(); i++) {
vec[i] = (float) embedding.get(i).asDouble();
}
vectors.add(vec);
}
}
return vectors;
}

3.响应解析为向量

// 将 JSON 响应解析为 List<float[]>（示例）
private List<float[]> parseVectors(String response) throws Exception {
JsonNode root = objectMapper.readTree(response);
JsonNode data = root.get("data");
if (data == null || !data.isArray()) {
throw new RuntimeException("API 响应格式错误: data 字段不存在或不是数组");
}
List<float[]> vectors = new ArrayList<>();
for (JsonNode item : data) {
JsonNode embedding = item.get("embedding");
if (embedding != null && embedding.isArray()) {
float[] vec = new float[embedding.size()];
for (int i = 0; i < embedding.size(); i++) {
vec[i] = (float) embedding.get(i).asDouble();
}
vectors.add(vec);
}
}
return vectors;
}

四、Elasticsearch：向量检索的工程利器

好，到现在为止我们就将文件中的内容变为向量，接下来是从海量的向量中进行检索。

说到“怎么把语义检索落地到工程里”，Elasticsearch 是一把好用的瑞士军刀。8.x 之后它原生支持向量搜索（dense_vector + KNN/HNSW）：

你可能会问：不是有 Faiss、HNSWLib 吗？对，但 ES 8.x 之后“原生”支持向量搜索（dense_vector + KNN/HNSW），而且：

文本检索和向量检索“同库共存”，权限、监控、路由、审计一条龙；
水平扩展简单，团队熟悉度高，稳定性也更“省心”。最小映射长这样：

{
"mappings": {
"properties": {
"textContent": { "type": "text" },
"vector": { "type": "dense_vector", "dims": 2048, "index": true, "similarity": "cosine" },
"fileMd5": { "type": "keyword" },
"chunkId": { "type": "keyword" },
"userId": { "type": "keyword" },
"orgTag": { "type": "keyword" },
"isPublic": { "type": "boolean" }
}
}
}

KNN 查询也很直白：

{
"query": {
"knn": {
"field": "vector",
"query_vector": [0.12, -0.45, 0.78, ...],
"k": 10,
"num_candidates": 100
}
}
}

小贴士：similarity 用 cosine；dims 跟模型一致；num_candidates 提高召回但会稍慢——别给自己挖坑。

五、端到端流程：从上传文档到可检索向量

最后给我一下我做RAG的心得

看一下整体流程：

在这里插入图片描述


上传 → 解析与分块 → 批量向量化 → 存入向量索引（ES） → 语义检索 → 生成答案

智能分块（保持语义完整性）

建议策略：按段落/句子边界分块，目标块大小约 512 字符；对超长段落再按句子甚至词语细分（中文可用 HanLP）。

批量向量化（EmbeddingClient）

public List<float[]> embed(List<String> texts) {
List<float[]> all = new ArrayList<>(texts.size());
for (int start = 0; start < texts.size(); start += batchSize) {
int end = Math.min(start + batchSize, texts.size());
List<String> sub = texts.subList(start, end);
String response = callApiOnce(sub);
all.addAll(parseVectors(response));
}
return all;
}

3.存储到 Elasticsearch（向量索引）

// 向量字段映射示例（dense_vector）
{
"mappings": {
"properties": {
"textContent": { "type": "text" },
"vector": {
"type": "dense_vector",
"dims": 2048,
"index": true,
"similarity": "cosine"
},
"fileMd5": { "type": "keyword" },
"chunkId": { "type": "keyword" },
"userId": { "type": "keyword" },
"orgTag": { "type": "keyword" },
"isPublic": { "type": "boolean" }
}
}
}

4.语义检索（KNN 查询）

{
"query": {
"knn": {
"field": "vector",
"query_vector": [0.12, -0.45, 0.78, ...],
"k": 10,
"num_candidates": 100
}
}
}

混合检索（向量 + 关键词）

在语义检索结果基础上，用关键词匹配补充召回，并进行结果融合，可显著提升稳定性与覆盖率。

查询："微服务架构的优势是什么？"

关键词检索（Top-1）：

- 命中："微服务架构的挑战包括服务治理、观测性..."

- 问题：文本包含“微服务”“架构”，但主题偏“挑战”。

向量检索（Top-1）：

- 命中："微服务架构的优势包括独立部署、团队自治、技术栈灵活、故障隔离..."

- 优点：语义对齐，直接命中“优势”。