LangChain中的数据检索与向量化处理
构建高效RAG系统的数据准备流程
在构建检索增强生成（RAG）应用时，核心挑战在于如何让大语言模型（LLM）具备实时、精准且领域特定的知识。传统模型受限于训练数据的静态性，难以应对动态信息或私有知识库。为此，通过外部数据检索机制补充上下文成为关键路径。LangChain 提供了一套完整的数据处理流水线，涵盖从原始数据加载到向量存储的全链路能力。
1. 多源文档加载
数据输入是整个流程的第一步。LangChain 封装了多种文档解析器，支持主流格式的自动化读取：
# PDF 文档加载（使用 pypdf）
from langchain_community.document_loaders import PyPDFLoader
loader = PyPDFLoader("财务报告.pdf")
pages = loader.load()
print(pages[0].page_content[:200]) # 查看前200字符内容
# Word 文档加载（支持复杂结构）
from langchain_community.document_loaders import UnstructuredWordDocumentLoader
loader = UnstructuredWordDocumentLoader("项目计划书.docx")
docs = loader.load()
for doc in docs:
print(doc.page_content.strip())
这些加载器可直接处理本地文件，也可集成网络接口或数据库查询结果，实现灵活的数据接入。
2. 智能文本切分策略
原始文档通常过长，需进行合理切分以平衡语义完整性和检索效率。不当的分割会导致信息断裂或上下文丢失。
常见切分方式对比
| 分割器 | 特点 | 适用场景 |
|---|---|---|
CharacterTextSplitter |
按固定字符数切割，不考虑语义 | 简单文本预处理 |
RecursiveCharacterTextSplitter |
优先按段落/句子边界递归切分 | 推荐用于大多数长文档 |
TokenTextSplitter |
基于模型 Token 数量控制，适配上下文限制 | 高精度成本控制 |
LanguageSplitter |
依据编程语言语法结构切分 | 代码库问答场景 |
SemanticChunker |
利用嵌入模型识别语义边界 | 高质量知识库问答 |
MarkdownHeaderTextSplitter |
按标题层级自动拆分 | 结构化技术文档 |
推荐使用 RecursiveCharacterTextSplitter 作为通用方案，配置示例：
from langchain_text_splitters import RecursiveCharacterTextSplitter
splitter = RecursiveCharacterTextSplitter(
chunk_size=300,
chunk_overlap=50,
length_function=len,
add_start_index=True
)
# 批量处理清洗后的文本
cleaned_texts = [p.replace('\n', '').replace(' ', '') for p in pages]
chunks = splitter.create_documents(cleaned_texts)
该方法能有效保留句子完整性，并通过重叠部分维持上下文连贯性。
3. 文本向量化与嵌入模型
将文本转化为数值向量是实现语义检索的基础。LangChain 提供统一接口对接多种嵌入服务：
from langchain_community.embeddings import DashScopeEmbeddings
from langchain_huggingface import HuggingFaceEmbeddings
# 云端模型（如百炼）
embedder = DashScopeEmbeddings(
dashscope_api_key="your-api-key",
model="text-embedding-v3"
)
# 本地模型（如 BGE）
local_embedder = HuggingFaceEmbeddings(
model_name="/path/to/bge-large-zh-v1.5",
encode_kwargs={'normalize_embeddings': True}
)
# 向量化操作
documents = ["劳动节放假几天？", "元旦假期安排"]
embeddings = embedder.embed_documents(documents)
query_vector = embedder.embed_query("五一放假吗？")
不同模型在精度、速度和资源消耗上各有权衡，可根据部署环境选择。
4. 向量存储与持久化
向量需持久化以便后续快速检索。推荐使用轻量级向量数据库如 Chroma：
from langchain_community.vectorstores import Chroma
from langchain_community.embeddings import DashScopeEmbeddings
# 初始化嵌入模型与向量库
embeddings = DashScopeEmbeddings(dashscope_api_key="key", model="text-embedding-v3")
# 从文档创建向量数据库
db = Chroma.from_documents(
documents=chunks,
embedding=embeddings,
collection_name="knowledge_base",
persist_directory="./chroma_db"
)
Chroma 支持内存模式与磁盘持久化，适合开发测试及中小型项目。
5. 检索器设计与高级查询
相比直接调用相似度搜索，引入 Retriever 抽象层可显著提升灵活性与可扩展性：
# 定义检索器
retriever = db.as_retriever(search_kwargs={"k": 3})
# 无需手动向量化，直接获取相关文档
results = retriever.get_relevant_documents("欲练此功，必先自宫")
for doc in results:
print(doc.page_content)
检索器类型解析
- 向量检索器（Vector Retriever）：基于语义匹配，理解问题意图。
- 关键词检索器（Keyword Retriever）：精确匹配关键词，适用于专有名词查找。
- 混合检索器（Hybrid Retriever）：融合语义与关键词，结合两者优势，当前生产首选。
- 多查询检索器（Multi-Query Retriever）：将一个问题改写为多个视角，全面覆盖潜在答案。
混合检索常配合重排序器（Reranker）使用，先粗筛后精排，极大提升最终输出的相关性与准确性。
