大模型自动生成问答对优化RAG测试流程
RAG应用测试中的问答对挑战
在测试RAG系统时，问答对数据集是验证模型事实准确性、防止幻觉输出的关键工具。
手工构建问答对的局限性
当测试规模扩大时，人工创建问答对面临显著瓶颈：时间消耗随数据量指数增长，重复性工作挤占高阶测试活动，人为偏差导致潜在问题遗漏，场景覆盖不全面。
自动化生成的价值
大模型批量生成问答对可实现：基于知识库自动创建多样化数据，集成智能质检机制，释放测试人员投入高阶诊断任务。
处理流程架构
针对中文大模型测试特性设计模块化流水线：
文档输入 → 文本分段 → 问答生成 → 质量校验 → 去重处理 → 结果输出
系统设计原则
- 高效性：自动分段与批量生成
- 准确性：规则匹配与语义验证双机制
- 灵活性：配置文件动态调整参数
文档处理与问答生成
文本分段策略
from langchain.text_splitter import RecursiveCharacterTextSplitter
def segment_documents(docs, segment_length=4000, overlap=200):
splitter = RecursiveCharacterTextSplitter(
chunk_size=segment_length,
chunk_overlap=overlap,
separators=["\n\n", "\n", "。", "！", "？"]
)
return splitter.split_documents(docs)问答生成核心实现
PROMPT_TEMPLATE = """
作为专业助手，请从以下文本生成问答对列表。
输出应为包含"qa_pairs"键的JSON对象，值为字典列表（含question和answer键）。
仅输出JSON，不要添加解释。
文本内容：
{text}
"""
class QuestionGenerator:
def __init__(self, language_model):
self.model = language_model
prompt = ChatPromptTemplate.from_template(PMPT_TEMPLATE)
self.workflow = prompt | self.model | JsonOutputParser()
def generate_qa(self, file_path):
documents = load_file(file_path)
segments = segment_documents(documents)
results = []
for seg in segments:
try:
output = self.workflow.invoke({"text": seg.content})
results.extend(output["qa_pairs"])
except:
# 异常处理逻辑
pass
return results质量校验机制
四层验证策略
- 语义相似度校验（最高优先级）
- 长度合规检查
- 关键词匹配验证
- 内容去重处理
语义相似度验证
def check_semantic_similarity(source, qa_pair, threshold=0.5):
encoder = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
src_vec = encoder.encode(source)
q_vec = encoder.encode(qa_pair['question'])
a_vec = encoder.encode(qa_pair['answer'])
q_score = util.cos_sim(src_vec, q_vec).item()
a_score = util.cos_sim(src_vec, a_vec).item()
return q_score > threshold and a_score > threshold关键词验证（中文优化）
import jieba.analyse
def validate_keywords(source, qa_pair, top_n=10):
src_keywords = jieba.analyse.extract_tags(source, topK=top_n)
q_words = set(jieba.lcut(qa_pair['question']))
a_words = set(jieba.lcut(qa_pair['answer']))
return bool(src_keywords & q_words) and bool(src_keywords & a_words)内容去重处理
def remove_duplicates(qa_list, threshold=0.1):
encoder = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
questions = [item['question'] for item in qa_list]
embeddings = encoder.encode(questions)
# 计算相似度矩阵并聚类
similarity_matrix = util.cos_sim(embeddings, embeddings)
clustering = AgglomerativeClustering(
distance_threshold=threshold,
metric='cosine'
).fit(1 - similarity_matrix)
# 每个簇保留一个样本
return [qa_list[i] for i in set(clustering.labels_)]系统配置示例
validation_config:
similarity_threshold: 0.5
min_question_length: 5
max_answer_length: 500
keyword_count: 10
uniqueness_threshold: 0.1