RAG关键痛点和解决方案面试题

• 大模型（LLMs）RAG ——关键痛点及对应解决方案
• 前言
• 问题一：内容缺失问题
• 1.1 介绍一下内容缺失问题？
• 1.2 如何解决内容缺失问题？
• 问题二：错过排名靠前的文档
• 2.1 介绍一下错过排名靠前的文档问题？
• 2.2 如何解决错过排名靠前的文档问题？
• 问题三：脱离上下文一整合策略的限制
• 3.1 介绍一下脱离上下文 —整合策略的限制问题？
• 3.2 如何解决脫离上下文一整合策略的限制问题？
• 问题四：未能提取答案
• 4.1 介绍一下未能提取答案问题？
• 4.2 如何解决未能提取答案问题？
• 问题五：格式错误
• 5.1 介绍一下格式错误问题？
• 5.2 如何解决格式错误问题？
• 问题六：特异性错误
• 6.1 介绍一下特异性错误问题？
• 6.2 如何解决特异性错误问题？
• 问题七：回答不全面
• 7.1 介绍一下回答不全面问题？
• 7.2 如何解决回答不全面问题？
• 问题八：数据处理能力的挑战
• 8.1 介绍一下数据处理能力的挑战问题？
• 8.2 如何解决数据处理能力的挑战问题？
• 问题九：结构化数据查询的难题
• 99.1 介绍一下结构化数据查询的难题问题？
• 9.2 如何解决结构化数据查询的难题问题？
• 问题十：从复杂 PDF 文件中提取数据
• 10.1 介绍一下从复杂 PDF 文件中提取数据问题？
• 10.2 如何解决从复杂 PDF 文件中提取数据问题？
• 问题十一：备用模型
• 11.1 介绍一下备用模型问题？
• 11.2 如何解决备用模型问题？
• 问题十二：大语言模型（LLM）的安全挑战
• 12.1 介绍一下大语言模型（LLM）的安全挑战问题？
• 12.2 如何解决大语言模型（LLM）的安全挑战问题？
• 总结
• 致谢

受到 Barnett 等人的论文《 Seven Failure Points When Engineering a Retrieval Augmented Generation System 》的启发，本文将探讨论文中提到的七个痛点，以及在开发检索增强型生成 （RAG）流程中常见的五个额外痛点。更为关键的是，我们将深入讨论这些 RAG 痛点的解决策 略，使我们在日常 RAG 开发中能更好地应对这些挑战。

Index Process Chunker

Query Process Query Query Rewriter

问题一：内容缺失问题

1.1 介绍一下内容缺失问题？

当实际答案不在知识库中时，RAG 系统往往给出一个貌似合理却错误的答案，而不是承认无法给 出答案。这导致用户接收到误导性信息，造成错误的引导。 1.2 如何解决内容缺失问题？

1. 优化数据源 “输入什么，输出什么。“如果源数据质量差，比如充斥着冲突信息，那么无论你如何构建 RAG 流 程，都不可能从杂乱无章的数据中得到有价值的结果。 2. 改进提示方式 在知识库缺乏信息，系统可能给出错误答案的情况下，改进提示方式可以起到显著帮助。 例如，通过设置提示“如果你无法确定答案，请表明你不知道" 可以鼓励模型认识到自己的局限并更透明地表达不确定性。虽然无法保证百分百准确，但在优化数 据源之后，改进提示方式是我们能做的最好努力之一。 问题二：错过排名靠前的文档 2.1 介绍一下错过排名靠前的文档问题？ 有时候系统在检索资料时，最关键的文件可能并没有出现在返回结果的最前面。这就导致了正确答 案被忽略，系统因此无法给出精准的回答。 即：“问题的答案其实在某个文档里面，只是它没有获得足够高的排名以致于没能呈现给用户” 2.2 如何解决错过排名靠前的文档问题？

1. 重新排名检索结果 在将检索到的结果发送给大型语言模型（LLM）之前，对结果进行重新排名可以显著提升 RAG 的性 能。Llamalndex 的一个笔记本展示了两种不同方法的效果对比：

Key Missing Failure point stage intputoutput

Specificity

Chunks Not Consolidator Not in Wrong Format

• 直接检索前两个节点，不进行重新排名，这可能导致不准确的检索结果。
• 先检索前十个节点，然后使用 CohereRerank 进行重新排名，最后返回前两个节点，这种方法可 以提高检索的准确性。 2.调整数据块大小（chunk_size）和相似度排名（similarity_top_k）超参数 chunk_Size 和 similarity_top_k 都是用来调控 RAG （检索增强型生成）模型数据检索过程中效率和 效果的参数。改动这些参数能够影响计算效率与信息检索质量之间的平衡。以 Llamalndex 为例， 下面是一个示例代码片段。 param_tuner = ParamTuner （ param_fn=objective_function_semantic_similarity， param_dict=param_dict， fixed_param_dict=fixed_param_dict， show_progress=True，

results = param_tuner. tune （）

定义函数 objective_function_semantic_similarity, param_dict 包含了参数 chunk_size 和 t0p_K 以及 它们推荐的值： # 包含需要调优的参数

＃包含在调整过程的所有运行中保持固定的参数

fixed param dict = ｛

"docs”：documents，

"ref_response_strs”：ref_response_strs，

def objective_function_semantic_similarity （params_dict）： size = params_dict ［"chunk_size"］

chunk

docs = params_dict ［"docs"］

top_k = params_dict ［"top k"］

eval_qs = params_dict ［"eval_qs"］ ref_response_strs = params_dict ［"ref_response_strs"］

index = _build_index （chunk_size, docs）

query_engine = index.as_query_engine （similarity_top_k=top_k）

＃ 获得预测响应 pred_response_objs = get_responses （ eval_qs, query_engine, show_progress=True

＃ 运行评估程序