从零开始构建企业级RAG系统

这是一本面向企业级AI应用开发者和决策者的RAG技术实战指南，全面覆盖了从基础理论到高级优化的各个环节。本书采用循序渐进的讲解方式，配以丰富的图表和代码示例，为读者提供了一条完整的学习路径，帮助读者快速掌握RAG技术的精髓。 本书共10章，分为四部分。 第一部分（第1章和第2章） RAG技术基础 介绍了RAG技术的定义、发展背景、核心组成以及落地面临的挑战，同时深入探讨了RAG技术背后的原理，包括嵌入技术、数据索引与检索，以及大语言模型的应用。 第二部分（第3~5章） RAG应用构建流程 详细讲解了RAG应用的各个环节，从数据准备与处理，到检索环节的优化，再到生成环节的技巧。 第三部分（第6~8章） RAG技术进阶 主要介绍了RAG系统的高级优化策略、常见框架实现原理与性能评估方法。针对高级优化策略，介绍了索引构建、预检索、检索、生成预处理和生成五个环节；针对常见框架，介绍了自省式RAG、自适应RAG、基于树结构索引的RAG、纠错性RAG等；针对评估方法，从评估指标和评估框架两个方面介绍了检索环节和生成环节的各种衡量指标的特点。 第四部分（第9章和第10章） RAG应用实例 首先通过具体的企业级应用案例和行业特定解决方案，展示了RAG技术在文档生成、知识库检索、客户服务等领域的实际应用，以及在金融、医疗、法律等特定行业的落地实践。然后展望了RAG技术的未来发展趋势，如长上下文对RAG的影响、多模态RAG的应用，以及嵌入模型与大模型语义空间融合等前沿话题，最后对RAG落地挑战进行了总结。 为了给读者提供更好的学习体验，本书准备了丰富的配套资源： GitHub 仓库：地址为 https://github.com/morsoli/rag-book-demo，包含最新的代码更新和额外的学习资料。 读者社区：关注公众号“莫尔索随笔”与“GeekSavvy”，加入交流群，与作者和其他读者交流讨论。

李多多（笔名：莫尔索）<br />资深AI技术专家，专注AI工程化落地与企业级解决方案。某公司 Al 项目研发负责人，多家企业 AI 技术顾问。在大语言模型应用开发领域有丰富经验，擅长LLM应用工程化、RAG系统构建以及Al Agent开发，著有《LangChain编程：从人门到实践》、开源电子书《LLM应用开发实践》。 <br />范国斌<br />资深大模型技术专家，连续AI创业者，百度飞桨PPDE技术专家，MIKU AI技术负责人。在大语言模型应用开发方面积累了深厚经验，精通 LLM 工程化落地、RAG 系统搭建以及 AI Agent 的开发与实现。开发的多款AI原生应用获得百度飞桨首页曝光，其中“Miku AI信息官”获评“2024百度年度星河产业百强应用”。

CONTENTS<br />目　　录<br />前言<br />第一部分　RAG技术基础<br />第1章　RAG 技术简介　2<br />1.1　为什么需要 RAG　2<br />1.2　RAG技术的发展背景　 4<br />1.2.1　早期阶段：信息检索与问答系统　4<br />1.2.2　过渡阶段：自然语言处理与机器学习　5<br />1.2.3　发展阶段：RAG技术的兴起与优化　6<br />1.3　RAG技术的核心组成　8<br />1.3.1　检索模块　8<br />1.3.2　生成模块　8<br />1.3.3　数据增强　9<br />1.4　与大语言模型集成　9<br />1.4.1　RAG与LLM的结合　9<br />1.4.2　LangChain和LlamaIndex　10<br />1.5　RAG面临的挑战　11<br />1.6　总结　12<br />第2章　RAG技术背后的原理　13<br />2.1　Embedding技术　13<br />2.1.1　为什么RAG要用 <br />Embedding　13<br />2.1.2　Embedding 的工作原理　14<br />2.1.3　Embedding的发展历程　15<br />2.1.4　Embedding 的代码示例　16<br />2.2　数据索引与检索　18<br />2.2.1　数据索引的基本概念　19<br />2.2.2　数据检索的基本原理　23<br />2.2.3　数据索引与检索的技术<br />实现　24<br />2.2.4　数据索引与检索的应用<br />场景　25<br />2.3　大语言模型　26<br />2.3.1　大语言模型的特点　26<br />2.3.2　大语言模型的技术原理　26<br />2.3.3　大语言模型在RAG中的<br />应用　29<br />2.4　总结　30<br />第二部分　RAG应用构建流程<br />第3章　数据准备与处理　34<br />3.1　数据清洗　34<br />3.1.1　数据收集　34<br />3.1.2　文本处理　37<br />3.1.3　文本分词　 39<br />3.2　文本分割　41<br />3.2.1　固定大小分块　42<br />3.2.2　递归分块　44<br />3.2.3　基于文档逻辑的分块　45<br />3.2.4　语义分块　47<br />3.3　索引构建　48<br />3.3.1　列表索引　49<br />3.3.2　关键词表索引　 51<br />3.3.3　向量索引　53<br />3.3.4　树索引　55<br />3.3.5　文档摘要索引　58<br />3.4　总结　60<br />第4章　检索环节　62<br />4.1　索引构建与优化　62<br />4.1.1　索引构建回顾　 62<br />4.1.2　索引更新策略　63<br />4.1.3　索引压缩技术　71<br />4.1.4　多模态索引构建　72<br />4.2　检索策略与算法　73<br />4.2.1　精确匹配检索　74<br />4.2.2　相似度检索　76<br />4.2.3　语义检索　77<br />4.2.4　混合检索　79<br />4.2.5　检索结果排序与过滤　80<br />4.3　查询转化　84<br />4.3.1　查询预处理　85<br />4.3.2　查询扩展　85<br />4.3.3　查询理解与意图识别　96<br />4.4　总结　99<br />第5章　生成环节　100<br />5.1　LLM重排序　100<br />5.1.1　重排序的概念　101<br />5.1.2　LLM重排序的基本原理　102<br />5.2　提示工程　104<br />5.2.1　零样本提示　105<br />5.2.2　少样本提示　105<br />5.2.3　思维链提示　106<br />5.2.4　React　108<br />5.3　LLM归纳生成　109<br />5.3.1　数据合成　110<br />5.3.2　文章摘要生成　111<br />5.3.3　人物场景创作　112<br />5.3.4　对话生成　112<br />5.3.5　JSON结构化输出　113<br />5.4　总结　115<br />第三部分　RAG技术进阶<br />第6章　高级RAG优化技术　118<br />6.1　索引构建优化　118<br />6.1.1　长文档优化　119<br />6.1.2　大规模文档系统的优化　125<br />6.2　预检索优化　129<br />6.2.1　查询转换　129<br />6.2.2　查询扩展　131<br />6.2.3　结构化查询　132<br />6.2.4　查询路由　136<br />6.2.5　查询缓存　139<br />6.3　检索阶段优化　140<br />6.3.1　知识图谱的混合检索　140<br />6.3.2　关键词检索与向量检索<br />结合　145<br />6.3.3　微调嵌入模型　147<br />6.4　生成预处理　150<br />6.4.1　重排序　150<br />6.4.2 　压缩与选择　152<br />6.5　生成阶段优化　153<br />6.5.1　提示工程　154<br />6.5.2　归因生成　155<br />6.5.3　事实验证　156<br />6.5.4　生成模型微调　157<br />6.6　总结　159<br />第7章　常见RAG框架的实现<br />原理　161<br />7.1　自省式RAG　161<br />7.1.1　实现原理　162<br />7.1.2　构建自省式RAG应用　164<br />7.2　自适应RAG　167<br />7.2.1　实现原理　168<br />7.2.2　构建自适应RAG应用　168<br />7.3　基于树结构索引的RAG　171<br />7.3.1　实现原理　171<br />7.3.2　树结构的特点　172<br />7.3.3　构建RAPTOR-RAG应用　174<br />7.4　纠错性RAG　176<br />7.4.1　实现原理　177<br />7.4.2　构建纠错性RAG应用　178<br />7.5　RAG融合　182<br />7.5.1　实现原理　182<br />7.5.2　构建RAG融合系统　185<br />7.6　基于知识图谱的RAG　187<br />7.6.1　实现原理　188<br />7.6.2　构建基于知识图谱的RAG<br />应用　189<br />7.7　其他　192<br />7.7.1　RankRAG　192<br />7.7.2　RichRAG　193<br />7.7.3　RAG 2.0　194<br />7.8　总结　194<br />第8章　RAG系统性能评估　195<br />8.1　RAG评估指标　195<br />8.1.1　检索环节评估　195<br />8.1.2　生成环节评估　198<br />8.2　常见的RAG评估框架　205<br />8.2.1　TruLens框架　205<br />8.2.2　RAGAs框架　210<br />8.2.3　ARES框架　213<br />8.2.4　其他　215<br />8.3　总结　222<br />第四部分　RAG应用实例<br />第9章　企业级RAG应用实践　224<br />9.1　通用应用　224<br />9.1.1　智能文档问答　224<br />9.1.2　企业知识库智能搜索　226<br />9.1.3　智能客服系统　228<br />9.2　行业应用　230<br />9.2.1　RAG在金融行业的应用　230<br />9.2.2　RAG在医疗行业的应用　232<br />9.2.3　RAG在法律行业的应用　233<br />9.2.4　RAG在教育行业的应用　235<br />9.3　构建企业级RAG系统　236<br />9.3.1　用户认证　236<br />9.3.2　输入防护　237<br />9.3.3　RAG组件　238<br />9.3.4　输出防护　239<br />9.3.5　反馈收集　239<br />9.3.6　数据存储　240<br />9.3.7　可观测性　240<br />9.4　总结　241<br />第10章　RAG技术展望　242<br />10.1　RAG 技术演进　242<br />10.1.1　大模型主动参与知识<br />选取　242<br />10.1.2　嵌入模型与大模型语义<br />空间融合　243<br />10.1.3　RAG流程动态编排　243<br />10.2　多模态RAG　244<br />10.2.1　三种检索策略　244<br />10.2.2　两种响应方式　244<br />10.3　RAG落地挑战　245