大型语言模型实战指南

内容简介 这是一本系统梳理并深入解析大模型的基础理论、算法实现、数据构造流程、模型微调方法、偏好对齐方法的著作，也是一本能手把手教你构建角色扮演、信息抽取、知识问答、AI Agent等各种强大的应用程序的著作。本书得到了零一万物、面壁智能、通义千问、百姓AI、澜舟科技等国内主流大模型团队的负责人的高度评价和鼎力推荐。 具体地，通过本书你能了解或掌握以下知识： （1）大型语言模型的基础理论，包括常见的模型架构、领域大型语言模型以及如何评估大模型的性能。 （2）大模型微调的关键步骤：从数据的收集、清洗到筛选，直至微调训练的技术细节。 （3）大模型人类偏好对齐方法，从基于人工反馈的强化学习框架到当前主流的对齐方法。 （4）通过GPTs快速搭建个性化的专属ChatGPT应用。 （5）通过开源模型在多种场景下搭建大模型应用，包括：表格查询、角色扮演、信息抽取、知识问答、AI Agent等。 （6）掌握大模型Agent方法以及Agent常用框架。 （7）基于LangChain框架构建一个AutoGPT应用。 本书集大模型理论、实践和场景落地于一体，提供大量经详细注释的代码，方便读者理解和实操。总之，不管里是想深入研究大模型本身，还是进行大模型相关应用搭建，本书都应该能给你颇具价值的技术启发与思考，让你在大模型的路上快速前行，少走弯路。

刘聪<br />中国药科大学硕士，从事NLP工作5年，任职云问NLP研究院首席算法架构师，MLNLP（机器学习算法与自然语言处理）社区的学术委员，长期关注人工智能前沿内容，知乎粉丝量8k+，知乎文章阅读量257万，拥有个人公众号，原创文章60余篇。主攻文本向量表征、问答系统、文本生成（AIGC）方向，并致力于开源工作，开源了中文首个Unilm预训练模型，中文GPT2项目，夸夸闲聊机器人（ChatBot）等相关项目。作为主要负责人，在多项自然语言处理比赛中获得前三甲的名次，发表多篇中文核心期刊，专利一篇，sci论文4篇。

CONTENTS<br />目　　录<br /><br />前言<br />第1章　大型语言模型基础?1<br />1.1　Transformer基础?1<br />1.2　常用的大型语言模型?4<br />1.2.1　GPT系列模型?4<br />1.2.2　OPT模型?11<br />1.2.3　Bloom模型?12<br />1.2.4　GLM系列模型?12<br />1.2.5　LLaMA系列模型?14<br />1.2.6　Baichuan系列模型?16<br />1.2.7　Qwen系列模型?18<br />1.2.8　Skywork模型?19<br />1.3　领域大型语言模型?21<br />1.3.1　法律大型语言模型?21<br />1.3.2　医疗大型语言模型?24<br />1.3.3　金融大型语言模型?27<br />1.3.4　教育大型语言模型?29<br />1.4　大型语言模型评估?30<br />1.4.1　大型语言模型的评估<br />内容?30<br />1.4.2　大型语言模型的评估<br />方法?32<br />1.4.3　大型语言模型评估<br />榜单?33<br />1.5　本章小结?37<br />第2章　大型语言模型的常用<br /> 微调方法?38<br />2.1　数据构造与清洗?38<br />2.1.1　数据构造方法?39<br />2.1.2　数据清洗方法?43<br />2.2　分词器构造?44<br />2.2.1　分词器概述?44<br />2.2.2　BPE分词器?45<br />2.2.3　WordPiece分词器?52<br />2.2.4　Unigram分词器?56<br />2.2.5　SentencePiece分词器?58<br />2.2.6　词表融合?62<br />2.3　大型语言模型的微调方法?63<br />2.3.1　前缀调优?63<br />2.3.2　提示调优?64<br />2.3.3　P-Tuning v2?65<br />2.3.4　LoRA?65<br />2.3.5　DyLoRA?66<br />2.3.6　AdaLoRA?67<br />2.3.7　QLoRA?67<br />2.3.8　QA-LoRA?68<br />2.3.9　LongLoRA?69<br />2.3.10　VeRA?69<br />2.3.11　S-LoRA?70<br />2.4　基于PEFT的LLaMA模型<br />微调实战?71<br />2.4.1　项目介绍?71<br />2.4.2　数据预处理?71<br />2.4.3　模型微调?72<br />2.4.4　模型预测?77<br />2.5　本章小结?78<br />第3章　大型语言模型的人类<br />偏好对齐?79<br />3.1　基于人类反馈的强化学习框架?79<br />3.2　前沿偏好对齐方法?84<br />3.2.1　RRHF?84<br />3.2.2　RLAIF?85<br />3.2.3　DPO?87<br />3.2.4　APO?89<br />3.3　基于DPO的偏好对齐实战?90<br />3.3.1　数据集介绍?90<br />3.3.2　TRL框架介绍?92<br />3.3.3　训练代码解析?93<br />3.4　本章小结?96<br />第4章　创建个人专属的ChatGPT<br />—GPTs?97<br />4.1　GPTs初体验?97<br />4.2　GPTs的初阶使用?105<br />4.2.1　知识库的使用?105<br />4.2.2　内置插件的使用?108<br />4.2.3　知识库与内置插件的<br />结合使用?111<br />4.3　GPTs的高阶使用?113<br />4.4　本章小结?122<br />第5章　大型语言模型SQL任务<br />实战?123<br />5.1　公开数据集?123<br />5.1.1　英文公开数据集?123<br />5.1.2　中文公开数据集?128<br />5.2　主流方法?132<br />5.2.1　基于规则的方法?133<br />5.2.2　基于深度学习的方法?133<br />5.2.3　基于预训练语言模型的<br />方法?136<br />5.2.4　基于大型语言模型的<br />方法?136<br />5.3　Text2SQL任务实战?141<br />5.3.1　项目介绍?141<br />5.3.2　数据预处理?142<br />5.3.3　模型微调?147<br />5.3.4　模型预测?149<br />5.4　本章小结?150<br />第6章　大型语言模型的角色扮演<br />应用?151<br />6.1　角色扮演?151<br />6.1.1　大型语言模型如何进行<br />角色扮演?153<br />6.1.2　角色扮演数据的构造<br />方法?155<br />6.1.3　大型语言模型角色扮演的<br />能力评估?155<br />6.2　角色扮演实战测试?156<br />6.3　基于Baichuan的角色扮演模型<br />微调?159<br />6.3.1　项目介绍?159<br />6.3.2　数据预处理?160<br />6.3.3　模型微调?164<br />6.3.4　模型预测?171<br />6.4　本章小结175<br />第7章　大型语言模型的对话要素<br />抽取应用?176<br />7.1　对话要素抽取?176<br />7.2　对话要素抽取实战测试?177<br />7.2.1　基于GPT-3.5 API进行<br />对话要素抽取?178<br />7.2.2　基于Qwen-1.8B模型<br />进行对话要素抽取?180<br />7.3　基于Qwen的对话要素抽取<br /> 模型微调?183<br />7.3.1　项目介绍?183<br />7.3.2　数据预处理?183<br />7.3.3　模型微调?190<br />7.3.4　模型预测?198<br />7.4　本章小结?202<br />第8章　Agent应用开发?203<br />8.1　Agent概述?203<br />8.2　Agent的主要模块?205<br />8.3　Agent的行为决策机制?207<br />8.4　主流Agent 框架?211<br />8.4.1　LangChain框架?211<br />8.4.2　LlamaIndex框架?214<br />8.4.3　AutoGPT框架?215<br />8.4.4　AutoGen 框架?216<br />8.4.5　SuperAGI框架?219<br />8.5　本章小结?221<br />第9章　基于知识库的大型语言<br />模型问答应用?222<br />9.1　基于知识库问答?222<br />9.2　向量数据库?224<br />9.2.1　文本的向量表征?225<br />9.2.2　向量的距离度量方法?228<br />9.2.3　常用的向量数据库?229<br />9.3　基于知识库的大型语言模型<br /> 问答实战?231<br />9.3.1　BGE微调?231<br />9.3.2　基于ChatGLM3知识库<br />答案生成任务的微调?238<br />9.3.3　基于Streamlit的知识库<br />答案应用搭建?245<br />9.4　本章小结?249<br />第10章　使用LangChain构建一个<br />　 AutoGPT?250<br />10.1　AutoGPT概述?250<br />10.2　LangChain概述?253<br />10.3　使用LangChain构建<br />　 AutoGPT?254<br />　 10.3.1　构建?254<br />　 10.3.2　规划和任务分解?255<br />　 10.3.　输出解析?258<br />　 10.3.4　程序的核心<br />　　　AutoGPT类?261<br />　 10.3.5　工具能力配置?266<br />　 10.3.6　为Agent配置记忆?269<br />10.4　运行AutoGPT?274<br />10.5　本章小结?277<br />