大语言模型开发 用开源模型开发本地系统

"•本书基本覆盖大语言模型开发的多个方面。整体上可以参照OpenAI的安德烈•卡帕西（Andrej Karpathy）在微软的2023年Build大会报告中介绍的GPT助手训练流程。 •本书的内容来源不仅包含网络上的各类教程和文章，也包括原始论文和源代码。 •本书不但适用于大型语言模型应用开发人员，而且对于渴望深度探究ChatGPT背后的运行机制，更高效地运用和优化其功能的实践者，同样具有极高的参考价值。 "

本书旨在帮助读者理解开源大语言模型的架构、训练和推理过程，以及相关的源代码。主要研究对象是Meta开源的Llama模型。本书从Python Numpy实现单层感知机和神经网络开始，逐步讲解了如何实现Transformer模型和Llama模型。此外，本书还介绍了增量预训练模型、监督微调和人类反馈强化学习等模型训练过程。对于私有知识的加入，书中重点介绍了监督微调，也介绍了RAG中词向量的计算。本书采用循序渐进的方式，通过功能框图、代码分解执行、执行结果显示、背景知识补充等手段帮助读者理解模型和算法。
本书的核心读者群体定位为大语言模型应用的开发人员，特别适合那些想从计算机视觉转向自然语言处理的人。此外，本书还适合作为大学本科生及研究生相关课程的参考教材使用。

范煜，江苏南通人，毕业于南京航空航天大学，研究员级高级工程师，中国商业联合会数据分析专业委员会专家组成员，南通理工学院教师，上海范思软件有限公司创始人，中国移动集团、51CTO外聘讲师经常在全国各地讲授大数据、数据分析人工智能、大语言模型等方面课程。研发了Fancy Q&A大语言模型应用开发平台。著有《人工智能与ChatGPT》《数据革命:大数据价值实现方法、技术与案例》。兼具人工智能、大数据、软件、工业控制(嵌入式系统和软PLC)技术背景。目前主要从事基于大语言模型的知识库建设与知识问答应用的研究和开发。

第1章自然语言处理
1.1人工智能的技术构成 002
1.1.1机器学习和深度学习的区别 002
1.1.2表示学习与深度学习的关系 003
1.2自然语言处理的发展阶段 004
1.3规则驱动的方法 005
1.4统计方法 005
1.4.1隐马尔可夫模型 006
1.4.2条件随机场 007
1.5深度学习方法 008
1.5.1Word2Vec词嵌入 008
1.5.2循环神经网络 009
1.5.3长短时记忆网络模型 009
1.5.4门控循环单元模型 010
1.6序列到序列模型 011
1.7注意力机制 011
1.8Transformer模型 012
1.9预训练模型 012
1.10大语言模型 014
1.10.1根据架构分类 014
1.10.2根据训练方式和预测方式分类 015
第2章深度学习基础
2.1深度学习 017
2.2感知机 017
2.2.1前馈网络 018
2.2.2权重更新 019
2.2.3反向传播 021
2.3激活函数 022
2.3.1常用激活函数 023
2.3.2新型激活函数 024
2.4优化函数（算法） 026
2.4.1梯度下降法 026
2.4.2动量优化算法 027
2.4.3AdaGrad优化算法 027
2.4.4RMSProp优化算法 028
2.4.5Adam优化算法 029
2.4.6AdamW优化算法 030
2.5权值初始化 030
2.5.1批归一化 031
2.5.2层归一化 031
2.5.3RMSNorm 032
2.6损失函数 033
2.6.1均方误差 034
2.6.2均方根误差 034
2.6.3交叉熵损失 035
2.7模型评估 036
2.7.1偏差/方差 036
2.7.2过拟合与欠拟合 037
2.8正则化 038
2.9SoftMax函数 039
2.10简易神经网络搭建 039
2.11模型优化 042
2.11.1梯度消失 042
2.11.2梯度爆炸 043
2.11.3优化手段 043
2.11.4调参技巧 044
第3章PyTorch开发基础
3.1深度学习框架 046
3.2PyTorch简介 046
3.3PyTorch安装 047
3.3.1CUDA安装 047
3.3.2阿里云GPU云服务器 049
3.3.3安装PyTorch 049
3.3.4安装其他库 050
3.3.5检查开发环境 050
3.4张量 050
3.4.1张量创建函数定义 050
3.4.2张量创建函数清单 051
3.4.3随机张量：torch.randn() 052
3.4.4张量操作 054
3.4.5CUDA张量 055
3.5梯度计算 055
3.5.1导数与偏导数 055
3.5.2导数规则 056
3.5.3梯度 056
3.5.4公式推导 056
3.5.5自动梯度计算 057
3.5.6代码解析 058
3.6反向传播 058
3.7torch.nn模块构建神经网络 060
3.7.1nn.Linear层 060
3.7.2nn.Sigmoid激活函数 061
3.7.3nn.BCELoss损失函数 062
3.8torch.optim优化器 062
3.9训练、验证和测试过程 063
3.10用PyTorch实现神经网络 064
3.10.1实现单层感知机 064
3.10.2实现简单神经网络 065
3.10.3用torch.nn实现简单神经网络 067
3.11源代码常用模块 068
3.11.1nn.Parameter类 068
3.11.2typing模块 069
3.11.3logging模块 070
3.11.4dataclasses 071
3.11.5Fire库 073
第4章Transformer模型详解
4.1大语言模型的简介和分类 076
4.1.1简介 076
4.1.2分类 076
4.2Transformer模型 078
4.2.1模型构成 078
4.2.2因果解码器结构 080
4.3分词 081
4.3.1词汇表 082
4.3.2词汇表的生成 083
4.3.3分词算法 083
4.3.4字节对编码 084
4.3.5句子片段 084
4.3.6分词过程 085
4.3.7词汇索引 085
4.4词嵌入 086
4.4.1标记嵌入 087
4.4.2位置编码 089
4.4.3词汇索引和词嵌入向量关系 090
4.5位置编码方法 090
4.5.1原生位置编码 090
4.5.2旋转位置编码 092
4.5.3位置编码的实现 093
4.5.4Llama位置编码 094
4.5.5长度扩展 097
4.6自注意力机制 098
4.6.1原理 098
4.6.2注意力分数的计算 099
4.6.3多头注意力机制 101
4.6.4分组查询注意力 102
4.6.5Llama 2源代码分析 103
4.7残差连接和层归一化 106
4.7.1预归一化 106
4.7.2RMSNorm 107
4.7.3Llama 2源代码分析 107
4.8前馈网络 108
4.8.1激活函数 109
4.8.2前馈网络隐藏层维度 110
4.8.3Llama 2源代码分析 110
4.8.4演示代码 112
4.9损失函数 113
4.10掩码 114
4.11PyTorch的nn.Transformer模块 115
4.11.1模块组件 115
4.11.2__call__函数 116
4.11.3最简单的标准Transformer模型 116
4.11.4纯解码器模型 117
4.11.5Llama 2模型 118
第5章大语言模型
5.1什么是大语言模型 125
5.2GPT简介 125
5.3Llama简介 126
5.4Llama的训练 128
5.4.1训练数据 128
5.4.2预训练 129
5.5Llama 2 chat 130
5.5.1监督微调 130
5.5.2基于人类反馈的强化学习 130
5.6Llama 2模型结构 132
5.7Llama 2权重文件夹 134
5.8参数量计算 136
5.8.1标准Transformer解码器模型 136
5.8.2Llama 2模型 137
5.8.3用Transformers模块计算 139
5.8.4直接解析模型文件 139
第6章模型训练
6.1模型训练的种类 146
6.2Hugging Face训练环境 146
6.3Transformers库 147
6.3.1主要功能 147
6.3.2函数 148
6.4训练程序 149
6.5分词处理 149
6.5.1相关名词 149
6.5.2input IDs 150
6.5.3特殊标记 150
6.5.4AutoTokenizer 152
6.5.5分词 153
6.5.6下划线 154
6.5.7填空 154
6.6量化技术 155
6.6.18位量化技术 155
6.6.2LLM.int8() 156
6.6.3NF4和QLoRA 157
6.6.4BitsAndBytes模型 159
6.7优化技术 161
6.7.1LoRA 161
6.7.2PEFT库 162
6.8训练代码示例 164
6.8.1导入库和函数 164
6.8.2参数定义 164
6.8.3加载模型 165
6.8.4加载分词器 165
6.8.5数据预处理 165
6.8.6用LoRA权重调整模型 168
6.8.7LoRA模型训练 168
6.8.8模型的合并 170
6.8.9模型推理 172
6.8.10加载多个LoRA并随时切换 173
6.9加速技术和工具 175
6.9.1DeepSpeed 176
6.9.2FairScale 176
6.9.3GPTQ 177
6.9.4FSDP 177
6.10超长上下文 178
6.10.1外推能力 178
6.10.2外推手段 179
6.10.3StreamingLLM 179
第7章模型微调
7.1监督微调 182
7.2开源数据集 182
7.3数据集访问 182
7.3.1datasets库 182
7.3.2datasets常用的函数和类 183
7.3.3加载数据集 183
7.3.4数据集的处理 184
7.4开源微调数据集 186
7.4.1主要数据集 186
7.4.2数据集格式 186
7.4.3SQuAD 187
7.4.4OSSIST1数据集格式 189
7.4.5格式转换代码及分析 190
7.5主要的微调模型 193
7.5.1Alpaca羊驼 193
7.5.2Vicuna小羊驼 193
7.5.3LLaMA.cpp 194
7.5.4Guanco 194
第8章人类反馈强化学习
8.1强化学习架构 196
8.2演员-评论家架构 197
8.3近端策略优化架构 197
8.4DeepSpeed Chat 198
8.5开源RLHF数据集 199
8.6训练数据读取 205
8.6.1第1步：SFT监督微调数据 206
8.6.2第2步：奖励模型微调数据 207
8.6.3第3步：RLHF微调数据 209
8.7监督微调 210
8.8奖励模型微调 212
8.9RLHF微调 217
8.9.1代码运行环境 218
8.9.2准备训练数据 219
8.9.3建立模型 221
8.9.4演员模型、参考模型生成对数概率 221
8.9.5计算对数概率 223
8.9.6计算期望奖励 225
8.9.7KL散度 226
8.9.8计算实际奖励 226
8.9.9优势函数 228
8.9.10计算优势和回报 228
8.9.11损失函数 229
第9章模型推理
9.1模型文件 233
9.2推理 233
9.2.1单轮推理 235
9.2.2多轮推理 235
9.3GPU推理 235
9.3.1单卡 235
9.3.2多卡 235
9.3.3多机 236
9.4Hugging Face Transformers库 237
9.4.1简介 237
9.4.2Pipeline API 237
9.4.3Model and Tokenizer API 239
9.4.4单轮推理 240
9.4.5多轮推理 242
9.4.6LoRA推理 245
9.4.7vLLM 245
9.5LLaMA.cpp 248
9.5.1特色与优势 248
9.5.2模型量化 249
9.5.3k-quant量化 249
9.5.4开发环境安装 250
9.5.5构建执行程序 252
9.5.6转换模型 252
9.5.7推理 252
9.6Gradio 254
9.6.1简介 254
9.6.2基本用法 255
9.6.3复杂交互 255
9.6.4聊天机器人 257
9.6.5Gradio多轮推理 258
9.7解码策略 261
9.7.1常见解码策略 261
9.7.2推理超参数 262
9.7.3温度 262
9.7.4top-k 263
9.7.5top-p 264
9.7.6重复惩罚 265
9.7.7代码实现 266
9.8推理加速技术 270
9.8.1简介 270
9.8.2纯C推理 271
9.8.3投机采样 271
9.8.4Medusa 272
9.8.5流式推理 272
第10章中文私有模型开发
10.1基本思路 275
10.2中文词汇表 276
10.3模型下载 277
10.3.1安装Git LFS 277
10.3.2获取下载链接 277
10.3.3直接单击链接分文件逐一下载 278
10.4开发方案 279
10.4.1演示系统开发 279
10.4.2生产系统开发 280
10.4.3实训系统开发 280
10.5中文语料 280
10.5.1预训练语料 282
10.5.2微调数据集 285
第11章模型评估
11.1大语言模型评估 292
11.2评估指标 293
11.2.1困惑度 293
11.2.2HellaSwag 293
11.2.3BLEU 294
11.2.4ROUGE 294
11.2.5METEOR 294
11.3基于上下文的学习 294
11.4Llama 2预训练模型的评估 296
11.5MMLU 299
11.6标准基准测试 299
11.7代码生成 300
11.7.1Human-Eval代码生成基准测试 300
11.7.2MBPP程序生成基准测试 300
11.8考试AGI Eval 301
11.9GSM8K 302
11.10世界知识 302
11.10.1NaturalQuestions 302
11.10.2TriviaQA 303
11.11通义千问评测 303
11.12BBH 304
第12章用于RAG的词向量计算
12.1信息整合 306
12.2向量数据库 307
12.3词向量 307
12.4嵌入向量生成模型 308
12.5池化技术 309
12.6计算词向量 310
12.6.1使用OpenAI 310
12.6.2使用Hugging Face 310
12.6.3使用Llama 2 312
12.7批量生成嵌入向量 313
12.8池化算法 315
12.9词向量文档检索 317
12.10示例 318
12.10.1PGVector简介 318
12.10.2PGVector安装 318
12.10.3向量数据库操作 319
参考文献 320