大模型导论

·内容全面，本书涵盖大模型技术的各个方面，包括大模型的概念、数据预处理、Transformer、预训练与微调、模型推理以及案例实战等。 ·内容循序渐进，从大模型基础概念到开发架构全案例式讲解，通过实战引导读者掌握大模型技术。 ·注重实用，附赠源码，丰富学习方式，边学边练。 ·提供丰富的教学资源，适合高校教学和大模型领域从业者使用，满足不同层次读者的需求。

本书主要介绍了大模型的发展与演变、相关技术、应用场景、未来发展趋势和前景。本书首先回顾了大模型技术的起源和发展历程，然后介绍了数据预处理、Transformer、预训练与微调、模型推理和PyTorch框架等技术。此外，本书还通过具体的案例和实践展示了如何应用大模型技术来解决实际问题。本书旨在帮助读者全面了解大模型技术的发展与应用，并推动其在各个领域的应用和发展。
本书图文并茂，理论翔实，案例丰富，适合从事大模型开发的科研人员以及广大的开发者作为技术参考和培训资料，亦可作为高校本科生和研究生的教材。

张成文，博士，北京邮电大学副教授、硕士生导师。中国人工智能学会高级会员，任中国电子商会大模型应用产业专委会秘书长、中国人工智能产业发展联盟产学研工作组副组长，中国医学装备协会人工智能和医用机器人工作委员会常委、中国教育发展战略学会人工智能与机器人专委会理事等。他在网络技术专业领域有着深入的研究，并且完成了国家科技重大专项、国家重点研发计划、国家自然科学基金等项目。专业方向包括人工智能、大数据个性化推荐、云计算、计算机视觉等。他在国内外一流期刊上发表了多篇高水平论文，并出版了多本教材和专著。

第1章 大模型概述 1
1.1 大模型介绍 2
1.1.1 生成原理 4
1.1.2 关键技术 5
1.1.3 关键术语 10
1.2 大模型分类 11
1.2.1 按模型结构划分 12
1.2.2 按模态划分 12
1.2.3 按微调方式划分 13
1.2.4 带插件系统的大模型 13
1.3 大模型的开发流程 13
1.3.1 确定项目目标 14
1.3.2 数据准备 15
1.3.3 模型设计 16
1.3.4 模型训练 16
1.3.5 模型部署 17
1.3.6 模型应用 17
1.4 应用场景 18
1.5 未来发展方向 20
1.5.1 AI智能体 20
1.5.2 具身智能 21
1.6 小结 22
1.7 课后习题 22
第2章 数据预处理 23
2.1 文本数据预处理 23
2.1.1 构造方法 24
2.1.2 构造流程 26
2.1.3 处理手段 28
2.1.4 常用类库 37
2.2 图像数据预处理 47
2.2.1 图像去噪 48
2.2.2 图像重采样 52
2.2.3 图像增强 53
2.3 图文对数据预处理 56
2.4 Datasets库 58
2.4.1 安装与配置 58
2.4.2 使用方法 58
2.5 小结 63
2.6 课后习题 64
第3章 Transformer 65
3.1 注意力机制 65
3.1.1 自注意力机制 66
3.1.2 多头自注意力机制 68
3.2 Transformer简介 70
3.2.1 位置编码 70
3.2.2 整体结构 71
3.2.3 稀疏Transformer 72
3.3 Visual Transformer简介 73
3.3.1 模型结构 74
3.3.2 与Transformer对比 75
3.4 Q-Former 75
3.5 transformers库 77
3.5.1 基本组成 77
3.5.2 使用方法 78
3.5.3 微调实践 83
3.6 小结 85
3.7 课后习题 86
第4章 预训练 87
4.1 预训练介绍 87
4.1.1 发展历程 88
4.1.2 模型类型 88
4.1.3 掩码预训练 89
4.2 预训练任务 89
4.3 应用于下游任务的方法 91
4.3.1 迁移学习 91
4.3.2 微调 91
4.4 预训练模型的应用 92
4.5 小结 93
4.6 课后习题 93
第5章 训练优化 94
5.1 模型训练挑战 94
5.2 训练优化技术 95
5.2.1 数据并行 95
5.2.2 模型并行 97
5.2.3 流水线并行 98
5.2.4 混合精度训练 99
5.3 训练加速工具 100
5.3.1 DeepSpeed 100
5.3.2 Megatron-LM 103
5.3.3 Colossal-AI 104
5.3.4 BMTrain 104
5.4 小结 107
5.5 课后习题 108
第6章 模型微调 109
6.1 监督微调 110
6.2 PEFT技术 110
6.2.1 Adapter tuning 111
6.2.2 Prefix tuning 111
6.2.3 Prompt tuning 112
6.2.4 P-tuning v1 113
6.2.5 P-tuning v2 114
6.2.6 LoRA 114
6.2.7 QLoRA 115
6.3 PEFT库 116
6.3.1 关键步骤 117
6.3.2 微调方法 118
6.4 小结 124
6.5 课后习题 124
第7章 模型推理 125
7.1 模型压缩和加速技术 125
7.1.1 模型量化 126
7.1.2 知识蒸馏 127
7.1.3 模型剪枝 130
7.1.4 稀疏激活 132
7.2 推理服务提升技术 133
7.2.1 KV Cache 134
7.2.2 PagedAttention 134
7.3 小结 136
7.4 课后习题 136
第8章 PyTorch框架 137
8.1 安装与配置 137
8.2 基础组件 138
8.2.1 张量 138
8.2.2 CUDA张量 142
8.2.3 Autograd 144
8.2.4 DataLoader 146
8.3 构建线性回归模型 148
8.4 构建Transformer模型 151
8.4.1 数据准备与参数设置 151
8.4.2 位置编码 153
8.4.3 掩码操作 154
8.4.4 注意力计算 154
8.4.5 前馈神经网络 155
8.4.6 编码器与解码器 155
8.4.7 构建Transformer 157
8.4.8 模型训练 157
8.4.9 模型测试 158
8.5 小结 158
8.6 课后习题 159
第9章 向量数据库 160
9.1 Milvus 160
9.1.1 安装与配置 161
9.1.2 Milvus 1.0的基本操作 162
9.1.3 Milvus 2.0的基本操作 163
9.2 Pinecone 166
9.2.1 注册与配置 166
9.2.2 基本操作 166
9.3 Chroma 168
9.3.1 安装与配置 168
9.3.2 基本操作 168
9.4 小结 170
9.5 课后习题 170
第10章 前端可视化工具 171
10.1 Gradio 171
10.1.1 Gradio安装 172
10.1.2 常用操作 172
10.1.3 Interface使用详解 175
10.1.4 Blocks使用详解 176
10.2 Streamlit 178
10.2.1 安装与配置 178
10.2.2 数据展示API 180
10.2.3 控件API 182
10.2.4 页面布局API 184
10.2.5 状态存储 185
10.3 小结 185
10.4 课后习题 186
第11章 LangChain 187
11.1 LangChain组件 187
11.1.1 Models 188
11.1.2 Prompts 188
11.1.3 Indexes 190
11.1.4 Memory 190
11.1.5 Chains 194
11.1.6 Agents 196
11.2 基础操作 199
11.2.1 Prompts的用法 200
11.2.2 Chains的用法 201
11.2.3 Agents的用法 202
11.2.4 Memory的用法 204
11.3 进阶实战 205
11.3.1 对话式检索问答 205
11.3.2 长短文本总结 207
11.3.3 结合向量数据库实现问答 209
11.4 基于私域数据的问答系统 211
11.4.1 环境准备 212
11.4.2 模型测试 213
11.4.3 构建提示词模板 213
11.4.4 生成词向量 214
11.4.5 创建向量数据库 216
11.4.6 构建问答系统 217
11.5 小结 219
11.6 课后习题 219
第12章 常用开源模型的部署与微调 220
12.1 ChatGLM3模型部署与微调 220
12.1.1 环境准备 220
12.1.2 载入模型 222
12.1.3 数据准备 224
12.1.4 定义模型 228
12.1.5 模型训练 230
12.1.6 保存模型 232
12.1.7 模型评估 232
12.2 Baichuan2模型部署与微调 233
12.2.1 环境准备 233
12.2.2 载入模型 234
12.2.3 数据准备 238
12.2.4 定义模型 241
12.2.5 模型训练 242
12.2.6 保存模型 244
12.2.7 模型评估 245
12.3 LLaMA2模型部署与微调 247
12.3.1 模型使用申请 248
12.3.2 环境准备 248
12.3.3 载入模型 249
12.3.4 数据准备 250
12.3.5 模型训练 251
12.3.6 保存模型 254
12.3.7 模型评估 255
12.4 小结 256
12.5 课后习题 256
参考文献 257