ChatGPT原理与实战 大型语言模型的算法、技术和私有化

（1）作者经验丰富：作者来自BAT等知名科技公司，是NLP和AI领域的资深专家，大模型领域的先驱者，实战经验丰富。（2）深度解析ChatGPT：系统梳理并深入解析ChatGPT的核心技术、算法实现、工作原理、训练方法，提供大量代码及注解。（3）搭建专属ChatGPT：不仅教你如何实现大模型的迁移和私有化，而且手把手教你零基础搭建自己专属的ChatGPT。（4）行业优选：MOSS系统负责人邱锡鹏、ChatGLM技术团队成员刘潇等多位大模型技术专家高度评价并推荐。

这是一本系统梳理并深入解析ChatGPT核心技术、算法实现、工作原理、训练方法的著作，也是一本能指导你搭建专属ChatGPT和实现大模型迁移及私有化的著作。本书得到了MOSS系统负责人邱锡鹏等多位专家的高度评价和鼎力推荐。
具体地，通过本书你能了解或掌握以下知识：
ChatGPT的工作流程和技术栈
ChatGPT的工作原理和算法实现
基于Transformer架构的一系列预训练语言模型的原理
强化学习的基础知识
提示学习与大模型涌现出的上下文学习、思维链
大模型的训练方法及常见的分布式训练框架
基于人工反馈的强化学习整体框架
从零搭建类ChatGPT模型，模拟完整的ChatGPT训练过程
本书集理论、实战和产业应用于一体，提供大量经详细注释的代码，方便读者理解和实操。总之，不管里是想深入研究ChatGPT本身，还是正在研发或使用其他大模型，本书都应该能给你颇具价值的技术启发与思考，让你在大模型的路上快速前行，少走弯路。

赞誉
前言
第1章了解ChatGPT1
1.1ChatGPT的由来1
1.1.1什么是ChatGPT2
1.1.2ChatGPT的发展历史2
1.2ChatGPT的工作流程3
1.3ChatGPT用例3
1.3.1日常任务4
1.3.2编写代码5
1.3.3文本生成6
1.3.4办公自动化9
1.4本章小结10
第2章ChatGPT原理解构11
2.1背景知识11
2.1.1自然语言处理的发展历程12
2.1.2大型语言模型的发展历程14
2.2ChatGPT同类产品18
2.2.1BlenderBot3.018
2.2.2LaMDA20
2.2.3Sparrow23
2.3ChatGPT的工作原理25
2.3.1预训练与提示学习阶段26
2.3.2结果评价与奖励建模阶段28
2.3.3强化学习与自我进化阶段28
2.4算法细节29
2.4.1标注数据29
2.4.2建模思路30
2.4.3存在的问题30
2.5关于ChatGPT的思考31
2.6本章小结32
第3章预训练语言模型33
3.1Transformer结构33
3.2基于Encoder结构的模型36
3.2.1BERT36
3.2.2RoBERTa39
3.2.3ERNIE40
3.2.4SpanBERT42
3.2.5MacBERT43
3.2.6ALBERT44
3.2.7NeZha45
3.2.8UniLM46
3.2.9GLM47
3.2.10ELECTRA48
3.3基于Decoder结构的模型49
3.3.1GPT49
3.3.2CPM51
3.3.3PaLM51
3.3.4OPT52
3.3.5Bloom53
3.3.6LLaMA54
3.4基于Encoder-Decoder结构的模型55
3.4.1MASS55
3.4.2BART56
3.4.3T557
3.5基于夸夸闲聊数据的UniLM模型实战59
3.5.1项目简介59
3.5.2数据预处理模块59
3.5.3UniLM模型模块63
3.5.4模型训练模块65
3.5.5模型推理模块72
3.6本章小结76
第4章强化学习基础77
4.1机器学习的分类77
4.1.1有监督学习78
4.1.2无监督学习78
4.1.3强化学习79
4.2OpenAIGym82
4.2.1OpenAIGymAPI简介83
4.2.2环境简介84
4.3强化学习算法85
4.3.1Q-learning算法85
4.3.2SARSA算法87
4.3.3DQN算法89
4.3.4PolicyGradient算法93
4.3.5Actor-Critic算法95
4.4本章小结98
第5章提示学习与大型语言模型的涌现99
5.1提示学习99
5.1.1什么是提示学习100
5.1.2提示模板设计100
5.1.3答案空间映射设计102
5.1.4多提示学习方法103
5.2上下文学习104
5.2.1什么是上下文学习104
5.2.2预训练阶段提升上下文学习能力105
5.2.3推理阶段优化上下文学习的效果107
5.3思维链108
5.4基于提示的文本情感分析实战113
5.4.1项目简介113
5.4.2数据预处理模块114
5.4.3BERT模型模块115
5.4.4模型训练模块118
5.4.5模型推理模块128
5.5本章小结131
第6章大型语言模型预训练132
6.1大型预训练模型简介132
6.2预训练模型中的分词器133
6.2.1BPE133
6.2.2WordPiece135
6.2.3Unigram136
6.2.4SentencePiece137
6.3分布式深度学习框架138
6.3.1并行范式简介139
6.3.2Megatron-LM145
6.3.3DeepSpeed147
6.3.4Colossal-AI149
6.3.5FairScale152
6.3.6ParallelFormers153
6.3.7OneFlow153
6.4基于大型语言模型的预训练实战155
6.4.1项目简介155
6.4.2数据预处理模块156
6.4.3执行模型训练159
6.5基于大型语言模型的信息抽取实战168
6.5.1项目简介168
6.5.2数据预处理模块169
6.5.3Freeze微调模块172
6.5.4LoRA微调模块176
6.5.5P-Tuningv2微调模块181
6.6本章小结186
第7章GPT系列模型分析187
7.1GPT-1～GPT-4系列模型分析187
7.1.1GPT-1和GPT-2模型187
7.1.2GPT-3模型189
7.1.3GPT-3的衍生模型：Code-X192
7.1.4GPT-4模型193
7.2InstructGPT模型分析194
7.2.1模型简介194
7.2.2数据收集195
7.2.3模型原理198
7.2.4模型讨论199
7.3基于GPT-2模型的文本摘要实战200
7.3.1项目简介200
7.3.2数据预处理模块200
7.3.3GPT-2模型模块202
7.3.4模型训练模块204
7.3.5模型推理模块213
7.4本章小结219
第8章PPO算法与RLHF理论实战220
8.1PPO算法简介220
8.1.1策略梯度算法回顾220
8.1.2PPO算法原理剖析222
8.1.3PPO算法对比与评价224
8.2RLHF框架简介226
8.2.1RLHF内部剖析226
8.2.2RLHF价值分析228
8.2.3RLHF问题分析229
8.3基于PPO的正向情感倾向性生成项目实战230
8.3.1项目任务与数据集分析230
8.3.2数据预处理模块230
8.3.3模型训练模块232
8.3.4模型生成模块234
8.3.5模型评估模块235
8.4问题与思考237
8.5本章小结238
第9章类ChatGPT实战239
9.1任务设计239
9.2数据准备240
9.3基于文档生成问题任务的类ChatGPT实战241
9.3.1SFT阶段241
9.3.2RM阶段249
9.3.3RL阶段259
9.4本章小结270
第10章ChatGPT发展趋势271
10.1AIGC的发展趋势271
10.1.1AI云边协同272
10.1.2AI工具应用273
10.1.3AI可控生成274
10.1.4AI辅助决策275
10.2ChatGPT2C应用场景276
……