大语言模型 原理与工程实践

"√从LLM基础技术、预训练数据构建、预训练技术讲起 √LLM微调的各种技巧、强化对齐、性能评估 √重点介绍LLM中RLHF技术、强化学习常用的训练框架和平台，RLHF实践过程中的常见问题 √从提示工程到工程实践 √手把手教你训练7B LLM，辅以代码示例"

本书用10章对大语言模型进行全面且深入的介绍。首先对大语言模型的基本概念进行介绍。其次，从大语言模型的基础技术、预训练数据构建、预训练技术等方面展开讨论，帮助读者深入了解大语言模型的构建和训练过程。然后，详细介绍有监督微调和强化对齐等技术，以及如何评估大语言模型的性能。此外，介绍提示工程和工程实践等方面的内容，帮助读者了解大语言模型的应用和实际操作过程。最后，介绍如何从零开始微调大语言模型，辅以代码示例，帮助读者更好地应用这些技术。通过阅读本书，读者可以获得全面且深入的大语言模型的知识框架。无论您是研究人员、工程师，还是产品经理，都能从中获得有价值的知识。

"杨青 度小满金融技术委员会执行主席、数据智能应用部总经理，硕士毕业于清华大学计算机系，曾就职于百度、阿里巴巴，从事自然语言处理、搜索、推荐、大数据架构等相关方向的研发工作。 2018年年初加入度小满金融，组建数据智能部，从0到1构建度小满金融的智能引擎核心算法，深耕计算机视觉、自然语言处理、图模型、机器学习、因果推断等技术领域，多篇文章被EMNLP、ACL、CIKM等国际会议收录，“智能化征信解读中台”工程荣获吴文俊人工智能科技进步奖。相关技术广泛应用于度小满营销、经营、风控、反欺诈全流程业务场景，为上千万客户提供稳定、安全的金融服务。 目前，专注于AIGC相关研究及产品落地工作，基于度小满模型即服务（MaaS）的模式积极探索文生图、数字人与生成式大语言模型的应用转化。于2023年年初带领团队发布千亿参数规模的中文大语言模型“轩辕”。2023年9月， “轩辕-70B”大语言模型在C-Eval和CMMLU两大权威榜单上位列所有开源模型榜首。"

1解锁大语言模型1
1．1什么是大语言模型1
1．2语言模型的发展2
1．3GPT系列模型的发展3
1．4大语言模型的关键技术4
1．5大语言模型的涌现能力5
1．6大语言模型的推理能力5
1．7大语言模型的缩放定律6
参考文献7
2大语言模型基础技术8
2．1语言表示介绍8
2．1．1词表示技术8
2．1．2分词技术9
2．2经典结构Transformer14
2．2．1输入模块15
2．2．2多头自注意力模块16
2．2．3残差连接与层归一化19
2．2．4前馈神经网络19
2．2．5解码器19
2．3预训练语言模型21
2．3．1Decoder的代表：GPT系列21
2．3．2Encoder的代表：BERT23
2．4初探大语言模型24
2．4．1InstructGPT24
2．4．2LLaMA系列28
参考文献30
3预训练数据构建32
3．1数据的常见类别及其来源32
3．1．1网页数据33
3．1．2书籍数据34
3．1．3百科数据34
3．1．4代码数据34
3．1．5其他数据36
3．2数据的预处理方式36
3．2．1正文提取37
3．2．2质量过滤37
3．2．3文档去重38
3．2．4数据集净化39
3．3常用数据集的完整构建方式40
3．3．1C440
3．3．2MassiveText40
3．3．3RefinedWeb41
3．3．4ROOTS42
3．4难点和挑战43
3．4．1数据收集的局限性43
3．4．2数据质量评估的挑战43
3．4．3自动生成数据的风险44
参考文献44
4大语言模型预训练46
4．1大语言模型为什么这么强46
4．2大语言模型的核心模块49
4．2．1核心架构49
4．2．2组成模块选型51
4．3大语言模型怎么训练60
4．3．1训练目标60
4．3．2数据配比62
4．4预训练还有什么没有解决65
参考文献66
5挖掘大语言模型潜能：有监督微调67
5．1揭开有监督微调的面纱67
5．1．1什么是有监督微调67
5．1．2有监督微调的作用与意义68
5．1．3有监督微调的应用场景68
5．2有监督微调数据的构建69
5．2．1有监督微调数据的格式69
5．2．2有监督微调数据的自动化构建70
5．2．3有监督微调数据的选择75
5．3大语言模型的微调方法76
5．3．1全参数微调76
5．3．2适配器微调76
5．3．3前缀微调77
5．3．4提示微调78
5．3．5低秩适配79
5．4大语言模型的微调和推理策略79
5．4．1混合微调策略80
5．4．2基于上下文学习的推理策略81
5．4．3基于思维链的推理策略82
5．5大语言模型微调的挑战和探索83
5．5．1大语言模型微调的幻觉问题83
5．5．2大语言模型微调面临的挑战84
5．5．3大语言模型微调的探索与展望84
参考文献85
6大语言模型强化对齐87
6．1强化学习基础87
6．1．1强化学习的基本概念87
6．1．2强化学习中的随机性88
6．1．3强化学习的目标89
6．1．4Q函数与V函数89
6．2DQN方法91
6．2．1DQN的结构91
6．2．2DQN训练：基本思想92
6．2．3DQN训练：目标网络94
6．2．4DQN训练：探索策略94
6．2．5DQN训练：经验回放95
6．2．6DQN训练：完整算法95
6．2．7DQN决策96
6．3策略梯度方法96
6．3．1策略网络的结构96
6．3．2策略网络训练：策略梯度97
6．3．3策略网络训练：优势函数99
6．3．4PPO算法100
6．4揭秘大语言模型中的强化建模101
6．4．1Token-level强化建模101
6．4．2Sentence-level强化建模102
6．5奖励模型103
6．5．1奖励模型的结构103
6．5．2奖励模型的训练104
6．5．3奖励模型损失函数分析106
6．6RLHF108
6．6．1即时奖励108
6．6．2RLHF算法109
6．7RLHF实战框架111
6．8RLHF的难点和问题111
6．8．1数据瓶颈112
6．8．2硬件瓶颈113
6．8．3方法瓶颈114
参考文献115
7大语言模型的评测117
7．1基座语言模型的评测117
7．1．1主要的评测维度和基准概述118
7．1．2具体案例：LLaMA2选取的评测基准118
7．2大语言模型的对话能力评测120
7．2．1评测任务120
7．2．2评测集的构建标准131
7．2．3评测方式132
7．3大语言模型的安全性评测132
7．3．1评测任务133
7．3．2评测方式和标准134
7．4行业大语言模型的评测：以金融行业大语言模型为例134
7．4．1金融行业大语言模型的自动化评测集135
7．4．2金融行业大语言模型的人工评测集136
7．5整体能力的评测137
7．6主流评测数据集及基准138
参考文献142
8大语言模型的应用143
8．1大语言模型为什么需要提示工程143
8．1．1人类和大语言模型进行复杂决策的对比144
8．1．2提示工程的作用144
8．2什么是提示词145
8．2．1提示词的基础要素146
8．2．2提示词设计的通用原则146
8．3推理引导147
8．3．1零样本提示147
8．3．2少样本提示148
8．3．3思维链提示149
8．3．4自我一致性提示150
8．3．5思维树提示151
8．4动态交互155
8．4．1检索增强生成技术155
8．4．2推理和行动协同技术159
8．5案例分析161
8．5．1案例介绍161
8．5．2工具设计161
8．5．3提示词设计165
8．5．4案例运行167
8．6局限和发展172
8．6．1目前的局限172
8．6．2未来的发展173
参考文献173
9工程实践175
9．1大语言模型训练面临的挑战175
9．2大语言模型训练综述176
9．2．1数据并行176
9．2．2模型并行179
9．2．3ZeRO并行181
9．3大语言模型训练技术选型技巧184
9．4大语言模型训练优化秘籍186
9．4．1I/O优化186
9．4．2通信优化187
9．4．3稳定性优化190
9．5大语言模型训练工程实践190
9．5．1DeepSpeed架构191
9．5．2DeepSpeed训练详解191
9．5．3DeepSpeed训练调优实践194
9．6强化学习工程实践196
9．6．1DeepSpeed-Chat混合引擎架构196
9．6．2DeepSpeed-Chat训练详解197
9．6．3DeepSpeed-Chat训练调优实践199
9．7大语言模型推理工程201
9．7．1提升规模：模型量202
9．7．2提高并行度：张量并行205
9．7．3推理加速：算子优化207
9．7．4降低计算量：KV-Cache208
9．7．5推理工程综合实践210
参考文献212
10手把手教你训练7B大语言模型214
10．1自动化训练框架214
10．1．1自动化训练框架介绍214
10．1．2主要模块介绍215
10．2动手训练7B大语言模型237
10．2．1语料预处理238
10．2．2预训练实践240
10．2．3指令微调实践245
10．3小结247