预训练语言模型：方法、实践与应用

近年来，在自然语言处理领域，基于预训练语言模型的方法已形成全新范式。本书内容分为基础知识、预训练语言模型，以及实践与应用3个部分，共9章。第一部分全面、系统地介绍自然语言处理、神经网络和预训练语言模型的相关知识。第二部分介绍几种具有代表性的预训练语言模型的原理和机制（涉及注意力机制和Transformer模型），包括BERT及其变种，以及近年来发展迅猛的GPT和提示工程。第三部分介绍了基于LangChain和ChatGLM-6B的知识库问答系统、基于大型语言模型的自然语言处理任务应用研究和大模型训练实战等具体应用，旨在从应用的角度加深读者对预训练语言模型理论的理解，便于读者在实践中提高技能，达到理论和实践的统一。 本书适合计算机相关专业的学生，以及其他对预训练语言模型感兴趣的读者阅读。

自然语言处理工程师，在机器学习、深度学习和自然语言处理领域有十余年的算法研发经验，曾在一线大厂阿里巴巴、京东等担任过资深算法工程师和算法经理等职，现在在世界500强公司担任自然语言处理团队负责人，负责过金融和医疗领域的知识图谱、智能问答系统、文本生成系统等企业级核心项目。

目 录 第 一部分　基础知识 第 1章　自然语言处理介绍 2 1.1 什么是自然语言处理 2 1.2 自然语言处理的发展历史 2 1.3 自然语言的特性 3 1.3.1　歧义性 4 1.3.2　主观性 4 1.3.3　创造性 4 1.3.4　社会性 5 1.4 自然语言处理的研究领域 6 1.5 自然语言处理的常规任务 6 1.5.1　机器翻译 7 1.5.2　信息抽取 8 1.6 自然语言处理的常用工具 12 1.6.1　常用工具 12 1.6.2　PyTorch介绍 13 第 2章　神经网络预备知识 18 2.1　神经网络核心概念 18 2.1.1　导数和梯度 18 2.1.2　链式法则 20 2.1.3　损失函数 22 2.1.4　前向传播与反向传播 24 2.1.5　激活函数 28 2.2　神经网络主要类型 33 2.2.1　全连接神经网络 33 2.2.2　卷积神经网络 34 2.2.3　循环神经网络 36 2.2.4　长短期记忆网络 38 2.2.5　自编码器 40 2.2.6　生成对抗网络 41 第3章　预训练语言模型基础知识 44 3.1　什么是预训练 44 3.2　文本表示方法的分类 45 3.3　词袋型文本表示方法 46 3.3.1　独热编码 46 3.3.2　词袋模型 47 3.3.3　N-gram 49 3.3.4　TF-IDF 51 3.4　主题型文本表示方法 53 3.4.1　LSA 53 3.4.2　LDA 57 3.5　固定型词向量文本表示方法 59 3.5.1　Word2Vec 59 3.5.2　GloVe 70 3.5.3　FastText 75 3.6　动态型词向量文本表示方法 77 3.6.1　ELMo 77 3.6.2　ELMo实现 78 第二部分　预训练语言模型 第4章　注意力机制和Transformer 模型 82 4.1　注意力机制简介 82 4.1.1　什么是注意力机制 82 4.1.2　自注意力机制 88 4.1.3　多头注意力机制 95 4.2　Transformer模型 97 4.2.1　编码器部分 98 4.2.2　解码器部分 101 4.2.3　模型示例 104 第5章　BERT和变种BERT 110 5.1　BERT 110 5.1.1　BERT模型结构 110 5.1.2　BERT输入表示 112 5.1.3　BERT预训练 113 5.1.4　BERT微调训练 117 5.1.5　模型示例 120 5.2　变种BERT 122 5.2.1　ALBERT 122 5.2.2　XLNet 123 5.2.3　RoBERTa 127 5.2.4　ELECTRA 129 5.2.5　ERNIE 132 第6章　GPT和提示工程 137 6.1　GPT系列 137 6.1.1　GPT-1 137 6.1.2　GPT-2 140 6.1.3　GPT-3 142 6.1.4　InstructGPT和ChatGPT 144 6.1.5　GPT-4 147 6.2　Prompt 148 6.2.1　什么是提示工程 148 6.2.2　构建提示模板的方法 151 6.2.3　提示工程常用技术 152 6.2.4　提示词应用示例 157 第三部分　实践与应用 第7章　基于LangChain和ChatGLM-6B的知识库问答系统 166 7.1　核心组件 166 7.1.1　LangChain 166 7.1.2　ChatGLM-6B 169 7.2　构建流程 172 7.2.1　本地知识库构建 172 7.2.2　基于知识库的问答系统 构建 173 7.3　趋势与挑战 176 7.3.1　发展趋势 176 7.3.2　面临的挑战 177 第8章　基于大型语言模型的自然语言处理任务应用研究 178 8.1　文本分类任务 178 8.1.1　任务描述 178 8.1.2　提示词设计 179 8.1.3　实现与测试 180 8.2　信息抽取任务 182 8.2.1　任务描述 182 8.2.2　提示词设计 183 8.2.3　实现与测试 184 8.3　文本匹配任务 186 8.3.1　任务描述 187 8.3.2　提示词设计 187 8.3.3　实现与测试 187 第9章　大模型训练实战 190 9.1　预训练阶段 190 9.1.1　数据准备 190 9.1.2　数据处理 191 9.1.3　词表扩充 192 9.1.4　模型预训练 193 9.1.5　模型效果评测 195 9.2　指令微调阶段 197 9.2.1　指令微调 197 9.2.2　数据集准备 199 9.2.3　指令微调模板 202 9.3　奖励模型 204 9.3.1　直接打分 204 9.3.2　排序打分 207 9.4　RLHF微调 211 9.4.1　流程介绍 211 9.4.2　具体实现 211 9.5　大模型评测 214 9.5.1　评测内容 214 9.5.2　评测方法 215 9.5.3　评测挑战 216