预训练语言模型

"√梳理预训练语言模型的发展历史、基本概念 √剖析具有代表性的预训练语言模型的实现细节，配代码 √预训练语言模型的评测、应用及趋势分析"

预训练语言模型属于人工智能领域中自然语言处理领域的一个细分。 本书主要介绍预训练语言模型。预训练语言模型是自然语言处理领域的重要突破，得到了越来越广泛的关注，相关研究者和从业人员在实际应用的过程中，亟需一本理论翔实、代码细节充分的参考书。本书详细梳理了预训练语言模型的基本概念和理论基础，并通过实际代码的讲解， 阐述了具有代表性的预训练语言模型的实现细节，非常适合需要快速、全面掌握预训练语言模型的从业者阅读。

"邵  浩 日本国立九州大学工学博士，现就职于vivo。曾任狗尾草智能科技AI研究院院长，带领团队打造了AI虚拟生命产品的交互引擎。曾是上海对外经贸大学副教授，硕士生导师。是上海市静安区首届优秀人才，上海市人才发展基金获得者，杭州市高层次人才。任中国中文信息学会青年工作委员会委员，语言与知识计算专委会委员，中国计算机学会语音对话与听觉专委会委员，自然语言处理专委会委员。发表论文50余篇，获专利10余项，主持多项重量及省部级课题，曾在联合国、世界贸易组织、亚利桑那州立大学、香港城市大学等机构任访问学者。 刘一烽 全国中学生物理竞赛保送生，清华大学电子系硕士，曾获学习成绩优异奖学金。现就职于阿里巴巴淘系技术部，曾任vivo人工智能研究院AI算法工程师，主要研究方向为强化学习、自然语言处理和视频内容理解。"

第 1 章 预训练语言模型简介 1 1.1自然语言处理研究进展 1 1.2预训练语言模型：为什么要预训练 4 1.2.1预训练 4 1.2.2自然语言表示 5 1.2.3预训练语言模型发展史及分类 8 第 2 章 预训练语言模型基础知识 13 2.1统计语言模型 14 2.2神经网络语言模型 17 2.3词向量：解决相似单词的距离问题 19 2.4RNN 和 LSTM 基础 25 2.5基于 RNN 的语言模型 29 2.6ELMo：解决多义词的表示问题 32 第 3 章 Transformer 与 Attention 37 3.1Transformer 的结构 37 3.2Self-Attention：从全局中找到重点 43 3.3位置编码：为什么有效 54 3.4单向掩码：另一种掩码机制 58 3.5代码解读：模型训练技巧 61 3.5.1训练技巧 1：归一化层前置 62 3.5.2训练技巧 2：梯度累积 64 第 4 章 GPT 系列模型 69 4.1GPT 的结构：基于 Transformer Decoder 69 4.2GPT 任务改写：如何在不同任务中使用 GPT 71 4.3GPT 核心代码解读 74 4.4GPT-2：Zero-shot Learning 的潜力 79 4.4.1N-shot Learning 79 4.4.2核心思想 80 4.4.3模型结构 81 4.5GPT-3：Few-shot Learning 的优秀表现 82 4.5.1看词造句 84 4.5.2语法纠错 84 4.5.3GPT-3 的争议 85 第 5 章 BERT 模型 87 5.1BERT：公认的里程碑 87 5.2BERT 的结构：强大的特征提取能力 88 5.3无监督训练：掩码语言模型和下句预测 91 5.3.1MLM 91 5.3.2NSP 93 5.3.3输入表示 94 5.4微调训练：适应下游任务 95 5.4.1句对分类 95 5.4.2单句分类 96 5.4.3文本问答 97 5.4.4单句标注 99 5.5核心代码解读：预训练和微调 100 5.5.1BERT 预训练模型 101 5.5.2BERT 微调模型 110 5.6BERT 总结 117 第 6 章 后 BERT 时代的模型 119 6.1XLM：跨语言模型 119 6.1.1优化方向 119 6.1.2算法细节 120 6.1.3 小结 121 6.2MT-DNN：多任务融合 121 6.2.1优化方向 121 6.2.2算法细节 122 6.2.3 小结 124 6.3UniLM：获得文本生成能力 124 6.3.1优化方向 124 6.3.2算法细节 125 6.3.3 小结 127 6.4SpanBERT：扩大掩码范围 127 6.4.1优化方向 127 6.4.2算法细节 128 6.4.3 小结 129 6.5XLNet：置换自回归 130 6.5.1优化方向 130 6.5.2算法细节 130 6.5.3 小结 135 6.6ERNIE：知识图谱 136 6.6.1优化方向 136 6.6.2算法细节 136 6.6.3 小结 139 6.7VideoBERT：多模态融合 139 6.7.1优化方向 139 6.7.2算法细节 140 6.7.3 小结 141 6.8ALBERT：参数共享 142 6.8.1优化方向 142 6.8.2算法细节 143 6.8.3 小结 145 6.9RoBERTa：更大的模型 145 6.9.1优化方向 145 6.9.2算法细节 146 6.9.3 小结 146 6.10BART：编解码结构 146 6.10.1优化方向 146 6.10.2算法细节 147 6.10.3 小结 149 6.11T5：大一统模型 149 6.11.1优化方向 149 6.11.2算法细节 150 6.11.3 小结 153 6.12 总结 154 第 7 章 评测和应用 157 7.1评测任务 157 7.1.1通用评测任务 157 7.1.2领域评测任务 162 7.1.3其他评测任务 167 7.2模型应用：Transformers 代码实战 168 7.2.1 安装 168 7.2.2快速上手指南 170 7.2.3微调训练 172 7.2.4BERT 应用 175 7.3模型压缩：量化、剪枝和蒸馏 179 7.3.1BERT 模型分析 179 7.3.2 量化 181 7.3.3 剪枝 181 7.3.4 蒸馏 182 7.3.5 结构无损压缩 187 7.4模型扩展：多模态预训练 188 7.4.1单流模型 189 7.4.2双流模型 191 第 8 章 总结和展望 195 8.1预训练语言模型的发展现状 195 8.2预训练语言模型的未来展望 199 参考文献 203