自然语言处理 基于预训练模型的方法

"本书得到欧洲科学院外籍院士、清华大学人工智能研究院常务副院长孙茂松教授作序。 创新工场首席科学家、微软亚洲研究院原副院长、国际计算语言学会（ACL）主席周明，字节跳动人工智能实验室总监李航，科大讯飞执行总裁胡郁老师倾力推荐。 本书从基础知识、预训练词向量、预训练模型等几大方面全面系统地介绍了预训练语言模型技术。 书中为代表性的模型提供了规范的示例代码及实践案例。 本书采用全彩印刷，提供良好的阅读体验。"

自然语言处理被誉为“人工智能皇冠上的明珠”。深度学习等技术的引入为自然语言处理技术带来了一场革命，尤其是近年来出现的基于预训练模型的方法，已成为研究自然语言处理的新范式。本书在介绍自然语言处理、深度学习等基本概念的基础上，重点介绍新的基于预训练模型的自然语言处理技术。本书包括基础知识、预训练词向量和预训练模型三大部分：基础知识部分介绍自然语言处理和深度学习的基础知识和基本工具；预训练词向量部分介绍静态词向量和动态词向量的预训练方法及应用；预训练模型部分介绍几种典型的预训练语言模型及应用，以及预训练模型的近期新进展。除了理论知识，本书还有针对性地结合具体案例提供相应的PyTorch代码实现，不仅能让读者对理论有更深刻的理解，还能快速地实现自然语言处理模型，达到理论和实践的统一。本书既适合具有一定机器学习基础的高等院校学生、研究机构的研究者，以及希望深入研究自然语言处理算法的计算机工程师阅读，也适合对人工智能、深度学习和自然语言处理感兴趣的学生和希望进入人工智能应用领域的研究者参考。

"车万翔 博士，哈尔滨工业大学计算学部长聘教授、博士生导师，社会计算与信息检索研究中心副主任。教育部青年长江学者，黑龙江省“龙江学者”青年学者，斯坦福大学访问学者。现任中国中文信息学会计算语言学专业委员会副主任兼秘书长；国际计算语言学学会亚太分会（AACL）执委兼秘书长；中国计算机学会高级会员。在ACL、EMNLP、AAAI、IJCAI等国内外高水平期刊和会议上发表学术论文50余篇，其中AAAI 2013年的文章获得了很好论文提名奖，论文累计被引用4,600余次（Google Scholar数据），H-index值为37。出版教材 2 部，译著 2 部。目前承担2030“新一代人工智能”重大项目课题、国家自然科学基金等多项科研项目。负责研发的语言技术平台（LTP）已被600余家单位共享，提供的在线“语言云”服务已有用户1万余人，并授权给百度、腾讯、华为等公司使用。2018、2019连续两年获CoNLL国际评测第1名。2020年获黑龙江省青年科技奖；2015、2016连续两年获Google Focused Research Award（谷歌专注研究奖）；2016年获黑龙江省科技进步一等奖（排名第2）；2012年获黑龙江省技术发明奖二等奖（排名第2）；2010年获中国中文信息学会“钱伟长”中文信息处理科学技术奖一等奖（排名第2）、首届汉王青年创新奖（个人）等多项奖励。2017年，所主讲的MOOC课程《高级语言程序设计（Python）》获国家精品在线开放课程。 郭江 麻省理工学院计算机科学与人工智能实验室，博士后研究员。毕业于哈尔滨工业大学社会计算与信息检索研究中心，约翰斯·霍普金斯大学联合培养博士，研究方向为自然语言处理与机器学习。在人工智能、自然语言处理领域国际重要会议及期刊（如ACL、EMNLP、AAAI等）发表论文20余篇。是被业界广泛应用的中文语言技术平台LTP的主要研发者之一。2015年，获百度奖学金；2018年，获中文信息学会“优秀博士学位论文”提名奖。 崔一鸣 科大讯飞北京研究院副院长、资深级主管研究员。毕业于哈尔滨工业大学，获工学学士和硕士学位，并继续攻读博士学位。主要从事阅读理解、预训练模型等自然语言处理相关领域的核心技术研究工作，致力于推动中文机器阅读理解和中文预训练模型的研究与发展。曾多次获得机器翻译、机器阅读理解、自然语言理解评测冠军，其中包括机器阅读理解权威评测SQuAD、自然语言理解权威评测GLUE等。所研制的中文阅读理解及预训练模型开源项目被业界广泛应用，在GitHub累计获得1万以上星标，HuggingFace平台月均调用量达到100万次。发表学术论文30余篇（包括ACL、EMNLP、AAAI等高水平论文），申请发明专利20余项。担任EMNLP 2021和NLPCC 2021领域主席，担任NLP和AI领域很好国际会议和国际ESI期刊审稿人职务。"

推荐序III
推荐语IV
前言V
数学符号IX
第1章绪论1
1.1自然语言处理的概念2
1.2自然语言处理的难点2
1.2.1抽象性2
1.2.2组合性2
1.2.3歧义性3
1.2.4进化性3
1.2.5非规范性3
1.2.6主观性3
1.2.7知识性3
1.2.8难移植性4
1.3自然语言处理任务体系4
1.3.1任务层级4
1.3.2任务类别5
1.3.3研究对象与层次6
1.4自然语言处理技术发展历史7
第2章自然语言处理基础11
2.1文本的表示12
2.1.1词的独热表示13
2.1.2词的分布式表示13
2.1.3词嵌入表示19
2.1.4文本的词袋表示19
2.2自然语言处理任务20
2.2.1语言模型20
2.2.2自然语言处理基础任务23
2.2.3自然语言处理应用任务31
2.3基本问题35
2.3.1文本分类问题35
2.3.2结构预测问题36
2.3.3序列到序列问题38
2.4评价指标40
2.5小结43
第3章基础工具集与常用数据集45
3.1NLTK工具集46
3.1.1常用语料库和词典资源46
3.1.2常用自然语言处理工具集49
3.2LTP工具集51
3.2.1中文分词51
3.2.2其他中文自然语言处理功能52
3.3PyTorch基础.52
3.3.1张量的基本概念53
3.3.2张量的基本运算54
3.3.3自动微分57
3.3.4调整张量形状58
3.3.5广播机制59
3.3.6索引与切片60
3.3.7降维与升维60
3.4大规模预训练数据61
3.4.1维基百科数据62
3.4.2原始数据的获取62
3.4.3语料处理方法62
3.4.4CommonCrawl数据66
3.5更多数据集66
3.6小结68
第4章自然语言处理中的神经网络基础69
4.1多层感知器模型70
4.1.1感知器70
4.1.2线性回归71
4.1.3Logistic回归71
4.1.4Softmax回归72
4.1.5多层感知器74
4.1.6模型实现76
4.2卷积神经网络78
4.2.1模型结构78
4.2.2模型实现80
4.3循环神经网络83
4.3.1模型结构83
4.3.2长短时记忆网络85
4.3.3模型实现87
4.3.4基于循环神经网络的序列到序列模型88
4.4注意力模型89
4.4.1注意力机制89
4.4.2自注意力模型90
4.4.3Transformer91
4.4.4基于Transformer的序列到序列模型93
4.4.5Transformer模型的优缺点94
4.4.6模型实现94
4.5神经网络模型的训练96
4.5.1损失函数96
4.5.2梯度下降98
4.6情感分类实战101
4.6.1词表映射101
4.6.2词向量层102
4.6.3融入词向量层的多层感知器103
4.6.4数据处理106
4.6.5多层感知器模型的训练与测试108
4.6.6基于卷积神经网络的情感分类109
4.6.7基于循环神经网络的情感分类110
4.6.8基于Transformer的情感分类111
4.7词性标注实战113
4.7.1基于前馈神经网络的词性标注114
4.7.2基于循环神经网络的词性标注114
4.7.3基于Transformer的词性标注116
4.8小结116
第5章静态词向量预训练模型119
5.1神经网络语言模型120
5.1.1预训练任务120
5.1.2模型实现124
5.2Word2vec词向量130
5.2.1概述130
5.2.2负采样133
5.2.3模型实现134
5.3GloVe词向量140
5.3.1概述140
5.3.2预训练任务140
5.3.3参数估计140
5.3.4模型实现141
5.4评价与应用143
5.4.1词义相关性144
5.4.2类比性146
5.4.3应用147
5.5小结148
第6章动态词向量预训练模型151
6.1词向量――从静态到动态152
6.2基于语言模型的动态词向量预训练153
6.2.1双向语言模型153
6.2.2ELMo词向量155
6.2.3模型实现156
6.2.4应用与评价169
6.3小结171
第7章预训练语言模型173
7.1概述174
7.1.1大数据174
7.1.2大模型175
7.1.3大算力175
7.2GPT177
7.2.1无监督预训练178
7.2.2有监督下游任务精调179
7.2.3适配不同的下游任务180
7.3BERT182
7.3.1整体结构182
7.3.2输入表示183
7.3.3基本预训练任务184
7.3.4更多预训练任务190
7.3.5模型对比194
7.4预训练语言模型的应用194
7.4.1概述194
7.4.2单句文本分类195
7.4.3句对文本分类198
7.4.4阅读理解201
7.4.5序列标注206
7.5深入理解BERT211
7.5.1概述211
7.5.2自注意力可视化分析212
7.5.3探针实验213
7.6小结215
第8章预训练语言模型进阶217
8.1模型优化218
8.1.1XLNet218
8.1.2RoBERTa223
8.1.3ALBERT227
8.1.4ELECTRA229
8.1.5MacBERT232
8.1.6模型对比234
8.2长文本处理234
8.2.1概述234
8.2.2Transformer-XL235
8.2.3Reformer238
8.2.4Longformer242
8.2.5BigBird243
8.2.6模型对比244
8.3模型蒸馏与压缩244
8.3.1概述244
8.3.2DistilBERT246
8.3.3TinyBERT248
8.3.4MobileBERT250
8.3.5TextBrewer252
8.4生成模型257
8.4.1BART257
8.4.2UniLM260
8.4.3T5263
8.4.4GPT-3264
8.4.5可控文本生成265
8.5小结267
第9章多模态融合的预训练模型269
9.1多语言融合270
9.1.1多语言BERT270
9.1.2跨语言预训练语言模型272
9.1.3多语言预训练语言模型的应用273
9.2多媒体融合274
9.2.1VideoBERT274
9.2.2VL-BERT275
9.2.3DALL·E275
9.2.4ALIGN276
9.3异构知识融合276
9.3.1融入知识的预训练277
9.3.2多任务学习282
9.4更多模态的预训练模型285
9.5小结285
参考文献287
术语表295