自然语言处理原理与应用

自然语言处理是一门集语言学、计算机科学、数学于一体的科学，它包含很广泛的内容，根据其应用目的不同，所采用的技术手段也不尽相同。本书从数理基础到模型介绍，再到生活应用，从不同的层次，由浅入深、循序渐进地展示一个完整的自然语言处理学习体系。本书分两部分。第一部分为理论基础，其中第1~4章对什么是自然语言处理、当前主流的自然语言处理技术，以及目前自然语言处理遇到的困境进行介绍:第5、6章从数学基础、语言模型，以及词法分析、语义分析等方面介绍自然语言处理的底层逻辑和模型原理。第二部分为实践应用，第7~11章介绍自然语言处理在生活中的应用。本书实用性强、案例贴近生活，每章配有习题及其答案，读者可以扫描二维码查看习题答案。本书可作为“自然语言处理"课程的本科生教材，也可作为“人工智能”“文本挖掘”“语料库语言学”课程的辅导书，还可作为自然语言处理领域的入门书籍。

第一部分理论基础
第1章绪论1
1.1基本概念1
1.2自然语言处理的产生与发展2
1.3基本问题和主要困难3
1.3.1自然语言处理的基本问题3
1.3.2自然语言处理面对的主要困难4
1.4深度学习在自然语言处理中的应用5
1.4.1深度学习概述5
1.4.2面向自然语言处理的深度学习方法5
1.4.3目前深度学习应用存在的局限及展望6
1.5本章小结7
习题17
第2章数学基础8
2.1概率论基础8
2.1.1样本空间和概率8
2.1.2随机变量9
2.1.3条件概率公式、全概率公式和贝叶斯公式10
2.1.4期望和方差11
2.2信息论基础11
2.2.1自信息和熵12
2.2.2联合熵和条件熵13
2.2.3互信息、相对熵和交叉熵14
2.2.4困惑度14
2.2.5噪声信道模型15
2.3深度学习的数学基础16
2.3.1优选似然估计16
2.3.2梯度分析17
2.3.3梯度下降法19
2.3.4梯度消失和梯度爆炸19
2.4本章小结21
习题221
第3章语言模型22
3.1语言模型概念及基础理论22
3.1.1n元语法模型22
3.1.2神经概率语言模型24
3.1.3预训练语言模型24
3.2语言模型性能评价26
3.2.1基于信息熵的语言模型复杂度度量26
3.2.2基于困惑度的语言模型复杂度度量27
3.2.3基于语言模型的汉语信息熵估算28
3.3数据平滑28
3.3.1问题的提出28
3.3.2加法平滑方法29
3.3.3Good-Turing估计法29
3.3.4Katz平滑方法29
3.3.5Jelinek-Mercer平滑方法30
3.3.6Witten-Bell平滑方法31
3.3.7绝对减值法32
3.4神经网络语言模型32
3.4.1基础模型32
3.4.2CNN模型33
3.4.3RNN模型及其变体34
3.4.4Attention模型37
3.4.5Transformer模型40
3.5语言模型应用举例44
3.5.1BERT模型44
3.5.2短文本表示46
3.5.3Softmax回归模型46
3.6本章小结47
习题347
第4章隐马尔可夫模型与条件随机场49
4.1马尔可夫模型49
4.1.1马尔可夫过程49
4.1.2马尔可夫性49
4.2隐马尔可夫模型50
4.2.1隐马尔可夫模型的基本理论50
4.2.2估计问题52
4.2.3序列问题54
4.2.4参数估计问题55
4.3HMM应用举例57
4.3.1中文分词57
4.3.2词性标注58
4.4条件随机场及其应用59
4.4.1条件随机场概念59
4.4.2条件随机场应用64
4.5本章小结67
习题467
第5章词法分析与词性标注68
5.1汉语自动分词68
5.1.1分词规范问题68
5.1.2歧义切分问题69
5.1.3未登录词问题69
5.1.4汉语自动分词的原则70
5.1.5分词与词性标注结果评估方法71
5.2自动分词基本算法72
5.2.1优选匹配法72
5.2.2最短路径方法74
5.2.3基于HMM的分词方法76
5.2.4基于Bi-LSTM-CRF的分词方法80
5.3未登录词识别83
5.3.1概述83
5.3.2基于决策树的未登录词识别方法85
5.3.3基于统计和规则的未登录词识别方法88
5.4词性标注方法91
5.4.1概述91
5.4.2基于规则的词性标注方法92
5.4.3基于统计的词性标注方法93
5.4.4基于深度学习的词性标注方法95
5.5本章小结97
习题597
第6章语义分析98
6.1语义网络98
6.1.1基本概念98
6.1.2语义标注99
6.2概念依存100
6.3词义消歧101
6.3.1基本内容101
6.3.2理论方法102
6.3.3案例分析104
6.4词向量表示与词嵌入106
6.4.1基本内容106
6.4.2理论方法107
6.4.3案例分析110
6.5语义分析在华为毕昇编译器AI调优中的应用112
6.5.1基本内容112
6.5.2理论方法113
6.6本章小结114
习题6114
第二部分实践应用
第7章机器翻译115
7.1机器翻译概述115
7.1.1机器翻译方法概述115
7.1.2机器翻译的研究现状118
7.2统计机器翻译119
7.2.1基于词的机器翻译119
7.2.2基于短语的机器翻译129
7.2.3基于句子的机器翻译135
7.3神经机器翻译143
7.3.1神经机器翻译概述143
7.3.2神经机器翻译模型145
7.4实战GRU翻译模型147
7.4.1基础知识与环境配置148
7.4.2代码实现149
7.5本章小结153
习题7153
第8章文本分类、聚类和情感分析154
8.1文本分类154
8.1.1文本分类的定义154
8.1.2文本分类的发展155
8.1.3传统文本分类的实现155
8.1.4基于深度学习的分类器设计161
8.2文本聚类164
8.2.1基于分层的文本聚类165
8.2.2基于划分的文本聚类166
8.3情感分析167
8.3.1基于情感词典的情感分析167
8.3.2基于深度学习的方面级情感分类算法169
8.3.3带有Attention机制的LSTM网络的方法173
8.3.4带有Attention机制的双向LSTM网络的方法175
8.4本章小结178
习题8178
第9章信息抽取179
9.1实体识别与抽取179
9.1.1命名实体识别概述179
9.1.2有监督学习方法实现命名实体识别180
9.1.3基于深度学习的NER183
9.2实体消歧184
9.2.1实体消歧概述184
9.2.2基于上下文相似度的实体消歧185
9.2.3基于实体显著性的实体消歧186
9.2.4基于实体关联度的实体消歧187
9.3关系抽取187
9.3.1基于模式匹配的关系抽取187
9.3.2基于深度学习的关系抽取方法188
9.3.3关系抽取展望190
9.4事件抽取190
9.4.1事件抽取任务定义191
9.4.2基于模式匹配的事件抽取实现191
9.4.3基于深度学习的事件抽取实现192
9.5本章小结194
习题9194
第10章知识图谱195
10.1知识图谱发展历史195
10.2知识图谱基本概念198
10.2.1知识库的概念及分类198
10.2.2知识库的表示形式199
10.3知识图谱的生命周期199
10.3.1知识建模200
10.3.2知识抽取204
10.3.3知识融合208
10.3.4知识存储210
10.3.5知识计算213
10.3.6知识图谱应用215
10.4知识图谱的现有应用216
10.4.1语义搜索216
10.4.2智能问答系统217
10.4.3辅助决策217
10.4.4个性化推荐218
10.4.5学科知识图谱218
10.5本章小结219
习题10220
第11章问答系统与人机对话系统221
11.1问答系统221
11.1.1系统构成221
11.1.2基于信息检索和答案选择的混合式问答系统223
11.2基于大规模知识库的问答系统227
11.2.1知识库问答系统任务228
11.2.2基于中文知识图谱的问答系统229
11.3阅读理解式问答系统234
11.4对话系统236
11.4.1基于深度学习的多方对话系统236
11.4.2对话系统相关任务239
11.5医学视觉问答240
11.5.1相关概念介绍240
11.5.2面向医学数据特征优化的视觉问答系统241
11.6问答系统在MindSpore框架中的应用248
11.6.1华为昇思MindSpore框架248
11.6.2DAM模型250
11.6.3基于MindSpore框架的DAM模型分析252
11.6.4所用数据集`252
11.7本章小结252
习题11253
参考文献254