自然语言处理基础教程

本书面向初学者介绍了自然语言处理的基础知识，包括词法分析、句法分析、基于机器学习的文本分析、深度学习与神经网络、词嵌入与词向量以及自然语言处理与卷积神经网络、循环神经网络技术及应用。本书深入浅出，案例丰富，可作为高校人工智能、大数据、计算机及相关专业本科生的教材，也可供对自然语言处理有兴趣的技术人员作为参考书。

前言
第1章自然语言处理概述1
1.1自然语言处理的基本概念1
1.1.1什么是自然语言处理1
1.1.2自然语言处理的层次2
1.1.3自然语言处理的发展历程3
1.2自然语言处理技术面临的困难6
1.2.1歧义6
1.2.2知识的获取、表达及运用7
1.2.3计算问题8
1.3自然语言处理的主要研究任务和应用8
1.3.1自然语言处理的主要研究任务8
1.3.2自然语言处理的典型应用10
1.4搭建自然语言处理开发环境11
1.4.1Anaconda11
1.4.2scikit-learn15
1.4.3JupyterNotebook15
1.5本章小结16
1.6习题17
第2章词法分析18
2.1什么是词法分析18
2.2分词19
2.2.1中文分词简介19
2.2.2基于词典的分词方法20
2.2.3基于统计的分词方法21
2.2.4实例—使用N-gram语言模型进行语法纠正24
2.2.5中文分词工具简介27
2.2.6实例—使用jieba进行高频词提取30
2.3关键词提取32
2.3.1TF-IDF算法32
2.3.2TextRank算法33
2.3.3实例—提取文本关键词34
2.4词性标注40
2.4.1词性标注简介40
2.4.2隐马尔可夫模型41
2.4.3Viterbi算法43
2.4.4熵模型44
2.5命名实体识别46
2.5.1命名实体识别简介46
2.5.2条件随机场模型47
2.5.3实例—使用jieba进行日期识别48
2.6本章小结52
2.7习题53
第3章句法分析54
3.1什么是句法分析54
3.2句法分析树库及性能评测56
3.2.1句法分析语料库56
3.2.2句法分析模型的性能评测59
3.3概率上下文无关文法59
3.4依存句法分析62
3.4.1基于图模型的依存句法分析63
3.4.2基于转移模型的依存句法分析63
3.5中文句法分析工具简介65
3.6实例—中文句法分析66
3.7本章小结68
3.8习题68
第4章基于机器学习的文本分类69
4.1机器学习简介69
4.1.1scikit-learn简介71
4.1.2机器学习基本概念72
4.1.3机器学习问题分类73
4.2朴素贝叶斯分类器76
4.3逻辑回归分类器80
4.4支持向量机分类器84
4.5文本聚类89
4.6实例—垃圾邮件分类94
4.7本章小结99
4.8习题99
第5章深度学习与神经网络101
5.1深度学习与神经网络简介101
5.2人工神经网络102
5.2.1生物神经元102
5.2.2感知器103
5.2.3激活函数105
5.2.4神经网络110
5.3前馈神经网络110
5.3.1前馈神经网络的结构110
5.3.2前向传播111
5.3.3损失函数112
5.3.4反向传播算法113
5.3.5优化方法114
5.4深度学习框架116
5.4.1TensorFlow116
5.4.2Keras118
5.4.3PyTorch119
5.4.4PaddlePaddle120
5.5实例—使用MLP实现手写数字识别122
5.5.1数据准备122
5.5.2创建MLP122
5.5.3模型训练123
5.5.4模型评价124
5.6本章小结125
5.7习题126
第6章词嵌入与词向量127
6.1文本向量化127
6.2One-Hot编码128
6.3词嵌入130
6.3.1什么是词嵌入130
6.3.2词嵌入的实现131
6.3.3语义信息132
6.4Word2Vec133
6.4.1Word2Vec简介133
6.4.2Word2Vec的应用134
6.4.3使用gensim包训练词向量136
6.5Doc2Vec138
6.5.1PV-DM139
6.5.2PV-DBOW140
6.6实例—利用Doc2Vec计算文档相似度140
6.6.1准备语料库140
6.6.2定义和训练模型141
6.6.3分析文本相似度142
6.7本章小结145
6.8习题145
第7章卷积神经网络与自然语言处理146
7.1卷积神经网络简介146
7.1.1深层神经网络用于图像处理存在的问题146
7.1.2什么是卷积148
7.1.3填充150
7.1.4步长151
7.1.5什么是卷积神经网络151
7.2应用卷积神经网络解决自然语言处理问题152
7.2.1NLP中的卷积层152
7.2.2NLP中的池化层154
7.2.3NLP中CNN的基本架构155
7.3CNN在应用中的超参数选择156
7.3.1激活函数156
7.3.2卷积核的大小和个数156
7.3.3dropout层156
7.3.4softmax分类器157
7.4实例—使用CNN实现新闻文本分类158
7.4.1准备数据158
7.4.2定义和训练模型163
7.5本章小结165
7.6习题166
第8章循环神经网络与自然语言处理167
8.1循环神经网络的基本结构168
8.2循环神经网络应用于自然语言处理170
8.2.1序列到类别170
8.2.2同步序列到序列171
8.2.3异步序列到序列172
8.3循环神经网络的训练173
8.3.1随时间反向传播算法173
8.3.2权重的更新174
8.3.3梯度消失与梯度爆炸175
8.4长短期记忆网络175
8.4.1细胞状态177
8.4.2门控机制177
8.5门控循环单元网络181
8.6更深的网络184
8.6.1堆叠循环神经网络184
8.6.2双向循环神经网络185
8.7实例—使用LSTM网络实现文本情感分析186
8.7.1数据准备186
8.7.2构建和训练模型187
8.8本章小结190
8.9习题191
第9章序列到序列模型与注意力机制192
9.1序列到序列模型192
9.1.1什么是序列到序列模型192
9.1.2编码–解码架构193
9.1.3编码器194
9.1.4解码器195
9.1.5模型训练197
9.2注意力机制198
9.2.1什么是注意力机制198
……