Python自然语言处理

本书旨在回答三个问题：靠前个，什么是自然语言处理；第二个，为什么大多数人会使用Python来开发自然语言处理应用程序；很后一个也很重要的问题，在学习自然语言处理的时候，有哪些Python相关资源可用。读完本书，读者便会对此了然于胸。

雅兰·萨纳卡，是一名数据科学领域的研究者和科学家。她喜欢解决和数据科学相关的问题。她希望能够使用数据科学和人工智能技术，让这个世界变得更美好。她的研究兴趣包括自然语言处理、机器学习、深度学习和大数据分析。除了是一名数据科学家之外，Jalaj也是一位社会活动家、旅行家和大自然爱好者。

   译者序

推荐序

作者介绍

关于审校人员

前言

第1章引言1

1.1自然语言处理1

1.2基础应用5

1.3高级应用6

1.4NLP和Python相结合的优势7

1.5nltk环境搭建7

1.6读者提示8

1.7总结9

第2章实践理解语料库和数据集10

2.1语料库10

2.2语料库的作用11

2.3语料分析13

2.4数据属性的类型16

2.4.1分类或定性数据属性16

2.4.2数值或定量数据属性17

2.5不同文件格式的语料18

2.6免费语料库资源19

2.7为NLP应用准备数据集20

2.7.1挑选数据20

2.7.2预处理数据集20

2.8网页爬取21

2.9总结23

第3章理解句子的结构24

3.1理解NLP的组成24

3.1.1自然语言理解24

3.1.2自然语言生成25

3.1.3NLU和NLG的区别25

3.1.4NLP的分支26

3.2上下文无关文法26

3.3形态分析28

3.3.1形态学28

3.3.2词素28

3.3.3词干28

3.3.4形态分析28

3.3.5词29

3.3.6词素的分类29

3.3.7词干和词根的区别32

3.4词法分析32

3.4.1词条33

3.4.2词性标注33

3.4.3导出词条的过程33

3.4.4词干提取和词形还原的区别34

3.4.5应用34

3.5句法分析34

3.6语义分析36

3.6.1语义分析概念36

3.6.2词级别的语义37

3.6.3上下位关系和多义词37

3.6.4语义分析的应用38

3.7消歧38

3.7.1词法歧义38

3.7.2句法歧义39

3.7.3语义歧义39

3.7.4语用歧义39

3.8篇章整合40

3.9语用分析40

3.10总结40

第4章预处理42

4.1处理原始语料库文本42

4.1.1获取原始文本42

4.1.2小写化转换44

4.1.3分句44

4.1.4原始文本词干提取46

4.1.5原始文本词形还原46

4.1.6停用词去除48

4.2处理原始语料库句子50

4.2.1词条化50

4.2.2单词词形还原51

4.3基础预处理52

4.4实践和个性化预处理57

4.4.1由你自己决定57

4.4.2预处理流程57

4.4.3预处理的类型57

4.4.4理解预处理的案例57

4.5总结62

第5章特征工程和NLP算法63

5.1理解特征工程64

5.1.1特征工程的定义64

5.1.2特征工程的目的64

5.1.3一些挑战65

5.2NLP中的基础特征65

5.2.1句法分析和句法分析器65

5.2.2词性标注和词性标注器81

5.2.3命名实体识别85

5.2.4n元语法88

5.2.5词袋89

5.2.6语义工具及资源91

5.3NLP中的基础统计特征91

5.3.1数学基础92

5.3.2TF-IDF96

5.3.3向量化99

5.3.4规范化100

5.3.5概率模型101

5.3.6索引103

5.3.7排序103

5.4特征工程的优点104

5.5特征工程面临的挑战104

5.6总结104

第6章高级特征工程和NLP算法106

6.1词嵌入106

6.2word2vec基础106

6.2.1分布语义107

6.2.2定义word2vec108

6.2.3无监督分布语义模型中的必需品108

6.3word2vec模型从黑盒到白盒109

6.4基于表示的分布相似度110

6.5word2vec模型的组成部分111

6.5.1word2vec的输入111

6.5.2word2vec的输出111

6.5.3word2vec模型的构建模块111

6.6word2vec模型的逻辑113

6.6.1词汇表构建器114

6.6.2上下文环境构建器114

6.6.3两层的神经网络116

6.6.4算法的主要流程119

6.7word2vec模型背后的算法和数学理论120

6.7.1word2vec算法中的基本数学理论120

6.7.2词汇表构建阶段用到的技术121

6.7.3上下文环境构建过程中使用的技术122

6.8神经网络算法123

6.8.1基本神经元结构123

6.8.2训练一个简单的神经元124

6.8.3单个神经元的应用126

6.8.4多层神经网络127

6.8.5反向传播算法127

6.8.6word2vec背后的数学理论128

6.9生成最终词向量和概率预测结果的技术130

6.10word2vec相关的一些事情131

6.11word2vec的应用131

6.11.1实现一些简单例子132

6.11.2word2vec的优势133

6.11.3word2vec的挑战133

6.11.4在实际应用中使用word2vec134

6.11.5何时使用word2vec135

6.11.6开发一些有意思的东西135

6.11.7练习138

6.12word2vec概念的扩展138

6.12.1para2vec139

6.12.2doc2vec139

6.12.3doc2vec的应用140

6.12.4GloVe140

6.12.5练习141

6.13深度学习中向量化的重要性141

6.14总结142

第7章规则式自然语言处理系统143

7.1规则式系统144

7.2规则式系统的目的146

7.2.1为何需要规则式系统146

7.2.2使用规则式系统的应用147

7.2.3练习147

7.2.4开发规则式系统需要的资源147

7.3规则式系统的架构148

7.3.1从专家系统的角度来看规则式系统的通用架构149

7.3.2NLP应用中的规则式系统的实用架构150

7.3.3NLP应用中的规则式系统的定制架构152

7.3.4练习155

7.3.5ApacheUIMA架构155

……