动手学自然语言处理

·名家作品：上海交通大学ACM班创办人俞勇教授、上海科技大学博士生导师屠可伟副教授等共同编写 ·多位业内大咖力荐：文继荣|周明|邱锡鹏|李磊|杨笛一等学术及工业界大咖力荐 ·配套资源丰富：配套源代码+在线视频课程+在线讨论区+在线习题+教学课件，助你轻松入门并系统学习大模型背后的自然语言处理底层技术

本书介绍自然语言处理的原理和方法及其代码实现，是一本着眼于自然语言处理教学实践的图书。
本书分为3个部分。第一部分介绍基础技术，包括文本规范化、文本表示、文本分类、文本聚类。第二部分介绍自然语言的序列建模，包括语言模型、序列到序列模型、预训练语言模型、序列标注。第三部分介绍自然语言的结构建模，包括成分句法分析、依存句法分析、语义分析、篇章分析。本书将自然语言处理的理论与实践相结合，提供所介绍方法的代码示例，能够帮助读者掌握理论知识并进行动手实践。
本书适合作为高校自然语言处理课程的教材，也可作为相关行业的研究人员和开发人员的参考资料。

屠可伟，上海科技大学信息科学与技术学院长聘副教授、研究员、博士生导师。研究方向包括自然语言处理、机器学习等，主要研究将符号、统计和神经方法相结合用于语言结构的表示、学习与利用。发表论文100余篇，主要发表在ACL、EMNLP、AAAI 等人工智能领域顶级会议。担任多个顶级会议程序委员会委员和领域主席。曾获ACL 2023杰出论文奖，以及SemEval 2022和SemEval 2023最佳系统论文奖。 王新宇，上海科技大学博士，长期从事自然语言处理研究工作，在ACL、EMNLP、NAACL等顶级会议上发表论文10余篇，担任ACL、NAACL会议的领域主席以及ACL滚动审查（ACL Rolling Review）执行编辑。曾获得中国中文信息学会优秀博士学位论文提名、SemEval 2022最佳系统论文奖等荣誉。 曲彦儒，伊利诺伊大学厄巴纳-香槟分校博士生，长期从事自然语言处理研究工作，在ACL、NAACL、AAAI、ICLR等会议上发表了多篇论文。 俞勇，上海交通大学ACM班创办人，国家级教学名师，上海交通大学特聘教授。2018年创办伯禹人工智能学院，在上海交通大学ACM班人工智能专业课程体系的基础上，对人工智能课程体系进行创新，致力于培养卓越的人工智能算法工程师和研究员。

第1章初探自然语言处理1
1．1自然语言处理是什么1
1．2自然语言处理的应用2
1．3自然语言处理的难点3
1．4自然语言处理的方法论4
1．5小结5

第一部分基础
第2章文本规范化8
2．1分词8
2．1．1基于空格与标点符号的分词8
2．1．2基于正则表达式的分词9
2．1．3词间不含空格的语言的分词12
2．1．4基于子词的分词13
2．2词规范化17
2．2．1大小写折叠17
2．2．2词目还原18
2．2．3词干还原19
2．3分句19
2．4小结20

第3章文本表示22
3．1词的表示22
3．2稀疏向量表示24
3．3稠密向量表示25
3．3．1word2vec25
3．3．2上下文相关词嵌入30
3．4文档表示30
3．4．1词-文档共现矩阵31
3．4．2TF-IDF加权31
3．4．3文档的稠密向量表示33
3．5小结33

第4章文本分类35
4．1基于规则的文本分类35
4．2基于机器学习的文本分类36
4．2．1朴素贝叶斯36
4．2．2逻辑斯谛回归42
4．3分类结果评价45
4．4小结47

第5章文本聚类49
5．1k均值聚类算法49
5．2基于高斯混合模型的最大期望值算法53
5．2．1高斯混合模型53
5．2．2最大期望值算法53
5．3无监督朴素贝叶斯模型57
5．4主题模型60
5．5小结61

第二部分序列
第6章语言模型64
6．1概述64
6．2n元语法模型66
6．3循环神经网络67
6．3．1循环神经网络67
6．3．2长短期记忆73
6．3．3多层双向循环神经网络76
6．4注意力机制80
多头注意力83
6．5Transformer模型85
6．6小结91

第7章序列到序列模型93
7．1基于神经网络的序列到序列模型93
7．1．1循环神经网络94
7．1．2注意力机制96
7．1．3Transformer98
7．2学习101
7．3解码106
7．3．1贪心解码106
7．3．2束搜索解码107
7．3．3其他解码问题与解决技巧110
7．4指针网络111
7．5序列到序列任务的延伸112
7．6小结113

第8章预训练语言模型114
8．1ELMo：基于语言模型的上下文相关词嵌入114
8．2BERT：基于Transformer的双向编码器表示115
8．2．1掩码语言模型115
8．2．2BERT模型116
8．2．3预训练116
8．2．4微调与提示117
8．2．5BERT代码演示117
8．2．6BERT模型扩展121
8．3GPT：基于Transformer的生成式预训练语言模型122
8．3．1GPT模型的历史122
8．3．2GPT-2训练演示123
8．3．3GPT的使用125
8．4基于编码器-解码器的预训练语言模型128
8．5基于HuggingFace的预训练语言模型使用129
8．5．1文本分类129
8．5．2文本生成130
8．5．3问答130
8．5．4文本摘要131
8．6小结131

第9章序列标注133
9．1序列标注任务133
9．1．1词性标注133
9．1．2中文分词134
9．1．3命名实体识别134
9．1．4语义角色标注135
9．2隐马尔可夫模型135
9．2．1模型135
9．2．2解码136
9．2．3输入序列的边际概率137
9．2．4单个标签的边际概率138
9．2．5监督学习139
9．2．6无监督学习139
9．2．7部分代码实现141
9．3条件随机场146
9．3．1模型146
9．3．2解码147
9．3．3监督学习148
9．3．4无监督学习149
9．3．5部分代码实现149
9．4神经序列标注模型154
9．4．1神经softmax154
9．4．2神经条件随机场154
9．4．3代码实现155
9．5小结156

第三部分结构
第10章成分句法分析160
10．1成分结构160
10．2成分句法分析概述161
10．2．1歧义性与打分161
10．2．2解码162
10．2．3学习162
10．2．4评价指标163
10．3基于跨度的成分句法分析163
10．3．1打分164
10．3．2解码165
10．3．3学习170
10．4基于转移的成分句法分析173
10．4．1状态与转移173
10．4．2转移的打分174
10．4．3解码175
10．4．4学习176
10．5基于上下文无关文法的成分句法分析177
10．5．1上下文无关文法177
10．5．2解码和学习178
10．6小结179

第11章依存句法分析181
11．1依存结构181
11．1．1投射性182
11．1．2与成分结构的关系182
11．2依存句法分析概述184
11．2．1打分、解码和学习184
11．2．2评价指标184
11．3基于图的依存句法分析185
11．3．1打分185
11．3．2解码186
11．3．3Eisner算法186
11．3．4MST算法191
11．3．5高阶方法194
11．3．6监督学习194
11．4基于转移的依存句法分析195
11．4．1状态与转移196
11．4．2打分、解码与学习196
11．5小结198

第12章语义分析200
12．1显式和隐式的语义表示200
12．2词义表示201
12．2．1WordNet201
12．2．2词义消歧203
12．3语义表示204
12．3．1专用和通用的语义表示204
12．3．2一阶逻辑205
12．3．3语义图205
12．4语义分析206
12．4．1基于句法的语义分析206
12．4．2基于神经网络的语义分析207
12．4．3弱监督学习209
12．5语义角色标注209
12．5．1语义角色标注标准209
12．5．2语义角色标注方法211
12．6信息提取211
12．7小结212

第13章篇章分析213
13．1篇章213
13．1．1连贯性关系213
13．1．2篇章结构214
13．1．3篇章分析215
13．2共指消解215
13．2．1提及检测216
13．2．2提及聚类216
13．3小结220

总结与展望221
参考文献223
中英文术语对照表228
附录234