基于PyTorch的自然语言处理

本书的主要内容有：探索计算图和监督学习范式。掌握PyTorch优化张量库的基础。概述传统的NLP概念和方法。学习构建神经网络的基本思想。检查前馈神经网络，例如多层感知器。使用嵌入方式来表示单词、句子、文档等。了解如何使用递归神经网络对序列数据建模。探索序列预测并生成sequence-to-sequence模型。学习用于构建NLP系统的设计模式。

前言1
第1章概述7
监督学习范式9
随机梯度下降法11
样本和目标编码12
独热表示（one-hot）12
词频表示（TF）14
TF-IDF表示15
目标编码16
计算图17
PyTorch基础19
动态与静态计算图19
安装PyTorch20
创建张量21
张量的类型和大小23
张量操作25
索引、切片、连接27
张量和计算图31
CUDA张量32
练习题34
答案35
小结36
参考文献36
第2章自然语言处理37
语料库、词和类型38
特征工程40
一元，二元，三元,…，n元模型41
词形还原和词干提取41
文档分类42
单词分类:词性标注42
广度分类:分块和命名实体识别43
句子结构44
词义与语义45
小结46
参考文献47
第3章神经网络基础49
感知器:最简单的神经网络49
激活函数51
sigmoid52
Tanh53
ReLU53
Softmax54
损失函数55
均方误差损失56
分类交叉熵损失56
交叉熵损失58
深入监督训练59
构造样例数据59
综合起来:基于梯度的监督学习62
辅助训练的概念63
正确度量模型性能：评估指标64
正确度量模型性能：分割数据集64
知道何时停止训练65
找到合适的超参数65
规范化66
案例:餐馆评论分类67
Yelp评论数据集68
理解PyTorch的数据集表示70
词汇表(Vocabulary)、矢量化器(Vectorizer)和数据转换器(DataLoader)73
一种感知器分类器79
训练程序80
评估、推断和检查86
测试数据评估87
小结90
参考文献91
第4章用于自然语言处理的前馈网络93
多层感知器94
一个简单的例子:二分类96
在PyTorch中实现MLP98
示例：用MLP进行姓氏分类102
姓氏数据集103
Vocabulary、Vectorizer和DataLoader104
姓氏分类器模型106
训练程序108
模型评估及预测110
正则化MLP:权重正则化和结构正则化(或Dropout)112
卷积神经网络114
CNN超参数115
在PyTorch中实现CNN120
示例：使用CNN对姓氏进行分类123
姓氏数据集类124
词汇表、矢量化程序和数据转换器125
用卷积网络重新实现姓氏分类器126
培训程序128
模型评估及预测129
CNN中的杂项主题130
池化130
批规范化(BatchNorm)131
网络中的网络连接(1x1卷积)131
残差连接/残差块132
小结133
参考文献134
第5章嵌入单词和类型135
为什么学习嵌入?136
嵌入的效率137
学习单词嵌入的方法138
预置字的实际使用138
示例：连续词袋模型的嵌入145
Frankenstein数据集146
Vocabulary、Vectorizer和DataLoader148
CBOWClassifier模型149
训练程序150
模型评估及预测151
示例：使用预先训练的嵌入进行文档分类151
新闻数据集152
Vocabulary、Vectorizer和DataLoader153
NewsClassifier模型156
训练程序159
模型评估及预测160
小结161
参考文献162
第6章自然语言处理的序列建模165
递归神经网络简介166
实现ElmanRNN169
示例：使用字符RNN对姓氏国籍进行分类171
SurnameDataset类171
矢量化数据结构173
姓氏分类器模型174
训练程序和结果177
小结178
参考文献178
第7章自然语言处理的中级序列建模179
普通RNN（或ElmanRNN）的问题180
用门控方法解决普通RNN存在的问题181
示例：用于生成姓氏的字符RNN183
SurnameDataset类183
矢量化数据结构185
从ElmanRNN到GRU187
模型1：无条件的姓氏生成模型187
模型2：条件姓氏生成模型189
训练程序和结果190
训练序列模型的技巧和窍门196
参考文献198
第8章自然语言处理的高级序列建模199
序列到序列模型，编码器-解码器模型和条件生成199
从序列中捕获更多信息：双向递归模型203
从序列中捕获更多信息：注意力205
深度神经网络中的注意力207
评估序列生成模型209
示例：神经机器翻译211
机器翻译数据集212
NMT的矢量化管道213
NMT模型中的编码和解码218
训练程序和结果229
小结231
参考文献232
第9章经典，前沿与下一步发展235
到目前为止，我们学到了什么？235
NLP中的永恒主题236
对话与交互系统236
话语237
信息提取与文本挖掘239
文件分析与检索239
NLP前沿239
生产NLP系统的设计模式241
接下来呢？246
参考文献247
作者介绍249
封面介绍249