基于深度学习的自然语言处理

约阿夫·戈尔德贝格著的《基于深度学习的自然语言处理/智能科学与技术丛书》重点介绍了神经网络模型在自然语言处理中的应用。首先介绍有监督的机器学习和前馈神经网络的基本知识，如何将机器学习方法应用在自然语言处理中，以及词向量表示（而不是符号表示）的应用。然后介绍更多专门的神经网络结构，包括一维卷积神经网络、循环神经网络、条件生成模型和基于注意力的模型。后，讨论树形网络、结构化预测以及多任务学习的前景。

约阿夫·戈尔德贝格（Yoav Goldberg），以色列巴伊兰大学计算机科学系高级讲师，曾任Google Research研究员。他于2011年获得本·古里安大学博士学位。他曾经担任EMNLP，EACL等重要国际会议领域主席，在自然语言处理领域发表论文50余篇，并多次获得佳论文以及杰出论文奖。同时他也是自然语言处理领域很好期刊《Computational Linguistics》的编辑部成员。他的研究方向包括面向自然语言处理的机器学习方法，结构预测，句法与词法分析等。近几年，他专注于神经网络模型，在基于深度学习的自然语言处理方法上作出了重要贡献，同时他也是主流深度学习工具包DyNet的主要研发者之一。
车万翔，博士，哈尔滨工业大学教授，博士生导师，斯坦福大学访问学者。研究方向为自然语言处理。在CoNLL、SANCL、SemEal等国际评测获得过冠军。任ACL、COLING、EMNLP等国际会议领域主席。负责研发的语言技术平台（LTP）已被600余家单位共享，并授权给百度、腾讯、华为等公司使用。曾获黑龙江科技进步一等奖、技术发明二等奖；汉王青年创新奖一等奖；钱伟长中文信息处理科学奖等奖项。2017年所主讲的《Python语言程序设计》课程获国家精品在线开放课程。
郭江，博士，毕业于哈尔滨工业大学社会计算与信息检索研究中心，就读期间先后于美国普林斯顿大学以及约翰·霍普金斯大学进行访问研究，现为美国麻省理工学院计算机科学与人工智能实验室博士后研究员。研究领域主要为自然语言处理与机器学习。在人工智能，自然语言处理等领域国际重要会议及期刊（如ACL, EMNLP, AAAI, IJCAI, JAIR等）上发表论文10余篇。
张伟男，哈尔滨工业大学计算机学院社会计算与信息检索研究中心，博士/讲师/硕导。在ACL、AAAI、IJCAI及IEEE TKDE等CCF A类国际会议及国际很好期刊发表论文多篇。中国中文信息学会（CIPS）信息检索专委会委员、青年工作委员会委员，中国人工智能学会（CAAI）青年工作委员会委员。曾获黑龙江省科技进步一等奖、中国人工智能学会很好青年成果奖、中国人工智能学会"合创杯"第二届全国青年创新创业大赛三等奖。
刘铭，博士，哈尔滨工业大学副教授，博士生导师，美国南加州大学访问学者。研究领域包括文本挖掘、命名实体识别、实体链接等。先后主持国家自然科学基金、中国博士后科学基金特别资助、腾讯-CCF犀牛鸟创意基金等多项基金项目。 在人工智能、数据挖掘、自然语言处理等领域国际期刊和会议上发表论文20余篇（如TKDE、TOIS、IJCAI、ACL、ICDE等）。获黑龙江省科学技术一等奖一项, 获哈尔滨市科技成果一项。

译者序
前言
致谢
第1章引言
1.1自然语言处理的挑战
1.2神经网络和深度学习
1.3自然语言处理中的深度学习
1.4本书的覆盖面和组织结构
1.5本书未覆盖的内容
1.6术语
1.7数学符号
注释
第一部分有监督分类与前馈神经网络
第2章学习基础与线性模型
2.1有监督学习和参数化函数
2.2训练集、测试集和验证集
2.3线性模型
2.3.1二分类
2.3.2对数线性二分类
2.3.3多分类
2.4表示
2.5独热和稠密向量表示
2.6对数线性多分类
2.7训练和很优化
2.7.1损失函数
2.7.2正则化
2.8基于梯度的很优化
2.8.1随机梯度下降
2.8.2实例
2.8.3其他训练方法
第3章从线性模型到多层感知器
3.1线性模型的局限性：异或问题
3.2非线性输入转换
3.3核方法
3.4可训练的映射函数
第4章前馈神经网络
4.1一个关于大脑的比喻
4.2数学表示
4.3表达能力
4.4常见的非线性函数
4.5损失函数
4.6正则化与丢弃法
4.7相似和距离层
4.8嵌入层
第5章神经网络训练
5.1计算图的抽象概念
5.1.1前向计算
5.1.2反向计算（导数、反向传播）
5.1.3软件
5.1.4实现流程
5.1.5网络构成
5.2实践经验
5.2.1优化算法的选择
5.2.2初始化
5.2.3重启与集成
5.2.4梯度消失与梯度爆炸
5.2.5饱和神经元与死神经元
5.2.6随机打乱
5.2.7学习率
5.2.8minibatch
第二部分处理自然语言数据
第6章文本特征构造
6.1NLP分类问题中的拓扑结构
6.2NLP问题中的特征
6.2.1直接可观测特征
6.2.2可推断的语言学特征
6.2.3核心特征与组合特征
6.2.4n元组特征
6.2.5分布特征
第7章NLP特征的案例分析
7.1文本分类：语言识别
7.2文本分类：主题分类
7.3文本分类：作者归属
7.4上下文中的单词：词性标注
7.5上下文中的单词：命名实体识别
7.6上下文中单词的语言特征：介词词义消歧
7.7上下文中单词的关系：弧分解分析
第8章从文本特征到输入
8.1编码分类特征
8.1.1独热编码
8.1.2稠密编码（特征嵌入）
8.1.3稠密向量与独热表示
8.2组合稠密向量
8.2.1基于窗口的特征
8.2.2可变特征数目：连续词袋
8.3独热和稠密向量间的关系
8.4杂项
8.4.1距离与位置特征
8.4.2补齐、未登录词和词丢弃
8.4.3特征组合
8.4.4向量共享
8.4.5维度
8.4.6嵌入的词表
8.4.7网络的输出
8.5例子：词性标注
8.6例子：弧分解分析
第9章语言模型
9.1语言模型任务
9.2语言模型评估：困惑度
9.3语言模型的传统方法
9.3.1延伸阅读
9.3.2传统语言模型的
9.4神经语言模型
9.5使用语言模型进行生成
9.6副产品：词的表示
第10章预训练的词表示
10.1随机初始化
10.2有监督的特定任务的预训练
10.3无监督的预训练
10.4词嵌入算法
10.4.1分布式假设和词表示
10.4.2从神经语言模型到分布式表示
10.4.3词语联系
10.4.4其他算法
10.5上下文的选择
10.5.1窗口方法
10.5.2句子、段落或文档
10.5.3句法窗口
10.5.4多语种
10.5.5基于字符级别和子词的表示
10.6处理多字单元和字变形
10.7分布式方法的
第11章使用词嵌入
11.1词向量的获取
11.2词的相似度
11.3词聚类
11.4寻找相似词
11.5同中选异
11.6短文档相似度
11.7词的类比
11.8改装和映射
11.9实用性和陷阱
第12章案例分析:一种用于句子意义推理的前馈结构
12.1自然语言推理与 SNLI数据集
12.2文本相似网络
第三部分特殊的结构
第13章n元语法探测器：卷积神经网络
13.1基础卷积池化
13.1.1文本上的一维卷积
13.1.2向量池化
13.1.3变体
13.2其他选择：特征哈希
13.3层次化卷积
第14章循环神经网络：序列和栈建模
14.1RNN抽象描述
14.2RNN的训练
14.3RNN常见使用模式
14.3.1接收器
14.3.2编码器
14.3.3传感器
14.4双向RNN
14.5堆叠RNN
14.6用于表示栈的RNN
14.7文献阅读的注意事项
第15章实际的循环神经网络结构
15.1作为RNN的CBOW
15.2简单RNN
15.3门结构
15.3.1长短期记忆网络
15.3.2门限循环单元
15.4其他变体
15.5应用到RNN的丢弃机制
第16章通过循环网络建模
16.1接收器
16.1.1情感分类器
16.1.2主谓一致语法检查
16.2作为特征提取器的RNN
16.2.1词性标注
16.2.2RNN CNN文本分类
16.2.3弧分解依存句法分析
第17章条件生成
17.1RNN生成器
17.2条件生成（编码器解码器）
17.2.1序列到序列模型
17.2.2应用
17.2.3其他条件上下文
17.3无监督的句子相似性
17.4结合注意力机制的条件生成
17.4.1计算复杂性
17.4.2可解释性
17.5自然语言处理中基于注意力机制的模型
17.5.1机器翻译
17.5.2形态屈折
17.5.3句法分析
第四部分其他主题
第18章用递归神经网络对树建模
18.1形式化定义
18.2扩展和变体
18.3递归神经网络的训练
18.4一种简单的替代——线性化树
18.5前景
第19章结构化输出预测
19.1基于搜索的结构化预测
19.1.1基于线性模型的结构化预测
19.1.2非线性结构化预测
19.1.3概率目标函数（CRF）
19.1.4近似搜索
19.1.5重排序
19.1.6参考阅读
19.2贪心结构化预测
19.3条件生成与结构化输出预测
19.4实例
……
第20章级联、多任务与半监督学习
第21章结论
参考文献