深度学习与短文本信息挖掘

本书对自然语言处理中的两种代表性的短文本信息挖掘进行研究：关系抽取和弹幕评论挖掘。针对关系抽取任务，从精度、效率、鲁棒性及前沿探索四个方面进行分析并提出对应的解决方法。针对弹幕评论挖掘任务，充分地利用弹幕的实时性、交互性、高噪声等性质，提出适用于弹幕评论的语义分析模型。针对目标任务的信息缺陷，本书从多角度研究和设计对应的深度学习算法以提高信息挖掘的精度。本书主要针对两类读者：自然语言处理领域的研究者和没有相关背景但是希望能了解并借鉴相关技术的人员。本书提出的多个深度学习模型都具有结构简练、泛化能力强的特点，可以方便地应用在许多领域和任务中，包括计算机视觉、语音处理、自然语言处理等。

前言
致谢
第1章深度学习1
1.1深度学习简介1
1.2深度学习经典模型3
1.2.1卷积神经网络3
1.2.2循环神经网络4
1.2.3注意力模型5
1.2.4胶囊网络6
1.2.5迁移学习与多任务学习7
1.2.6对抗学习及生成对抗网络.8
1.2.7主动学习9
思考题.10
第2章短文本信息挖掘11
2.1短文本信息挖掘简介11
2.2关系抽取简介.12
2.2.1关系抽取定义13
2.2.2神经关系抽取14
2.2.3远程监督的关系抽取15
2.2.4关系抽取前沿16
2.2.5研究意义及挑战17
2.3弹幕评论挖掘简介19
2.3.1基于无监督学习的文本分析方法.21
2.3.2基于神经网络监督学习的文本分析方法25
2.4研究内容及结构27
2.4.1关系抽取27
2.4.2弹幕评论挖掘29
思考题.31
第3章相关工作32
3.1关系抽取研究.32
3.1.1监督学习32
3.1.2远程监督35
3.2弹幕评论挖掘研究37
3.2.1基于评论挖掘的关键词抽取方法.37
3.2.2基于评论挖掘的推荐系统38
3.2.3基于评论挖掘的剧透检测方法.38
思考题.39
第4章关系抽取模型的精度提升40
4.1概述40
4.2多标签关系抽取40
4.3基于注意力的胶囊网络模型42
4.3.1特征提取层——Bi-LSTM网络43
4.3.2特征聚集层——基于注意力的胶囊网络.44
4.3.3关系预测层——基于滑动窗口的损失函数46
4.4实验47
4.4.1数据集47
4.4.2实验设置47
4.4.3实验效果49
4.4.4案例分析52
4.5本章小结53
思考题.53
第5章关系抽取模型的效率优化55
5.1概述55
5.2神经关系抽取模型的效率陷阱55
5.3基于句内问答的关系抽取模型57
5.3.1网络结构58
5.3.2复杂度分析61
5.4实验63
5.4.1数据集63
5.4.2实验设置64
5.4.3实验效果65
5.4.4案例分析67
5.5本章小结67
思考题.68
第6章关系抽取模型的鲁棒性增强69
6.1概述69
6.2远程监督的噪声分布分析70
6.3词汇级别噪声解决方法.74
6.4句子级别噪声解决方法.76
6.5先验知识级别噪声解决方法78
6.6数据分布级别噪声解决方法80
6.7多级别噪声协同解决方法81
6.8实验82
6.8.1数据集及评价指标83
6.8.2词汇级别降噪相关实验83
6.8.3句子级别降噪相关实验85
6.8.4先验知识级别降噪相关实验88
6.8.5数据分布级别降噪相关实验89
6.8.6多级别抗噪声相关实验91
6.9本章小结93
思考题.93
第7章关系抽取模型的前沿初探94
7.1概述94
7.2错误标注负样本问题95
7.3GAN驱动的半远程监督学习框架96
7.3.1半远程监督关系抽取原理96
7.3.2GAN驱动的半监督关系抽取算法98
7.4基于主动学习的无偏测评方法.100
7.4.1无偏测评原理100
7.4.2无偏测评算法101
7.5实验.104
7.5.1数据集及评价指标104
7.5.2GAN驱动的半远程监督关系抽取相关实验105
7.5.3基于主动学习的无偏测评方法相关实验.109
7.6本章小结115
思考题115
第8章弹幕视频标签提取116
8.1概述.116
8.2语义关系图的构建与图聚类算法117
8.2.1语义关系图的构建117
8.2.2基于图聚类算法的弹幕主题划分119
8.2.3复杂度分析124
8.3语义权重分析与标签提取125
8.3.1基于图迭代算法的评论影响力计算125
8.3.2视频标签提取127
8.4实验.128
8.4.1实验参数设定与数据集构建128
8.4.2实验结果133
8.5本章小结138
思考题138
第9章弹幕推荐系统140
9.1概述.140
9.2基于模型的协同过滤算法141
9.2.1问题描述142
9.2.2基于文本的推荐模型142
9.2.3图文融合模型144
9.2.4基于羊群效应的注意力机制146
9.3实验.148
9.3.1实验参数设定与数据集构建148
9.3.2实验结果149
9.4本章小结151
思考题151
第10章弹幕剧透检测153
10.1概述153
10.2问题定义与符号描述.155
10.2.1问题定义155
10.2.2符号描述156
10.3剧透检测模型156
10.3.1单词级注意力编码器157
10.3.2相似度网络158
10.3.3句子级语义方差注意力机制160
10.3.4数字嵌入方法162
10.4实验162
10.4.1数据集构建162
10.4.2数据集处理与评价指标163
10.4.3模型性能比较164
10.4.4注意力机制的可视化167
10.5本章小结168
思考题168
第11章总结与展望169
11.1短文关系抽取总结169
11.1.1贡献和创新点170
11.1.2现有问题讨论171
11.2弹幕评论挖掘研究总结172
11.3展望174
思考题176
参考文献177
彩图