知识图谱与深度学习

"知识就是力量，人工智能想要让计算机像人一样思考，同样需要知识的力量。计算机实现人工智能需要哪些知识，这些知识要如何表示、获取、计算以及使用，都是人工智能的重要研究课题。知识图谱作为人类知识结构化形成的知识系统，是人工智能研究和智能信息服务的基础核心技术，被广泛应用于搜索引擎、问答系统、智能对话系统以及个性化推荐等知识驱动的领域。 为了更好地向读者阐述知识智能方面的近期新研究成果，作者整理出版了这部专著。本书内容包括语言知识和世界知识两种类型知识，以及这两类知识在表示学习、自动获取与计算应用方面的近期新探索。作为数据智能与知识智能的前沿研究方向，知识图谱与深度学习的融合互动是人工智能的重要发展趋势，本书对此做了全面梳理。作者希望能够得到业内专家指正，也希望能够吸引更多志同道合之士，共同探讨未来专业发展方向。"

知识图谱旨在将人类知识组织成结构化知识系统，是人工智能实现真正意义的理解、记忆与推理的重要基础。知识图谱作为典型的符号表示系统，如何有效用于机器学习算法，面临着知识表示、知识获取和计算推理等方面的诸多挑战。近年来，以神经网络为代表的深度学习技术引发了人工智能的新一轮浪潮。本书介绍了作者团队在知识图谱与深度学习方面的研究成果，展现了数据驱动的深度学习与符号表示的知识图谱之间相互补充和促进的技术趋势。本书内容对于人工智能基础研究具有一定的参考意义，既适合专业人士了解知识图谱、深度学习和人工智能的前沿热点，也适合对人工智能感兴趣的本科生和研究生作为学习读物。

"刘知远 清华大学计算机系副教授、博士生导师。主要研究方向为表示学习、知识图谱和社会计算。2011年获得清华大学博士学位，已在ACL、IJCAI、AAAI等人工智能领域的有名国际期刊和会议发表相关论文60余篇，谷歌学术引用超过7 000次。博士论文曾被评为清华大学优秀博士学位论文、中国人工智能学会优秀博士学位论文。曾被评为清华大学优秀博士后，获得过中文信息学会青年创新奖，入选《麻省理工科技评论》“35岁以下科技创新35人”中国区榜单（MIT TR-35 China）、中国科学技术协会青年人才托举工程、中国计算机学会青年学者提升计划。多次担任ACL、EMNLP、COLING、IJCNLP等有名国际会议的领域主席。 韩旭 清华大学计算机系博士生，主要研究方向为自然语言处理、知识图谱、信息抽取。在AAAI、ACL、EMNLP、COLING、NAACL等人工智能领域的有名国际会议上发表多篇论文，是OpenKE、OpenNRE等开源项目的开发者之一。 孙茂松 清华大学计算机系长聘教授，清华大学人工智能研究院常务副院长，清华大学计算机学位评定分委员会主席。主要研究方向为自然语言理解、中文信息处理、Web智能、社会计算和计算教育学等。国家重点基础研究发展计划（“973”计划）首席科学家，国家社会科学基金重大项目首席专家。在重要国际刊物、国际会议、国内核心刊物上发表论文200余篇，谷歌学术引用9 000余次。2013年带领团队成功研制并发布了全球第一个向全社会免费开放的中文慕课平台“学堂在线”，目前注册用户已超过2 000万人。2017年领衔研制出“九歌”人工智能诗歌写作系统，引起了社会关注。主要兼职包括教育部教学信息化与教学方法创新指导委员会副主任委员，互联网教育智能技术及应用国家工程实验室副主任，中国科学技术协会第九届全国委员会委员，中国中文信息学会第六届、第七届副理事长，《中文信息学报》主编。2016年获“全国优秀科技工作者”及“首都市民学习之星”称号。"

第1章绪论1
1.1知识图谱简介2
1.2深度学习的优势和挑战4
1.3深度学习+知识图谱=∞8
1.3.1知识的表示学习9
1.3.2知识的自动获取10
1.3.3知识的计算应用13
1.4本书结构14
1.5本章总结14
第一篇世界知识图谱
第2章世界知识的表示学习19
2.1章节引言19
2.2相关工作20
2.2.1知识表示学习经典模型20
2.2.2平移模型及其拓展模型22
2.3基于复杂关系建模的知识表示学习25
2.3.1算法模型25
2.3.2实验分析26
2.3.3小结32
2.4基于关系路径建模的知识表示学习32
2.4.1算法模型32
2.4.2实验分析34
2.4.3小结39
2.5基于属性关系建模的知识表示学习39
2.5.1算法模型40
2.5.2实验分析41
2.5.3小结44
2.6融合实体描述信息的知识表示学习44
2.6.1算法模型45
2.6.2实验分析47
2.6.3小结54
2.7融合层次类型信息的知识表示学习55
2.7.1算法模型55
2.7.2实验分析57
2.7.3小结62
2.8融合实体图像信息的知识表示学习62
2.8.1算法模型63
2.8.2实验分析64
2.8.3小结68
2.9本章总结68
第3章世界知识的自动获取70
3.1章节引言70
3.2相关工作71
3.2.1有监督的关系抽取模型71
3.2.2远程监督的关系抽取模型72
3.3基于选择性注意力机制的关系抽取73
3.3.1算法模型74
3.3.2实验分析78
3.3.3小结82
3.4基于关系层次注意力机制的关系抽取83
3.4.1算法模型83
3.4.2实验分析86
3.4.3小结89
3.5基于选择性注意力机制的多语言关系抽取89
3.5.1算法模型90
3.5.2实验分析93
3.5.3小结98
3.6引入对抗训练的多语言关系抽取98
3.6.1算法模型99
3.6.2实验分析103
3.6.3小结106
3.7基于知识图谱与文本互注意力机制的知识获取106
3.7.1算法模型107
3.7.2实验分析112
3.7.3小结117
3.8本章总结118
第4章世界知识的计算应用119
4.1章节引言119
4.2细粒度实体分类120
4.2.1算法模型120
4.2.2实验分析122
4.2.3小结129
4.3实体对齐129
4.3.1算法模型129
4.3.2实验分析132
4.3.3小结135
4.4融入知识的信息检索136
4.4.1算法模型136
4.4.2实验分析138
4.4.3小结143
4.5本章总结143
第二篇语言知识图谱
第5章语言知识的表示学习147
5.1章节引言147
5.2相关工作148
5.2.1词表示学习148
5.2.2词义消歧149
5.3义原的表示学习149
5.3.1算法模型149
5.3.2实验分析152
5.3.3小结155
5.4基于义原的词表示学习156
5.4.1算法模型156
5.4.2实验分析159
5.4.3小结164
5.5本章总结164
第6章语言知识的自动获取166
6.1章节引言166
6.2相关工作167
6.2.1知识图谱及其构建167
6.2.2子词和字级NLP167
6.2.3词表示学习及跨语言的词表示学习167
6.3基于协同过滤和矩阵分解的义原预测168
6.3.1算法模型168
6.3.2实验分析171
6.3.3小结175
6.4融入中文字信息的义原预测175
6.4.1算法模型176
6.4.2实验分析179
6.4.3小结183
6.5跨语言词汇的义原预测183
6.5.1算法模型184
6.5.2实验分析188
6.5.3小结194
6.6本章总结194
第7章语言知识的计算应用195
7.1章节引言195
7.2义原驱动的词典扩展196
7.2.1相关工作196
7.2.2任务设定198
7.2.3算法模型199
7.2.4实验分析202
7.2.5小结207
7.3义原驱动的神经语言模型207
7.3.1相关工作208
7.3.2任务设定209
7.3.3算法模型210
7.3.4实验分析213
7.3.5小结219
7.4本章总结219
第8章总结与展望220
8.1本书总结220
8.2未来展望221
8.2.1更全面的知识类型221
8.2.2更复杂的知识结构222
8.2.3更有效的知识获取223
8.2.4更强大的知识指导223
8.2.5更精深的知识推理224
8.3结束语224
相关开源资源226
参考文献228
后记243