知识图谱(概念与技术)

知识图谱是一种大规模语义网络，已经成为大数据时代知识工程的代表性进展。知识图谱技术是实现机器认知智能和推动各行业智能化发展的关键基础技术。知识图谱也成为大规模知识工程的代表性实践，其学科日益完善。本书是一本系统介绍知识图谱概念、技术与实践的书籍。全书共五篇，由16章构成，力求涵盖知识图谱相关的基本概念与关键技术。“基础篇”介绍知识图谱的基本概念、内涵与外延、历史沿革、应用价值，以及相关的基础知识。“构建篇”重点介绍大规模高质量知识图谱的自动化构建技术，涵盖词汇挖掘、实体识别、关系抽取及概念图谱构建、百科图谱构建、众包构建与质量控制等专题。“管理篇”系统地阐述了知识图谱建模与存储、查询与检索，以及图数据管理系统。“应用篇”对于基于知识图谱的关键应用技术展开介绍，包括搜索与推荐、自然语言问答，以及基于知识图谱的自然语言理解。“实践篇”介绍知识图谱实践中的基本原则和有用实践，初步讨论了知识图谱实践中的开放性问题。

肖仰华 博士，复旦大学教授、博士生导师、复旦大学知识工场实验室创始人。曾担任多家企业高级技术顾问与首席科学家。曾获得十多个国家、省/市、企业级的研究奖项，曾承担三十多项国家、省/市、企业级研发项目。在国际顶级学术会议与期刊（包括SIGMOD、VLDB、ICDE、IJCAI、AAAI、ACL、TKDE等）发表论文百余篇，授权近20项知识图谱专利。担任多个国际期刊编委，百余次为国际/国内学术机构/会议提供学术服务工作。领导构建了知识工场平台，发布了一系列知识图谱包括CN-DBpedia、CN-Probase等。

第1篇 基础篇 第1章 知识图谱概述 2 1.1 知识图谱的基本概念 2 1.1.1 知识图谱的狭义概念 3 1.1.2 知识图谱的广义概念 8 1.2 知识图谱的历史沿革 10 1.2.1 知识图谱溯源 10 1.2.2 大数据知识工程 13 1.3 知识图谱的研究意义 16 1.3.1 知识图谱是认知智能的基石 16 1.3.2 知识引导成为解决问题的重要方式之一 19 1.4 知识图谱的应用价值 20 1.4.1 数据分析 20 1.4.2 智慧搜索 21 1.4.3 智能推荐 22 1.4.4 自然人机交互 23 1.4.5 决策支持 23 1.5 知识图谱的分类 24 1.5.1 知识图谱中的知识分类 25 1.5.2 知识图谱的领域特性 26 1.5.3 典型知识图谱 30 本章小结 38 思考题 39 参考文献 40 第2章 基础知识 43 2.1 概述 43 2.2 知识表示 45 2.2.1 基本概念 45 2.2.2 知识图谱的图表示 47 2.2.3 知识图谱的数值表示 49 2.2.4 其他相关知识表示 54 2.3 机器学习 64 2.3.1 机器学习的基本概念 65 2.3.2 深度学习概述 67 2.3.3 卷积神经网络 70 2.3.4 循环神经网络 71 2.3.5 注意力机制 72 2.4 自然语言处理 73 2.4.1 基本概念 74 2.4.2 文本的向量化表示 76 本章小结 78 思考题 79 参考文献 80 第2篇 构建篇 第3章 词汇挖掘与实体识别 84 3.1 概述 84 3.2 领域短语挖掘 86 3.2.1 问题描述 87 3.2.2 领域短语挖掘方法 88 3.2.3 统计指标特征 91 3.3 同义词挖掘 95 3.3.1 概述 95 3.3.2 典型方法 96 3.4 缩略词抽取 101 3.4.1 缩略词的概念与形式 101 3.4.2 缩略词的检测与抽取 103 3.4.3 缩略词的预测 105 3.5 实体识别 109 3.5.1 概述 109 3.5.2 传统的NER方法 110 3.5.3 基于深度学习的NER方法 114 3.5.4 近期的一些方法 120 本章小结 121 思考题 122 参考文献 122 第4章 关系抽取 127 4.1 概述 127 4.1.1 关系抽取的问题和方法分类 128 4.1.2 关系抽取常用数据集 130 4.1.3 关系抽取评估方法 131 4.2 基于模式的抽取 133 4.2.1 基于字符模式的抽取 134 4.2.2 基于语法模式的抽取 135 4.2.3 基于语义模式的抽取 135 4.2.4 自动化模式获取：自举法 136 4.2.5 基于模式抽取的质量评估 138 4.3 基于学习的抽取 139 4.3.1 基于监督学习的关系抽取 140 4.3.2 基于远程监督学习的关系抽取 142 4.3.3 基于深度学习的关系抽取 144 4.4 开放关系抽取 150 4.4.1 TextRunner 151 4.4.2 ReVerb 152 4.4.3 Ollie 154 本章小结 154 思考题 156 参考文献 157 第5章 概念图谱构建 160 5.1 概述 160 5.1.1 常见的概念图谱 163 5.1.2 概念图谱的应用 166 5.2 isA关系抽取 168 5.2.1 基于在线百科的方法 169 5.2.2 基于模式的方法 170 5.2.3 中文概念图谱的构建 172 5.3 isA关系补全 175 5.3.1 isA关系缺失的成因 176 5.3.2 基于isA关系传递性的概念图谱补全 177 5.3.3 基于协同过滤思想的概念图谱补全 179 5.4 isA关系纠错 181 5.4.1 错误的成因 182 5.4.2 基于支持度的纠错 183 5.4.3 基于图模型的纠错 184 本章小结 185 思考题 186 参考文献 187 第6章 百科图谱构建 189 6.1 概述 189 6.1.1 什么是百科图谱 189 6.1.2 百科图谱的意义 190 6.1.3 百科图谱的分类 191 6.2 基于单源的百科图谱构建 192 6.2.1 数据获取 193 6.2.2 属性抽取 195 6.2.3 关系构建 200 6.2.4 概念层级体系构建 201 6.2.5 实体分类 201 6.3 基于多源的百科图谱融合 207 6.3.1 基于多个知识图谱的融合方法 207 6.3.2 基于多源异构数据的融合方法 215 本章小结 216 思考题 217 参考文献 217 第7章 知识图谱的众包构建 221 7.1 概述 221 7.2 知识型众包的基本概念 223 7.3 知识型众包研究的问题 226 7.3.1 What（对什么任务进行众包） 226 7.3.2 Whom（将任务交予谁完成） 229 7.3.3 How（如何完成众包） 230 7.4 基于众包的知识图谱构建与精化 235 7.4.1 本体构建阶段的人工介入 235 7.4.2 知识图谱构建阶段的人工介入 237 7.4.3 知识图谱精化阶段的人工介入 242 本章小结 244 思考题 245 参考文献 第8章 知识图谱的质量控制 250 8.1 概述 251 8.1.1 知识图谱质量评估的维度 251 8.1.2 知识图谱质量评估的方法 253 8.1.3 知识图谱质量控制全周期概览 254 8.2 缺失知识的发现与补全 260 8.2.1 类型补全 260 8.2.2 关系补全 263 8.2.3 属性值补全 268 8.3 错误知识的发现与纠正 270 8.3.1 错误实体类型检测 271 8.3.2 错误实体关系检测 271 8.3.3 错误属性值检测 273 8.4 过期知识的更新 274 8.4.1 基于更新频率预测的更新机制 275 8.4.2 基于时间标签的更新机制 276 8.4.3 基于热点事件发现的更新机制 277 本章小结 278 思考题 279 参考文献 280 第3篇 管理篇 第9章 知识图谱的建模与存储 286 9.1 概述 286 9.2 知识图谱的数据模型 287 9.2.1 知识图谱的三元组模型 287 9.2.2 知识图谱的图模型 291 9.3 知识图谱的物理存储 296 9.3.1 知识图谱数据的基本操作 296 9.3.2 知识图谱的关系表存储 297 9.3.3 知识图谱的图存储 302 9.3.4 分布式计算环境下的知识图谱数据存储 305 本章小结 309 思考题 310 参考文献 310 第10章 知识图谱的查询与检索 314 10.1 概述 314 10.2 查询语言：SPARQL 315 10.2.1 简单查询 315 10.2.2 SPARQL查询机制及知识图谱上的推理 321 10.3 子图查询 324 10.3.1 子图查询基本知识 324 10.3.2 近似子图查询 326 10.3.3 Top-k查询 331 10.3.4 索引结构 334 10.4 其他查询 335 10.4.1 路径查询 335 10.4.2 关键词查询 337 10.4.3 社团搜索 339 本章小结 342 思考题 343 参考文献 343 第11章 图数据管理系统 347 11.1 概述 347 11.2 知识图谱与图数据管理系统 348 11.2.1 大图管理的挑战 350 11.2.2 图数据管理系统的重要性 352 11.2.3 图数据管理系统管理知识图谱的挑战 354 11.3 图数据管理系统的基本架构和设计原则 357 11.4 典型的图数据管理系统 360 11.4.1 通用图数据管理系统 361 11.4.2 知识图谱专用图数据管理系统 364 11.4.3 图数据管理系统使用实例 366 本章小结 370 思考题 371 参考文献 371 第4篇 应用篇 第12章 基于知识图谱的语言认知 374 12.1 概述 375 12.1.1 语言理解的挑战 375 12.1.2 语言理解需要知识图谱 376 12.1.3 语言理解的任务 377 12.2 实体理解 378 12.2.1 基本模型 379 12.2.2 局部实体链接分数 380 12.2.3 全局实体链接分数 381 12.2.4 模型计算 382 12.2.5 短文本实体链接 388 12.2.6 跨语言实体链接 389 12.3 概念理解 391 12.3.1 单实例概念理解 391 12.3.2 多实例概念理解 393 12.3.3 短语概念理解 395 12.3.4 关系对概念理解 397 12.3.5 概念理解应用举例 398 12.4 属性理解 399 本章小结 401 思考题 402 参考文献 402 第13章 基于知识图谱的搜索与推荐 405 13.1 概述 405 13.2 基于知识图谱的搜索 408 13.2.1 搜索概述 408 13.2.2 搜索意图理解 411 13.2.3 目标查找 413 13.2.4 结果呈现 413 13.2.5 实体探索 414 13.3 基于知识图谱的推荐 419 13.3.1 推荐的基本问题与挑战 419 13.3.2 基于知识图谱的物品画像 422 13.3.3 基于知识图