图深度学习

本书全面介绍了图深度学习的理论基础、模型方法及实际应用。全书分为4 篇，共15 章。第1 篇为基础理论，重点介绍图和深度学习的基础知识，包括图的关键概念和属性、各种基础的神经网络模型、训练深度学习模型的关键方法以及防止训练过程中过度拟合的实用技术；第2 篇为模型方法，涵盖了从基本设置到高级设置的成熟的图深度学习方法，包括图嵌入、图过滤和池化操作、图对抗攻击和图对抗防御技术、可扩展性图神经网络的代表性技术以及图神经网络之外的众多图深度模型；第3 篇为实际应用，重点介绍了最具代表性的实际应用，包括自然语言处理、计算机视觉、数据挖掘、生物化学与医疗健康等；第4 篇为前沿进展，介绍了有可能成为将来研究热点的高级方法和应用，主要从表达性、深度、公平性、可解释性和自监督学习等内容。在组织结构方面，每章首先介绍写作动机，然后通过具体示例或技术细节介绍相应内容，最后提供更多的扩展阅读知识。本书既适合对数据挖掘、机器学习和社交网络分析感兴趣的本科生和研究生阅读，也适合企业开发者和项目经理阅读。对于没有计算机科学背景，但想要应用图神经网络来推进其所在学科发展的研究人员，本书同样是一本值得参考的读物。

马耀密歇根州立大学计算机科学与工程专业的博士学生。密歇根州立大学Outstanding Graduate Student Award以及 FAST Fellowship的获奖者。研究兴趣包括网络嵌入和图神经网络。论文多次发表在数据挖掘顶级会议上，如WSDM、ICDM、SDM、WWW、IJCAI、SIGIR和KDD，目前已经获得了数百次引用。他是AAAI''''''''''''''''20图神经网络教学讲座和KDD''''''''''''''''20图深度学习教学讲座的第一组织者和演讲者，这些教学讲座都获得了领域内外巨大的关注和广泛的好评。他在AAAI、BigData、IJCAI、TWEB和TPAMI等众多知名会议或杂志担任程序委员会委员及审稿人。汤继良于2016年秋季加入密西根州立大学，担任计算机科学与工程系助理教授。在这之前，他曾担任雅虎研究院研究员。他于2015年从亚利桑那州立大学取得博士学位，在图特征选择、图表征学习、图深度学习以及它们在互联网和社交媒体上的应用上做出了杰出的贡献。他曾经获得2020 SIGKDD新星奖（Rising Star Award）、2020 Withrow杰出研究奖（Distinguished Withrow Research Award）、2020和2019 Aminer人工智能最有影响力学者（Aminer Influential Scholars in AI）、2019美国自然科学基金杰出青年奖（NSF Career Award）、2019 IJCAI早期焦点人物演讲（IJCAI Early Career Talk），以及包括KDD、WSDM等在内的7项领域顶级会议的最佳（或提名）论文奖。他的博士论文获得2015 SIGKDD最佳博士论文（KDD Best Dissertation）亚军和院长优秀博士论文奖（Dean’s Dissertation Award）。他是SIAM数据分析小组和ACM TKDD期刊的秘书长。他经常担任数据挖掘顶级会议的组织者和顶级期刊的主编。他的研究成果发表在领域顶级的期刊和会议上，现已获得了超过11000多次的引用和媒体广泛的关注和报道。
王怡琦密歇根州立大学博士研究生。她的研究兴趣主要集中在图神经网络，包括模型理论基础和应用及知识图谱。她已经在KDD、CIKM、WWW和AAAI等计算机顶级会议上发表了多项研究成果。她曾担任CIKM‘20等国际知名会议的PC Member。她曾参加组织KDD‘20图深度学习专题教学讲座并担任主要演讲者，获得了领域内外巨大的关注和广泛的好评。金卫密歇根州立大学博士研究生。他的研究兴趣集中在图神经网络领域，包括其理论基础、模型鲁棒性及应用。他已经在KDD和WWW计算机顶级会议上发表了多篇研究成果。他还是备受业内关注和赞誉的对抗攻击工具包DeepRobust 的主要贡献者。他曾担任包括CIKM‘20等国际知名会议的PC Member。他曾参加组织AAAI‘20图深度学习专题教学讲座和KDD‘20神经网络对抗攻击与防御专题教学讲座，并担任主要演讲者，获得了领域内外巨大的关注和广泛的好评。

第1 章绪论1 1.1 简介2 1.2 图深度学习的动机2 1.3 本书内容4 1.4 本书读者定位6 1.5 图特征学习的简要发展史7 1.5.1 图特征选择8 1.5.2 图表示学习9 1.6 小结10 1.7 扩展阅读11 第1 篇基础理论 第2 章图论基础15 2.1 简介16 2.2 图的表示16 2.3 图的性质17 2.3.1 度17 2.3.2 连通度19 2.3.3 中心性21 2.4 谱图论24 2.4.1 拉普拉斯矩阵24 2.4.2 拉普拉斯矩阵的特征值和特征向量26 2.5 图信号处理27 2.6 复杂图30 2.6.1 异质图30 2.6.2 二分图30 2.6.3 多维图31 2.6.4 符号图32 2.6.5 超图33 2.6.6 动态图33 2.7 图的计算任务34 2.7.1 侧重于节点的任务35 2.7.2 侧重于图的任务36 2.8 小结37 2.9 扩展阅读37 第3 章深度学习基础39 3.1 简介40 3.2 深度前馈神经网络41 3.2.1 网络结构42 3.2.2 激活函数43 3.2.3 输出层和损失函数45 3.3 卷积神经网络47 3.3.1 卷积操作和卷积层48 3.3.2 实际操作中的卷积层51 3.3.3 非线性激活层52 3.3.4 池化层53 3.3.5 卷积神经网络总体框架53 3.4 循环神经网络54 3.4.1 传统循环神经网络的网络结构55 3.4.2 长短期记忆网络56 3.4.3 门控循环单元58 3.5 自编码器59 3.5.1 欠完备自编码器59 3.5.2 正则化自编码器60 3.6 深度神经网络的训练61 3.6.1 梯度下降61 3.6.2 反向传播62 3.6.3 预防过拟合64 3.7 小结65 3.8 扩展阅读65 第2 篇模型方法 第4 章图嵌入69 4.1 简介70 4.2 简单图的图嵌入71 4.2.1 保留节点共现71 4.2.2 保留结构角色80 4.2.3 保留节点状态83 4.2.4 保留社区结构84 4.3 复杂图的图嵌入86 4.3.1 异质图嵌入87 4.3.2 二分图嵌入89 4.3.3 多维图嵌入90 4.3.4 符号图嵌入91 4.3.5 超图嵌入93 4.3.6 动态图嵌入95 4.4 小结96 4.5 扩展阅读97 第5 章图神经网络99 5.1 简介100 5.2 图神经网络基本框架102 5.2.1 侧重于节点的任务的图神经网络框架102 5.2.2 侧重于图的任务的图神经网络框架103 5.3 图滤波器104 5.3.1 基于谱的图滤波器104 5.3.2 基于空间的图滤波器114 5.4 图池化120 5.4.1 平面图池化120 5.4.2 层次图池化121 5.5 图卷积神经网络的参数学习125 5.5.1 节点分类中的参数学习126 5.5.2 图分类中的参数学习126 5.6 小结127 5.7 扩展阅读128 第6 章图神经网络的健壮性129 6.1 简介130 6.2 图对抗攻击130 6.2.1 图对抗攻击的分类131 6.2.2 白盒攻击132 6.2.3 灰盒攻击135 6.2.4 黑盒攻击139 6.3 图对抗防御142 6.3.1 图对抗训练142 6.3.2 图净化144 6.3.3 图注意力机制144 6.3.4 图结构学习148 6.4 小结149 6.5 扩展阅读149 第7 章可扩展图神经网络151 7.1 简介152 7.2 逐点采样法155 7.3 逐层采样法158 7.4 子图采样法162 7.5 小结164 7.6 扩展阅读164 第8 章复杂图神经网络165 8.1 简介166 8.2 异质图神经网络166 8.3 二分图神经网络168 8.4 多维图神经网络168 8.5 符号图神经网络170 8.6 超图神经网络173 8.7 动态图神经网络174 8.8 小结175 8.9 扩展阅读175 第9 章图上的其他深度模型177 9.1 简介178 9.2 图上的自编码器178 9.3 图上的循环神经网络180 9.4 图上的变分自编码器182 9.4.1 用于节点表示学习的变分自编码器184 9.4.2 用于图生成的变分自编码器184 9.4.3 编码器：推论模型185 9.4.4 解码器: 生成模型186 9.4.5 重建的损失函数186 9.5 图上的生成对抗网络187 9.5.1 用于节点表示学习的生成对抗网络188 9.5.2 用于图生成的生成对抗网络189 9.6 小结191 9.7 扩展阅读191 第3 篇实际应用 第10 章自然语言处理中的图神经网络195 10.1 简介196 10.2 语义角色标注196 10.3 神经机器翻译199 10.4 关系抽取199 10.5 问答系统200 10.5.1 多跳问答任务201 10.5.2 Entity-GCN 202 10.6 图到序列学习203 10.7 知识图谱中的图神经网络205 10.7.1 知识图谱中的图滤波205 10.7.2 知识图谱到简单图的转换206 10.7.3 知识图谱补全207 10.8 小结208 10.9 扩展阅读208 第11 章计算机视觉中的图神经网络209 11.1 简介210 11.2 视觉问答210 11.2.1 图像表示为图211 11.2.2 图像和问题表示为图212 11.3 基于骨架的动作识别214 11.4 图像分类215 11.4.1 零样本图像分类216 11.4.2 少样本图像分类217 11.4.3 多标签图像分类218 11.5 点云学习219 11.6 小结220 11.7 扩展阅读220 第12 章数据挖掘中的图神经网络221 12.1 简介222 12.2 万维网数据挖掘222 12.2.1 社交网络分析222 12.2.2 推荐系统225 12.3 城市数据挖掘229 12.3.1 交通预测229 12.3.2 空气质量预测231 12.4 网络安全数据挖掘231 12.4.1 恶意账户检测231 12.4.2 虚假新闻检测233 12.5 小结234 12.6 扩展阅读234 第13 章生物化学和医疗健康中的 图神经网络235 13.1 简介236 13.2 药物开发与发现236 13.2.1 分子表示学习236 13.2.2 蛋白质相互作用界面预测237 13.2.3 药物C靶标结合亲和力预测239 13.3 药物相似性整合240 13.4 复方药物副作用预测242 13.5 疾病预测244 13.6 小结245 13.7 扩展阅读245 第4 篇前沿进展 第14 章图神经网络的高级方法249 14.1 简介250 14.2 深层图神经网络250 14.2.1 Jumping Knowledge 252 14.2.2 DropEdge 253 14.2.3 PairNorm 253 14.3 通过自监督学习探索未标记数据253 14.3.1 侧重于节点的任务254 14.3.2 侧重于图的任务256 14.4 图神经网络的表达能力257 14.4.1 WL 测试258 14.4.2 表达能力259 14.5 小结260 14.6 扩展阅读260 第15 章图神经网络的高级应用261 15.1 简介262 15.2 图的组合优化262 15.3 学习程序表示264 15.4 物理学中相互作用的动力系统推断265 15.5 小结266 15.6 扩展阅读266 参考文献267 索引295