图深度学习

"全书从背景介绍、理论细节，到实际应用，再到总结与拓展，深入浅出。 涵盖了学习图深度学习必须了解的基础知识，图深度学习中经典的模型方法，图深度学习在实际中的应用方法，以及图深度学习近期新的研究热点和前沿进展。 揭秘图深度学习的基本原理和经典算法，包括现代图嵌入、用于简单图和复杂图的GNN、GNN 的健壮性和可扩展性及GNN 之外的图深度模型。 应用部分介绍了GNN 在典型领域的应用，包括自然语言处理、计算机视觉、数据挖掘、生物化学和医疗健康 适合计算机科学、人工智能和机器学习等相关专业各个阶段的学生学习，也可供信息领域相关从业者，包括工程师和研究人员阅读。"

本书全面介绍了图深度学习的理论基础、模型方法及实际应用。全书分为4 篇，共15 章。第1 篇为基础理论，重点介绍图和深度学习的基础知识，包括图的关键概念和属性、各种基础的神经网络模型、训练深度学习模型的关键方法以及防止训练过程中过度拟合的实用技术；第2 篇为模型方法，涵盖了从基本设置到高级设置的成熟的图深度学习方法，包括图嵌入、图过滤和池化操作、图对抗攻击和图对抗防御技术、可扩展性图神经网络的代表性技术以及图神经网络之外的众多图深度模型；第3 篇为实际应用，重点介绍了拥有代表性的实际应用，包括自然语言处理、计算机视觉、数据挖掘、生物化学与医疗健康等；第4 篇为前沿进展，介绍了有可能成为将来研究热点的高级方法和应用，主要从表达性、深度、公平性、可解释性和自监督学习等内容。在组织结构方面，每章首先介绍写作动机，然后通过具体示例或技术细节介绍相应内容，最后提供更多的扩展阅读知识。本书既适合对数据挖掘、机器学习和社交网络分析感兴趣的本科生和研究生阅读，也适合企业开发者和项目经理阅读。对于没有计算机科学背景，但想要应用图神经网络来推进其所在学科发展的研究人员，本书同样是一本值得参考的读物。

"马   耀 密歇根州立大学博士研究生。他将于2021年秋季学期作为助理教授加入新泽西理工学院。他是密歇根州立大学杰出博士生奖以及FAST Fellowship的获奖者。他的研究兴趣包括网络嵌入和图神经网络。他的论文多次发表在KDD、WWW、IJCAI、SIGIR和TKDE等数据挖掘很好会议和期刊上。他在众多知名会议（如ICML、 KDD、 AAAI和IJCAI等）以及杂志（如TKDD、TKDE和TPAMI等）担任程序委员会委员以及审稿人。他是AAAI图神经网络和KDD图深度学习教学讲座的第一组织者和演讲者，这些教学讲座都获得了领域内外的巨大关注和广泛好评。 汤继良 密西根州立大学助理教授。在这之前，他曾担任雅虎研究院研究员，于2015年从亚利桑那州立大学取得博士学位。他在图特征选择、图表征学习、图深度学习以及它们在互联网和社交媒体上的应用方面做出了杰出贡献。他曾经获得 SIGKDD新星奖（Rising Star Award）、Withrow杰出研究奖（Distinguished Withrow Research Award）、美国自然科学基金杰出青年奖（NSF Career Award）、IJCAI早期焦点人物演讲（IJCAI Early Career Talk）和包括KDD、WSDM等在内的7项领域知名会议的很好（或提名）论文奖。他的博士论文获得SIGKDD很好博士论文（KDD Best Dissertation）亚军和院长优秀博士论文奖（Dean’s Dissertation Award）。他是SIAM数据分析小组和ACM TKDD期刊的秘书长。他经常当任数据挖掘很好会议的组织者和很好期刊的编委。他的研究成果发表在领域很好的期刊和会议上，现已获得了超过14,000多次的引用（H指数为60）和媒体的广泛关注和报道。 译者介绍 王怡琦 密歇根州立大学博士研究生。她的研究兴趣主要集中在图神经网络理论基础及其应用。她在计算机很好会议（如KDD、EMNLP、WWW和AAAI等）上发表了多篇研究成果。她曾担任AAAI、IJCAI和CIKM等国际知名会议的程序委员会委员。她曾参加组织KDD和AAAI图深度学习专题教学讲座，并担任主要演讲者，获得了领域内外的巨大关注和广泛好评。 金  卫 密歇根州立大学博士研究生。他的研究兴趣集中在图神经网络，包括理论基础、模型健壮性及应用。他在KDD、AAAI、WSDM和WWW等计算机很好会议上发表了多篇研究成果。他还是备受业内关注的对抗攻击和防御工具包DeepRobust的主要贡献者。他曾担任包括IJCAI和CIKM等国际知名会议的程序委员会委员。他曾参加组织AAAI图深度学习专题教学讲座和KDD神经网络对抗攻击与防御专题教学讲座，并担任主要演讲者，获得了领域内外的巨大关注和广泛好评。"

第1 章绪论1 1.1 简介2 1.2 图深度学习的动机2 1.3 本书内容4 1.4 本书读者定位6 1.5 图特征学习的简要发展史7 1.5.1 图特征选择8 1.5.2 图表示学习9 1.6 小结10 1.7 扩展阅读11 第1 篇基础理论 第2 章图论基础15 2.1 简介16 2.2 图的表示16 2.3 图的性质17 2.3.1 度17 2.3.2 连通度19 2.3.3 中心性21 2.4 谱图论24 2.4.1 拉普拉斯矩阵24 2.4.2 拉普拉斯矩阵的特征值和特征向量26 2.5 图信号处理27 2.6 复杂图30 2.6.1 异质图30 2.6.2 二分图30 2.6.3 多维图31 2.6.4 符号图32 2.6.5 超图33 2.6.6 动态图33 2.7 图的计算任务34 2.7.1 侧重于节点的任务35 2.7.2 侧重于图的任务36 2.8 小结37 2.9 扩展阅读37 第3 章深度学习基础39 3.1 简介40 3.2 深度前馈神经网络41 3.2.1 网络结构42 3.2.2 激活函数43 3.2.3 输出层和损失函数45 3.3 卷积神经网络47 3.3.1 卷积操作和卷积层48 3.3.2 实际操作中的卷积层51 3.3.3 非线性激活层52 3.3.4 池化层53 3.3.5 卷积神经网络总体框架53 3.4 循环神经网络54 3.4.1 传统循环神经网络的网络结构55 3.4.2 长短期记忆网络56 3.4.3 门控循环单元58 3.5 自编码器59 3.5.1 欠完备自编码器59 3.5.2 正则化自编码器60 3.6 深度神经网络的训练61 3.6.1 梯度下降61 3.6.2 反向传播62 3.6.3 预防过拟合64 3.7 小结65 3.8 扩展阅读65 第2 篇模型方法 第4 章图嵌入69 4.1 简介70 4.2 简单图的图嵌入71 4.2.1 保留节点共现71 4.2.2 保留结构角色80 4.2.3 保留节点状态83 4.2.4 保留社区结构84 4.3 复杂图的图嵌入86 4.3.1 异质图嵌入87 4.3.2 二分图嵌入89 4.3.3 多维图嵌入90 4.3.4 符号图嵌入91 4.3.5 超图嵌入93 4.3.6 动态图嵌入95 4.4 小结96 4.5 扩展阅读97 第5 章图神经网络99 5.1 简介100 5.2 图神经网络基本框架102 5.2.1 侧重于节点的任务的图神经网络框架102 5.2.2 侧重于图的任务的图神经网络框架103 5.3 图滤波器104 5.3.1 基于谱的图滤波器104 5.3.2 基于空间的图滤波器114 5.4 图池化120 5.4.1 平面图池化120 5.4.2 层次图池化121 5.5 图卷积神经网络的参数学习125 5.5.1 节点分类中的参数学习126 5.5.2 图分类中的参数学习126 5.6 小结127 5.7 扩展阅读128 第6 章图神经网络的健壮性129 6.1 简介130 6.2 图对抗攻击130 6.2.1 图对抗攻击的分类131 6.2.2 白盒攻击132 6.2.3 灰盒攻击135 6.2.4 黑盒攻击139 6.3 图对抗防御142 6.3.1 图对抗训练142 6.3.2 图净化144 6.3.3 图注意力机制144 6.3.4 图结构学习148 6.4 小结149 6.5 扩展阅读149 第7 章可扩展图神经网络151 7.1 简介152 7.2 逐点采样法155 7.3 逐层采样法158 7.4 子图采样法162 7.5 小结164 7.6 扩展阅读164 第8 章复杂图神经网络165 8.1 简介166 8.2 异质图神经网络166 8.3 二分图神经网络168 8.4 多维图神经网络168 8.5 符号图神经网络170 8.6 超图神经网络173 8.7 动态图神经网络174 8.8 小结175 8.9 扩展阅读175 第9 章图上的其他深度模型177 9.1 简介178 9.2 图上的自编码器178 9.3 图上的循环神经网络180 9.4 图上的变分自编码器182 9.4.1 用于节点表示学习的变分自编码器184 9.4.2 用于图生成的变分自编码器184 9.4.3 编码器：推论模型185 9.4.4 解码器: 生成模型186 9.4.5 重建的损失函数186 9.5 图上的生成对抗网络187 9.5.1 用于节点表示学习的生成对抗网络188 9.5.2 用于图生成的生成对抗网络189 9.6 小结191 9.7 扩展阅读191 第3 篇实际应用 第10 章自然语言处理中的图神经网络195 10.1 简介196 10.2 语义角色标注196 10.3 神经机器翻译199 10.4 关系抽取199 10.5 问答系统200 10.5.1 多跳问答任务201 10.5.2 Entity-GCN 202 10.6 图到序列学习203 10.7 知识图谱中的图神经网络205 10.7.1 知识图谱中的图滤波205 10.7.2 知识图谱到简单图的转换206 10.7.3 知识图谱补全207 10.8 小结208 10.9 扩展阅读208 第11 章计算机视觉中的图神经网络209 11.1 简介210 11.2 视觉问答210 11.2.1 图像表示为图211 11.2.2 图像和问题表示为图212 11.3 基于骨架的动作识别214 11.4 图像分类215 11.4.1 零样本图像分类216 11.4.2 少样本图像分类217 11.4.3 多标签图像分类218 11.5 点云学习219 11.6 小结220 11.7 扩展阅读220 第12 章数据挖掘中的图神经网络221 12.1 简介222 12.2 万维网数据挖掘222 12.2.1 社交网络分析222 12.2.2 推荐系统225 12.3 城市数据挖掘229 12.3.1 交通预测229 12.3.2 空气质量预测231 12.4 网络安全数据挖掘231 12.4.1 恶意账户检测231 12.4.2 虚假新闻检测233 12.5 小结234 12.6 扩展阅读234 第13 章生物化学和医疗健康中的 图神经网络235 13.1 简介236 13.2 药物开发与发现236 13.2.1 分子表示学习236 13.2.2 蛋白质相互作用界面预测237 13.2.3 药物�靶标结合亲和力预测239 13.3 药物相似性整合240 13.4 复方药物副作用预测242 13.5 疾病预测244 13.6 小结245 13.7 扩展阅读245 第4 篇前沿进展 第14 章图神经网络的高级方法249 14.1 简介250 14.2 深层图神经网络250 14.2.1 Jumping Knowledge 252 14.2.2 DropEdge 253 14.2.3 PairNorm 253 14.3 通过自监督学习探索未标记数据253 14.3.1 侧重于节点的任务254 14.3.2 侧重于图的任务256 14.4 图神经网络的表达能力257 14.4.1 WL 测试258 14.4.2 表达能力259 14.5 小结260 14.6 扩展阅读260 第15 章图神经网络的高级应用261 15.1 简介262 15.2 图的组合优化262 15.3 学习程序表示264 15.4 物理学中相互作用的动力系统推断265 15.5 小结266 15.6 扩展阅读266 参考文献267 索引295