多模态深度学习技术基础

深度学习技术的引入使 得多模态信息处理领域取得 了巨大的突破。本书在介绍 多模态信息处理的基础概念 和典型任务的基础上，重点 介绍最通用、最基础的基于 深度学习的多模态信息处理 技术。本书内容包括初识多 模态信息处理、单模态深度 学习表示技术、多模态深度 学习基础技术、多模态预训 练技术4部分：初识多模态 信息处理部分介绍多模态信 息处理的基础概念和典型任 务；单模态深度学习表示技 术部分介绍多模态深度学习 模型中常用的文本表示和图 像表示技术；多模态深度学 习基础技术部分介绍多模态 表示、对齐、融合和转换这 4种技术；多模态预训练技 术部分介绍多模态预训练技 术。此外，为了让读者更好 地理解理论的细节并实践这 些多模态深度学习技术，本 书提供了4个可运行的完整 的实战案例，分别对应多模 态表示、对齐、融合和转换 这4种技术。 本书既可作为多模态信 息处理、多模态深度学习等 相关课程的教学参考书，适 用于高等院校智能科学与技 术和人工智能等专业的本科 生、研究生，同时可供为对 多模态深度学习技术感兴趣 的工程师和研究人员参考。

王小捷，北京航空航天大学博士。2002－2004年在日本奈良先端科学技术大学院计算语言学实验室访问研究。教授、博士生导师。研究方向为自然语言处理、认知计算。主持或参与完成国家自然科学基金项目、国家863计划项目等十余项国家级科研项目。

第1章 绪论 1.1 多模态信息处理的概念 1.2 多模态信息处理的难点 1.3 使用深度学习技术的动机 1.4 多模态信息处理的基础技术 1.4.1 表示技术 1.4.2 对齐技术 1.4.3 融合技术 1.4.4 转换技术 1.5 多模态深度学习技术的发展历史 1.6 小结 1.7 习题 第2章 多模态任务 2.1 图文跨模态检索 2.1.1 数据集 2.1.2 评测指标 2.2 图像描述 2.2.1 数据集 2.2.2 评测指标 2.3 视觉问答 2.3.1 数据集 2.3.2 评测指标 2.4 文本生成图像 2.4.1 数据集 2.4.2 评测指标 2.5 指称表达 2.5.1 数据集 2.5.2 评测指标 2.6 小结 2.7 习题 第3章 文本表示 3.1 基于词嵌入的静态词表示 3.1.1 Word2vec 3.1.2 GloVe 3.2 基于循环神经网络的动态词表示 3.2.1 循环神经网络基础 3.2.2 现代循环神经网络 3.2.3 动态词表示和整体表示 3.3 基于注意力的预训练语言模型表示 3.3.1 自注意力 3.3.2 transformer编码器 3.3.3 BERT 3.3.4 BERT词表示和整体表示 3.4 小结 3.5 习题 第4章 图像表示 4.1 基于卷积神经网络的整体表示和网格表示 4.1.1 卷积神经网络基础 4.1.2 现代卷积神经网络 4.1.3 整体表示和网格表示 4.2 基于目标检测模型的区域表示 4.2.1 基于深度学习的目标检测基础 4.2.2 区域表示 4.3 基于视觉transformer的整体表示和块表示 4.3.1 使用自注意力代替卷积 4.3.2 视觉transformer 4.3.3 整体表示和块表示 4.4 基于自编码器的压缩表示 4.4.1 量化自编码器：VQ-VAE 4.4.2 量化生成对抗网络：VQGAN 4.4.3 变分生成对抗网络：KLGAN 4.4.4 压缩表示 4.5 小结 4.6 习题 第5章 多模态表示 5.1 共享表示 5.1.1 多模态深度自编码器 5.1.2 多模态深度生成模型 5.2 对应表示 5.2.1 基于重构损失的方法 5.2.2 基于排序损失的方法 5.2.3 基于对抗损失的方法 5.3 实战案例：基于对应表示的跨模态检索 5.3.1 跨模态检索技术简介 5.3.2 模型训练流程 5.3.3 读取数据 5.3.4 定义模型 5.3.5 定义损失函数 5.3.6 选择优化方法 5.3.7 评估指标 5.3.8 训练模型 5.4 小结 5.5 习题 第6章 多模态对齐 6.1 基于注意力的方法 6.1.1 交叉注意力 6.1.2 基于交叉注意力的图文对齐和相关性计算 6.2 基于图神经网络的方法 6.2.1 图神经网络基础 6.2.2 单模态表示提取 6.2.3 单模态图表示学习 6.2.4 多模态图对齐 6.3 实战案例：基于交叉注意力的跨模态检索 6.3.1 读取数据 6.3.2 定义模型 6.3.3 定义损失函数 6.3.4 选择优化方法 6.3.5 评估指标 6.3.6 训练模型 6.4 小结 6.5 习题 第7章 多模态融合 7.1 基于双线性融合的方法 7.1.1 多模态低秩双线性池化 7.1.2 多模态因子双线性池化 7.1.3 多模态Tucker融合 7.2 基于注意力的方法 7.2.1 基于交叉注意力的基础方法 7.2.2 基于多步交叉注意力的方法 7.2.3 基于交叉transformer编码器的方法 7.3 实战案例：基于MFB的视觉问答 7.3.1 视觉问答技术简介 7.3.2 读取数据 7.3.3 定义模型 7.3.4 定义损失函数 7.3.5 选择优化方法 7.3.6 选择评估指标 7.3.7 训练模型 7.4 小结 7.5 习题 第8章 多模态转换 8.1 基于编解码框架的方法 8.1.1 基于循环神经网络的编解码模型 8.1.2 基于注意力的编解码模型 8.1.3 基于transformer的编解码模型 8.2 基于生成对抗网络的方法 8.2.1 基于条件生成对抗网络的基本方法 8.2.2 基于多阶段生成网络的方法 8.2.3 基于注意力生成网络的方法 8.3 实战案例：基于注意力的图像描述 8.3.1 图像描述技术简介 8.3.2 读取数据 8.3.3 定义模型 8.3.4 定义损失函数 8.3.5 选择优化方法 8.3.6 选择评估指标 8.3.7 训练模型 8.4 小结 8.5 习题 第9章 多模态预训练 9.1 总体框架 9.2 预训练数据集 9.3 模型结构 9.3.1 基于编码器的模型 9.3.2 基于编解码框架的模型 9.4 预训练任务 9.4.1 掩码语言模型 9.4.2 掩码视觉模型 9.4.3 图像文本匹配 9.4.4 跨模态对比学习 9.5 下游任务 9.5.1 视觉常识推理 9.5.2 视觉语言推理 9.5.3 视觉蕴含 9.6 典型模型 9.6.1 基于融合编码器的双流模型：LXMERT 9.6.2 基于融合编码器的单流模型：V