对偶学习

本书系统全面地阐述了对偶学习，使得相关研究人员和从业者能够更好地了解该领域的前沿技术。全书分为五部分。第1部分简要介绍机器学习和深度学习的基础知识。第2部分以机器翻译、图像翻译、语音处理及其他自然语言处理/计算机视觉为例，详细介绍了基于对偶重构准则的算法。第3部分是基于概率准则的若干工作，包括基于联合概率的对偶有监督学习和对偶推断，以及基于边缘概率的对偶半监督学习。第4部分从理论角度解读了对偶学习，并且讨论了和其他学习范式的关联。第5部分总结全书并给出若干未来研究方向。

秦涛，微软亚洲研究院首席研究员、深度学习和强化学习组负责人，IEEE、ACM高级会员，中国科学技术大学客座教授，研究方向包括深度学习及其在自然语言、语音、图像处理和药物研发中的应用，强化学习及其在游戏AI和实际问题中的应用，博弈论与多智能体系统及其在云计算和在线广告中的应用，信息检索以及计算广告。他的团队提出的对偶学习及其他技术帮助微软于2018年在中英新闻翻译任务上达到了人类专家的水平，获得WMT 2019国际机器翻译大赛8项冠军，并集成到了微软翻译系统中。2019年，他和团队设计了当时优选效的语音合成模型FastSpeech，该模型支撑了微软云Azure上的所有语音(涵盖100多种语言和270多种语音)合成服务。同年，研发了麻将AI Suphx，在“天凤”平台荣升十段，安定段位8.7，显著超越人类很好选手。

译者序
前言
致谢
第 1 章 绪论 1
1.1 引言 1
1.2 人工智能任务中的结构对偶性 3
1.3 对偶学习的划分 4
1.3.1 依照使用数据划分 4
1.3.2 依照对偶信号构造准则划分 4
1.4 全书总览 5
参考文献 6
第 2 章 机器学习基础 10
2.1 机器学习范式 10
2.1.1 有监督学习 11
2.1.2 无监督学习 12
2.1.3 强化学习 13
2.1.4 其他学习范式 14
2.2 机器学习算法核心组成部分 14
2.3 泛化和正则化 16
2.4 搭建机器学习模型 17
2.4.1 数据收集和特征工程 18
2.4.2 算法选择、模型训练、超参数调优 18
参考文献 19
第 3 章 深度学习基础 24
3.1 神经网络 24
3.2 卷积神经网络 27
3.3 序列建模 29
3.3.1 递归神经网络及其变种 30
3.3.2 编码器解码器架构 31
3.3.3 Transformer 网络 34
3.4 深度模型训练 36
3.4.1 随机梯度下降法 37
3.4.2 正则化 38
3.5 为什么选择深度神经网络 39
参考文献 41
第 4 章 对偶学习在机器翻译中的应用及拓展 48
4.1 机器翻译简介 48
4.1.1 神经机器翻译 49
4.1.2 回译技术 50
4.2 对偶重构准则 51
4.3 对偶半监督学习 52
4.4 对偶无监督学习 56
4.4.1 基本思想 56
4.4.2 系统架构和训练算法 57
4.5 多智能体对偶学习 60
4.5.1 模型架构 61
4.5.2 拓展和比较 62
4.5.3 多智能体对偶机器翻译 63
4.6 拓展 65
4.6.1 语义解析 65
4.6.2 文本风格迁移 66
4.6.3 对话 67
参考文献 68
第 5 章 对偶学习在图像翻译中的应用及拓展 72
5.1 简介 72
5.2 无监督图像翻译的基本思想 74
5.3 图像翻译 75
5.3.1 DualGAN 75
5.3.2 CycleGAN 77
5.3.3 DiscoGAN 80
5.4 细粒度图像翻译 80
5.4.1 细粒度图像翻译中的问题 81
5.4.2 条件 DualGAN 82
5.4.3 讨论 84
5.5 具有多路径一致性的多域图像翻译 84
5.6 拓展 86
5.6.1 人脸相关任务 86
5.6.2 视觉语言任务 87
5.6.3 其他图像相关任务 88
……