多源图像融合与应用

方发明，博士，华东师范大学计算机科学与技术学院视觉与机器智能研究所副所长、教授、博士生导师，上海市"启明星计划”获得者，"晨光学者”。2013年6月于华东师范大学计算机系获工学博士学位。主要研究方向为机器学习、图像处理。围绕遥感/医学图像恢复、增强、识别、以及三维重建等展开理论和应用研究。工作受到国家自然科学基金重点、面上、NSFC-RGC、上海市"启明星计划”、"晨光计划”、上海市自然科学基金等8项纵向基金支持；并主持多项企事业单位联合项目。相关成果发表在国际很好杂志/会议上(共四十余篇，中科院1区/CCFA 20余篇，发表期刊会议主要包括：IEEE TC、TIP、TNNLS、TMM、TGRS、TVCG、TCSVT、NeurIPS、CVPR、ICCV、ECCV等）。任IEEE TIP、TGRS、TMM、TVCG、CVPR、ICCV、AAAI等多个期刊与会议的审稿人和程序委员。

第1章 走进图像融合 1
1.1 什么是图像融合 1
1.2 图像融合的发展历史与研究现状 2
1.3 图像融合分类 4
1.3.1 按融合层次分类 4
1.3.2 按融合图像源分类 7
第2章 遥感图像融合基础知识 10
2.1 遥感图像融合的研究背景与意义 10
2.1.1 高分辨率遥感技术的发展 10
2.1.2 遥感卫星图像的特点 17
2.1.3 遥感图像融合的研究意义 18
2.2 全色锐化的主流方法及研究现状 19
2.2.1 分量替换（CS） 19
2.2.2 多分辨率分析（MRA） 23
2.2.3 模型求解 24
2.2.4 深度学习 28
2.3 全色锐化评价体系 31
2.3.1 降分辨率评估 31
2.3.2 原分辨率评估 33
第3章 基于金字塔变换的图像融合 37
3.1 引言 37
3.2 常见图像金字塔变换 38
3.2.1 高斯金字塔变换 38
3.2.2 拉普拉斯金字塔变换 39
3.2.3 比率低通金字塔变换 41
3.2.4 对比度金字塔变换 41
3.2.5 梯度金字塔变换 42
3.3 基于金字塔变换的图像融合方法 42
3.3.1 基于拉普拉斯金字塔变换的图像融合 43
3.3.2 基于比率低通金字塔变换的图像融合 44
3.3.3 基于对比度金字塔变换的图像融合 45
3.3.4 基于梯度金字塔变换的图像融合 45
3.4 实验结果与分析 45
3.4.1 降分辨率分析 46
3.4.2 原分辨率分析 47
3.5 本章小结 48
第4章 基于小波族的图像融合 49
4.1 引言 49
4.2 小波变换的基本理论 49
4.2.1 小波族 49
4.2.2 小波函数与子函数 50
4.2.3 尺度函数与子函数 51
4.2.4 多分辨率分析 52
4.2.5 信号分解与重构 53
4.3 基于小波变换的图像融合 55
4.3.1 图像的二维离散小波变换 55
4.3.2 图像融合过程 57
4.4 小波选择 57
4.4.1 多小波 57
4.4.2 轮廓波 59
4.4.3 剪切波 61
4.5 实验结果与分析 63
4.5.1 降分辨率分析 64
4.5.2 原分辨率评估分析 65
4.6 本章小结 66
第5章 基于智能优化算法的图像融合 67
5.1 引言 67
5.2 智能优化算法简介 67
5.2.1 智能优化算法分类 68
5.2.2 进化算法概述 70
5.3 基于贝叶斯网络及进化算法的全色锐化融合模型 77
5.3.1 模型构建 78
5.3.2 参数优化 80
5.3.3 实验对比与分析 83
5.4 基于进化算法的IHS 全色锐化融合模型 86
5.4.1 IHS 融合模型 87
5.4.2 EA-IHS 融合模型 90
5.4.3 组合差分进化优化 92
5.4.4 实验对比与分析 93
5.5 基于多目标优化的IHS 全色锐化融合模型 97
5.5.1 目标函数 97
5.5.2 NSGA-II 优化 98
5.5.3 MO-IHS 基本流程 99
5.5.4 实验对比与分析 100
5.6 本章小结 106
第6章 基于能量模型的图像融合 108
6.1 引言 108
6.2 变分法预备知识 109
6.2.1 泛函定义及性质 109
6.2.2 BV 空间定义及性质 110
6.2.3 Bregman 迭代和分裂Bregman 迭代 111
6.3 变分全色锐化融合模型 115
6.3.1 VP 模型构建 115
6.3.2 能量极小值存在性分析 120
6.3.3 数值算法 126
6.3.4 实验结果与分析 130
6.4 基于Framelet 的全色锐化融合模型 137
6.4.1 Framelet 及其图像表示 137
6.4.2 基于Framelet 的全色锐化融合模型 142
6.4.3 基于变分法和Framelet 的全色锐化融合模型 144
6.4.4 实验结果及分析 152
6.4.5 VFP 模型与VP 模型的比较 157
6.5 基于贝叶斯后验概率估计的全色锐化融合模型 159
6.5.1 模型构建 159
6.5.2 模型求解 164
6.5.3 实验对比与分析 169
6.6 本章小结 177
第7章 基于深度学习的图像融合 179
7.1 引言 179
7.2 深度学习基础理论 180
7.2.1 数据输入层 180
7.2.2 卷积计算层 180
7.2.3 激励层 183
7.2.4 池化层 184
7.2.5 全连接层 185
7.2.6 经典架构 185
7.3 小波系数指导的全色锐化融合网络 187
7.3.1 网络构建 187
7.3.2 实验对比与分析 192
7.3.3 消融实验 196
7.4 基于Framelet 的全色锐化融合网络 197
7.4.1 模型构建 197
7.4.2 实验对比与分析 201
7.4.3 消融分析 207
7.5 基于深度展开网络的全色锐化融合网络 211
7.5.1 网络构建 212
7.5.2 实验对比与分析 217
7.5.3 消融分析 224
7.6 本章小结 224
第8章 基于颜色迁移的图像融合 226
8.1 引言 226
8.2 研究背景与研究现状 227
8.2.1 基于涂鸦点的着色 227
8.2.2 基于参考图像的着色 228
8.2.3 基于深度学习的着色 229
8.3 基于超像素的图像融合 231
8.3.1 模型构建 231
8.3.2 模型求解 238
8.3.3 模型分析 242
8.3.4 实验对比与分析 246
8.4 基于风格迁移的图像融合 252
8.4.1 网络构建 252
8.4.2 消融实验 264
8.4.3 实验对比与分析 270
8.5 基于生成对抗网络的图像融合 274
8.5.1 网络构建 274
8.5.2 实验对比与分析 279
8.6 本章小结 280
第9章 图像融合的应用与发展趋势 281
9.1 引言 281
9.2 图像融合的落地应用 281
9.2.1 遥感图像融合应用 281
9.2.2 图像融合的其他应用 284
9.3 图像融合的未来发展展望 286
参考文献 288
缩略词表 299