视频编码与传输新技术

在简单介绍视频编码与传输的基本理论和技术的基础上，分9个专题的对该领域新理论、新技术、新成果进行介绍、分析、比较和总结。主要包括：率失真优化和码率控制、分布式视频编码、可分级与多描述视频编码、多视点视频编码、视频信号的压缩感知、解码视频的差错掩盖、无线视频传输的质量保证、监控视频的智能分析和超分辨率图像重建等内容。

朱秀昌，1982年至今，在南京邮电大学从事科研与教学工作。“中国通信学会”高级会员；“中国通信学会IP应用与增值电信技术委员会”委员；“中国电子学会”高级会员；“中国电子学会广播电视技术分会”理事；中国图象图形学会高级会员。《中国多媒体通信》杂志编委；电子工业出版社：“21世纪高等学校通信类规划教材”编审委员会委员。

第1章 视频编码与传输基础 1
1.1 概述 1
1.1.1 视频的数字化 1
1.1.2 数字视频的压缩编码 5
1.1.3 压缩视频的传输 6
1.2 视频编码的基本方法 7
1.2.1 预测编码方法 7
1.2.2 变换编码方法 7
1.2.3 运动估计和运动补偿 9
1.2.4 量化和熵编码 13
1.2.5 H.261混合编码模式 15
1.3 数字视频压缩标准 16
1.3.1 H.26x标准 16
1.3.2 MPEG-x标准 18
1.3.3 AVS标准 21
1.3.4 VC-1标准 22
1.3.5 HEVC标准 23
1.4 数字视频的网络传输 28
1.4.1 通信网络基础 28
1.4.2 主要传输网络 31
1.4.3 网络接入技术 32
1.4.4 无线IP网络的视频传输 35
参考文献 36
第2章 率失真优化和码率控制 38
2.1 概述 38
2.1.1 视频编码的三项指标 38
2.1.2 率失真优化 40
2.1.3 码率控制 41
2.2 率失真理论基础 42
2.2.1 图像的信源熵 42
2.2.2 率失真理论 43
2.2.3 主要率失真模型 49
2.3 率失真优化编码 51
2.3.1 率失真优化方法 51
2.3.2 率失真优化的量化器 52
2.3.3 率失真优化的模式判决 52
2.3.4 率失真优化的运动估计 53
2.4 视频编码的码率控制 54
2.4.1 码率控制基础 54
2.4.2 分层码率控制方法 57
2.4.3 H.264的码率控制 58
2.5 新近的码率控制 62
2.5.1 半模糊的码率控制器 62
2.5.2 基于HVS的码率控制 63
2.5.3 平滑视频质量的码率控制 63
2.5.4 基于SSIM的码率控制 64
2.6 编码复杂度 66
2.6.1 计算复杂度和视频质量 66
2.6.2 对可变复杂度算法的需求 67
2.6.3 可变复杂度算法 68
参考文献 69
第3章 分布式视频编码 72
3.1 概述 72
3.1.1 相关信源的编码 73
3.1.2 Slepian-Wolf无损编码 74
3.1.3 Wyner-Ziv有损编码 75
3.2 分布式视频编码的主要方法 76
3.2.1 空域Wyner-Ziv方法 76
3.2.2 频域Wyner-Ziv方法 78
3.2.3 DISCUS编码方法 80
3.3 Wyner-Ziv编码中的边信息估计 81
3.3.1 Wyner-Ziv解码框架 82
3.3.2 边信息的估计 83
3.3.3 加权运动估计的边信息预测 85
3.3.4 MAP运动估计的边信息预测 87
3.4 分布式视频编码的性能 89
3.5 几种特殊的分布式视频编码方法 90
3.5.1 H.264视频的分布式编码 90
3.5.2 可分级DVC 91
3.5.3 多视点DVC 92
参考文献 93
第4章 可分级与多描述视频编码 96
4.1 概述 96
4.2 可分级视频编码 97
4.2.1 空域可分级编码 98
4.2.2 质量可分级编码 100
4.2.3 时域可分级编码 100
4.2.4 细粒度可分级编码 101
4.2.5 频域可分级编码 103
4.3 多描述视频编码 104
4.3.1 多描述编码 104
4.3.2 多描述编码的理论基础 107
4.3.3 基于量化的多描述编码 109
4.3.4 基于变换的多描述编码 111
4.4 H.264可分级编码 113
4.4.1 空域SVC技术 114
4.4.2 时域SVC技术 115
4.4.3 信噪比SVC技术 116
4.4.4 混合SVC技术 119
参考文献 119
第5章 多视点视频编码 122
5.1 概述 122
5.1.1 立体视觉 122
5.1.2 多视点视频 123
5.1.3 多视点视频的压缩编码 125
5.2 立体视频的采集和显示 126
5.2.1 立体成像的几何模型 126
5.2.2 立体视频的采集 127
5.2.3 立体视频的显示 128
5.3 多视点视频编码技术 133
5.3.1 MVC的系统框架 133
5.3.2 MVC的预测结构 134
5.3.3 宏块级编码技术 138
5.4 虚拟视点合成技术 139
5.4.1 基于模型的绘制方法 140
5.4.2 基于图像的绘制方法 140
5.5 多视点视频编码标准 141
5.5.1 MVC的技术要求和应用 141
5.5.2 预测结构和码流结构 143
5.5.3 MVC的档次与级别 145
5.5.4 MVC的高层语法 145
5.6 二维视频转三维技术 146
5.6.1 深度图 146
5.6.2 深度图的获取 147
5.6.3 深度图的编码 150
参考文献 152
第6章 视频信号的压缩感知 155
6.1 概述 155
6.1.1 信号的稀疏表示 156
6.1.2 信号的随机测量 157
6.1.3 信号的优化重建 159
6.2 从测量值重建原信号 159
6.2.1 信号重建的基本概念 159
6.2.2 典型的重建算法 165
6.3 基于CS的视频编码 170
6.3.1 全感知和压缩感知 170
6.3.2 CS视频编码系统 171
6.3.3 分块CS视频编码 172
6.3.4 CS编码中的关键技术 173
6.4 基于CS的分布式视频编码 175
6.4.1 DCVS的基本原理和系统结构 175
6.4.2 DCVS的性能特点和关键技术 177
6.5 基于CS的多描述视频编码 179
6.5.1 分块压缩感知 180
6.5.2 BCS-MDC编码 180
6.5.3 测量值分组 181
6.5.4 BCS-MDC解码 181
参考文献 184
第7章 解码视频的差错掩盖 187
7.1 概述 187
7.1.1 视频通信中的差错控制 187
7.1.2 解码端的差错掩盖 190
7.2 自适应插值的帧内差错掩盖 193
7.2.1 插值算法的约束条件 193
7.2.2 基于边缘判决的多方向插值 194
7.2.3 基于块内容的自适应掩盖 198
7.3 采用模糊推理的帧间差错掩盖 200
7.3.1 掩盖块的匹配准则 200
7.3.2 使用模糊推理的掩盖算法 202
7.3.3 隶属度函数的自适应定义 206
7.4 基于运动信息的H.264帧间差错掩盖 208
7.4.1 H.264中的运动矢量恢复算法 208
7.4.2 基于均值漂移的运动矢量恢复 211
7.4.3 基于核回归的运动矢量恢复 214
参考文献 216
第8章 无线视频传输的质量保证 219
8.1 概述 219
8.1.1 面向网络的视频压缩 220
8.1.2 视频传输的QoS要求 220
8.1.3 图像质量评价 222
8.2 基本的QoS保证 225
8.2.1 以网络为主的QoS保证 226
8.2.2 以终端为主的QoS保证 229
8.3 采用跨层设计的QoS保证 231
8.3.1 跨层设计的必要性 231
8.3.2 WMN中跨层设计的要求 232
8.3.3 跨层设计方法及优化 234
8.4 无线Mesh网络简介 236
8.4.1 无线Mesh网络的类型 237
8.4.2 无线Mesh网络的特点 239
8.4.3 无线Mesh网络的标准 239
8.4.4 无线Mesh网络的QoS 240
8.5 WMN中的QoS模型 240
8.5.1 QoS保证的框架模型 240
8.5.2 WMN多跳链路的干扰模型 242
8.5.3 丢包模型 243
参考文献 244

第9章 监控视频的智能分析 247
9.1 概述 247
9.1.1 视频监控 247
9.1.2 智能视频分析 248
9.1.3 视频分析的关键技术 250
9.1.4 主要应用领域 252
9.2 运动目标检测技术 254
9.2.1 背景减除方法 254
9.2.2 帧间差方法 256
9.2.3 混合高斯模型（GMM）方法 257
9.2.4 光流场方法 258
9.3 运动目标跟踪技术 260
9.3.1 卡尔曼滤波方法 260
9.3.2 均值漂移方法 264
9.4 目标行为分析技术 271
9.4.1 行为特征的选择与表示 272
9.4.2 人体行为识别 273
9.4.3 人体行为描述 275
9.4.4 行为分析的应用 276
9.5 多摄像机协同技术 279
9.5.1 应用需求和技术难点 280
9.5.2 目标特征的提取 281
9.5.3 目标轨迹的提取和交接 283
参考文献 288
第10章 超分辨率图像重建 291
10.1 概述 291
10.1.1 图像的空间分辨率 291
10.1.2 超分辨率重建基础 292
10.1.3 图像的降质模型 293
10.1.4 超分辨率重建的应用 295
10.1.5 反问题的正则化求解 295
10.1.6 超分辨率重建的主要方法 297
10.2 基于插值的超分辨率方法 297
10.2.1 最近邻插值 298
10.2.2 双线性插值 298
10.2.3 双立方插值 299
10.2.4 核回归插值 300
10.3 基于重建的超分辨率方法 303
10.3.1 凸集投影（POCS）方法 303
10.3.2 最大后验概率（MAP）方法 305
10.3.3 迭代反向投影（IBP）方法 307
10.4 基于学习的超分辨率方法 308
10.4.1 邻域嵌入的方法 308
10.4.2 非局部滤波的方法 310
10.4.3 基于样例的方法 312
10.4.4 基于稀疏表示的方法 315
10.5 视频序列的超分辨率 318
10.5.1 视频图像的降质模型 318
10.5.2 视频序列的超分辨率重建 319
10.5.3 运动信息的获得 321
10.5.4 窄量化集约束的投影超分辨率重建 323
参考文献 326