HEVC视频编码优化与实现

本书在介绍新一代视频编码标准HEVC基本原理的基础上，重点介绍作者科研团队在低复杂度视频编码、感知视频编码、基于深度学习的视频编码，以及视频编码超大规模集成电路架构设计等方面的最新研究成果。全书分为9章。第1章概述了视频编码国际标准和HEVC的发展历程，介绍了HEVC的特色技术、感知视频编码技术和视频编码芯片实现。第2~8章介绍了HEVC视频编码关键模块包括：帧间预测、帧内预测、变换与量化、熵编码、环路滤波、率失真优化与码率控制、参考帧存储压缩等编码模块的低复杂度优化方法、基于视觉感知的视频编码方法、基于深度学习的视频编码方法，以及高效的超大规模集成电路架构的设计与实现。第9章总结，介绍了主要结论和研究展望。

（1）西北工业大学电子信息学院，2004-至今，任助教、讲师、副教授、教授 （2）美国加州大学圣地亚哥分校，2017年，访问学者 （3）加拿大卡尔加里大学， 2012年，访问学者 （4）美国加州大学圣地亚哥分校，2008年，访问学者

目 录 第1章 绪论 1 1.1 引言 1 1.2 视频编码 2 1.2.1 视频表达 2 1.2.2 视频中的冗余 5 1.2.3 视频编码过程 6 1.3 视频编码标准 7 1.3.1 视频编码标准的发展 7 1.3.2 MPEG系列标准 8 1.3.3 H.26X系列标准 9 1.3.4 HEVC的标准化 9 1.4 新一代视频编码标准HEVC 10 1.4.1 HEVC中的基本概念 10 1.4.2 HEVC框架 12 1.4.3 HEVC关键技术 13 1.5 感知视频编码 15 1.6 视频编码器芯片设计 17 参考文献 18 第2章 帧间预测 21 2.1 HEVC中的帧间预测方法 21 2.1.1 SKIP/merge模式 21 2.1.2 AMVP模式 23 2.1.3 运动估计 24 2.1.4 四叉树划分 28 2.1.5 帧间预测单元划分流程 30 2.2 低复杂度HEVC帧间预测算法优化 31 2.2.1 算法的思想 32 2.2.2 模型的建立 32 2.2.3 单元划分算法的流程 35 2.2.4 实验结果与分析 36 2.3 基于深度学习的HEVC内插值滤波算法优化 45 2.3.1 HEVC中的分数像素插值滤波算法 45 2.3.2 基于卷积神经网络的分数像素插值滤波算法 48 2.3.3 实验结果与分析 55 2.4 HEVC内插值滤波器的高效VLSI架构设计与实现 58 2.4.1 快速内插值滤波算法 58 2.4.2 高效插值滤波器VLSI架构 60 2.4.3 实验结果与分析 65 参考文献 66 第3章 帧内预测 69 3.1 HEVC中的帧内预测方法 69 3.1.1 帧内预测 69 3.1.2 HEVC帧内预测模式的决策过程 73 3.1.3 帧内预测CU的划分和选取 75 3.2 低复杂度HEVC帧内预测算法优化 76 3.3 基于视觉感知的HEVC帧内预测算法优化 82 3.3.1 视觉显著性模型的实现 83 3.3.2 基于图像显著性的深度标记 85 3.3.3 算法流程及算法分析 88 3.3.4 实验结果与分析 89 3.4 基于深度学习的HEVC帧内预测角度预测模式选择算法优化 92 3.4.1 基于深度学习的HEVC帧内预测角度预测模式选择算法研究 92 3.4.2 基于深度学习的HEVC帧内预测编码单元划分算法研究 103 3.4.3 两种改进算法相结合的编码性能分析 118 3.5 HEVC帧内预测的高效VLSI架构设计与实现 120 3.5.1 整体架构设计 120 3.5.2 自适应参考像素平滑滤波器的架构设计 122 3.5.3 可重构的角度预测模块的架构设计 124 3.5.4 累加架构的Planar预测模块架构设计 127 3.5.5 复用结构的DC预测模块架构设计 128 3.5.6 实验结果与分析 129 参考文献 133 第4章 变换与量化 135 4.1 HEVC中的变换与量化方法 135 4.1.1 DCT与视频编码 135 4.1.2 整数DCT算法的研究 140 4.1.3 整数DCT算法的优化 145 4.1.4 HEVC中的其他残差处理方法 147 4.1.5 HEVC中的量化 149 4.2 低复杂度HEVC变换与量化算法优化 154 4.2.1 全零块检测基本原理 154 4.2.2 全零块检测算法 158 4.2.3 实验结果与分析 166 4.2.4 量化与系数编码 168 4.3 快速TU划分算法研究 172 4.3.1 HM中的TU划分方法 172 4.3.2 快速TU划分算法 174 4.3.3 实验结果与分析 181 4.4 HEVC变换与量化的高效VLSI架构设计与实现 182 4.4.1 整数DCT的VLSI实现 182 4.4.2 实验结果与分析 192 4.4.3 整数DST的VLSI实现 195 4.4.4 实验结果与分析 197 4.4.5 量化算法的VLSI实现 198 4.4.6 实验结果与分析 200 参考文献 200 第5章 熵编码 203 5.1 HEVC中的熵编码方法 203 5.1.1 二进制化 203 5.1.2 上下文建模 203 5.1.3 二进制算术编码 204 5.2 低复杂度HEVC熵编码算法优化 204 5.2.1 变换系数熵编码优化算法的思想 204 5.2.2 变换系数熵编码优化算法的流程 207 5.2.3 实验结果与分析 208 5.3 哥伦布及等概率编码优化 210 5.3.1 哥伦布-莱斯码 210 5.3.2 哥伦布编码估计 212 5.3.3 等概率编码过程的简化 213 5.3.4 实验结果与分析 214 参考文献 215 第6章 环路滤波 217 6.1 HEVC中的环路滤波方法 217 6.1.1 去块效应滤波 217 6.1.2 样点自适应补偿 218 6.1.3 去块效应滤波的标准算法 218 6.1.4 样点自适应补偿的标准算法 222 6.2 基于视觉感知的HEVC环路滤波算法优化 226 6.2.1 算法的思想 226 6.2.2 算法的流程 227 6.2.3 实验结果与分析 228 6.3 基于深度学习的HEVC环路滤波算法优化 230 6.3.1 基于卷积神经网络的样点自适应补偿算法 230 6.3.2 实验结果与分析 237 6.4 HEVC环路滤波的高效VLSI架构设计与实现 239 6.4.1 易于硬件实现的快速边界判定算法 239 6.4.2 样点自适应补偿中的快速编码比特数预测算法 244 6.4.3 实验结果与分析 250 6.4.4 HEVC中环路滤波整体架构设计 252 6.4.5 环路滤波架构的并行设计 253 6.4.6 去块效应滤波的VLSI架构设计 257 6.4.7 样点自适应补偿的VLSI架构设计 261 6.4.8 环路滤波器的流水线设计 267 6.4.9 存储器设计 269 6.4.10 实验结果与分析 270 参考文献 272 第7章 率失真优化与码率控制 274 7.1 HEVC中的率失真优化与码率控制方法 274 7.1.1 率失真优化 274 7.1.2 码率控制 274 7.2 基于视觉感知的HEVC率失真优化与码率控制算法优化 277 7.2.1 算法框架 277 7.2.2 视觉显著性模型 278 7.2.3 失真模型 280 7.2.4 基于视觉显著性的加权失真 282 7.2.5 感知码率控制算法 283 7.2.6 实验结果与分析 286 7.3 快速码率估计算法 291 7.3.1 语法元素编码结构 291 7.3.2 码率计算的标准过程 292 7.3.3 码率计算过程的简化 294 7.3.4 实验结果与分析 301 参考文献 303 第8章 参考帧存储压缩 305 8.1 参考帧存储压缩基本概念 305 8.1.1 简述 305 8.1.2 常见的参考帧压缩方法 305 8.2 无损参考帧存储压缩系统 309 8.2.1 基于像素纹理的无损参考帧压缩算法研究 309 8.2.2 DRAM存储系统的研究 318 8.2.3 并行流水无损参考帧压缩架构 320 8.2.4 实验结果与分析 325 8.3 有损参考帧存储压缩系统 329 8.3.1 人类视觉系统 329 8.3.2 率失真理论 330 8.3.3 有损参考帧压缩算法 333 8.3.4 并行流水有损参考帧压缩VLSI架构 344 8.3.5 实验结果与分析 349 参考文献 357