视频处理加速及应用实践 基于英特尔GPU

本书面向的读者为视频行业的广大从业人员，不管是新进入这个行业的开发小白，还是众多战斗在第一线的销售、售前工程师以及现场工程师等，甚至是具有数十年工作经验的资深软硬件开发人员，都可以从本书获益。

本书聚焦于使用英特尔的GPU来进行视频加速处理的方案。首先介绍视频处理的理论基础，然后介绍英特尔的GPU处理器架构，接着介绍英特尔推荐的视频处理开发套件Media SDK的环境搭建、框架和功能支持，以及开源框架的环境如何在英特尔的平台上搭建等。接下来是实战的部分，首先介绍视频处理中的两个技术难点——内容管理和码率控制，接下来是编程实战，并针对开发者反馈较多的情况，介绍性能评测和性能优化的部分以及视频会议中视频处理的应用。

序
前言
第1章视频处理之理论基础1
1.1人眼视觉系统概述1
1.2RGB和YUV色彩空间模型3
1.2.1RGB色彩空间模型5
1.2.2YUV色彩空间模型5
1.2.3YUV色彩模型与RGB色彩模型的转换6
1.3数字图像概述7
1.3.1数字化过程——采样7
1.3.2帧和场8
1.3.3视频图像属性9
1.4传统视频压缩技术理论和算法概述10
1.4.1信息论概述11
1.4.2视频数据的冗余特性14
1.4.3变换技术15
1.4.4量化技术18
1.4.5预测技术20
1.4.6Z字形扫描22
1.4.7熵编码23
1.4.8可分层编码23
1.4.9多视点视频编码25
1.5常见视频图像处理算法27
1.5.1去隔行扫描27
1.5.2帧率转换28
1.5.3电视电影刷新率转换28
1.5.4缩放29
1.6视频行业主要标准30
1.6.1电视制式31
1.6.2视频图像标准32
1.6.3视频编解码行业标准33
1.7视频图像质量评价36
1.7.1主观质量评价37
1.7.2客观质量评价37
1.8本章小结39
第2章英特尔GPU概述41
2.1英特尔GPU处理器架构概述42
2.2视频引擎46
2.3英特尔GPU路线图和命名49
2.4本章小结52
第3章MediaSDK总览53
3.1处理对象54
3.2功能模块55
3.3API设计56
3.4软件架构57
3.4.1会话57
3.4.2分配器59
3.4.3数据缓存61
3.4.4异步流水线62
3.5例程和教程概述64
3.5.1基本开发流程64
3.5.2解码过程65
3.5.3编码过程66
3.5.4转码过程67
3.5.5视频图像处理68
3.5.6例程的使用70
3.6新一代开发套件OneVPL71
3.7本章小结75
第4章MediaSDK环境搭建77
4.1Linux环境搭建77
4.1.1选择内核版本77
4.1.2选择MediaSDK版本78
4.1.3安装依赖库和例程79
4.1.4通过vainfo验证安装结果80
4.2Windows环境搭建85
4.2.1开发环境部署85
4.2.2例程编译过程87
4.2.3基于GitHub的例程编译过程92
4.2.4查看当前平台的视频处理能力92
4.2.5自带Tracer工具92
4.3本章小结94
第5章Linux视频加速软件框架95
5.1直接渲染管理器97
5.1.1内存管理98
5.1.2命令提交107
5.1.3模式设置115
5.1.4权限管理116
5.2libdrm117
5.3VA-API117
5.3.1核心概念119
5.3.2编程流程124
5.3.3示例程序125
5.3.4调试129
5.4GmmLib132
5.5本章小结133
第6章开源框架的使用和环境搭建134
6.1FFmpeg134
6.1.1Linux编译指南136
6.1.2Windows编译指南138
6.2GStreamer141
6.2.1基于GStreamer官网的编译指南141
6.2.2通过IntelOpenVINO安装GStreamer143
6.2.3GStreamer与AI的协同工作146
6.3OpenCV151
6.3.1Linux编译指南152
6.3.2Windows编译指南154
6.4本章小结158
第7章高并发视频分析业务评估工具159
7.1综述159
7.2Linux环境搭建160
7.2.1安装依赖软件包160
7.2.2升级Linux内核161
7.2.3安装集成显卡固件162
7.2.4安装OpenVINO162
7.2.5安装OpenCL驱动163
7.2.6准备测试的视频165
7.2.7运行SVET程序165
7.2.8SVET参考程序参数配置167
7.3Windows环境搭建168
7.3.1安装依赖软件包168
7.3.2编译SVET参考程序和依赖库170
7.3.3下载推理所需模型和测试视频175
7.3.4运行多路视频推理176
7.4核心视频业务179
7.4.1NVR业务180
7.4.2AI视频分析业务181
7.4.3MCU转码拼接业务185
7.5本章小结187
第8章编解码实现188
8.1低功耗快速编码188
8.2低延迟编解码192
8.3码率控制194
8.3.1恒定量化系数算法195
8.3.2恒定码率算法和可变码率算法196
8.3.3前向预测算法199
8.3.4智能恒定质量算法201
8.3.5质量可定义的可变码率算法202
8.4动态码率控制202
8.5准确控制每一帧图像编码的量化系数203
8.6多个IDR帧视频流的解码过程205
8.7强制生成关键帧206
8.8参考帧的动态选择206
8.9参考帧添加重复信息207
8.10长期参考帧208
8.11可分层视频编码例程实现209
8.12本章小结211
第9章拼接显示实现212
……