视频行为分析与情感计算

视频行为分析与情感计算是视频内容分析领域的两个重要研究方向；其中，视频行为分析是为了理解视频中所发生的行为，视频情感计算以分析视频中蕴含的情感为研究目标，二者紧密关联。本书结合作者自身的相关研究工作，系统地介绍视频行为分析与情感计算的主要概念、基本原理、典型方法以及国际上有关研究的新成果和新动向。本书介绍的主要内容包括视频行为分析与情感计算的基本概念和发展概况、视频内容分析中常用的光流计算方法、视频行为识别方法、时域视频行为检测和时空域视频行为检测方法以及视频情感计算方法。 本书可作为高等院校计算机科学与技术、信息与通信工程、智能科学与技术、人工智能等学科有关研究的专题阅读材料或作为相关专业的研究生参考资料，也可供从事智能监控、视频推荐、情感预测等领域研究工作的科学工作者和工程技术人员参考。

第1章 绪论
1.1 引言
1.2 视频行为分析
1.3 视频情感计算
第2章 光流计算
2.1 概述
2.2 光流数据集
2.2.1 Yosemite数据集
2.2.2 Middlebury数据集
2.2.3 Sintel数据集
2.2.4 KITTI数据集
2.2.5 FlyingChairs数据集
2.2.6 FlyingThings3D数据集
2.2.7 Monkaa数据集
2.2.8 Driving数据集
2.3 光流计算性能指标
2.4 光流计算挑战
2.5 传统光流计算方法
2.5.1 基于梯度的光流计算方法
2.5.2 基于匹配的光流计算方法
2.6 基于深度学习的光流计算方法
2.6.1 编码器-译码器结构
2.6.2 基于有监督学习的光流计算方法
2.6.3 基于无监督学习的光流计算方法
2.7 光流计算方法性能对比分析
2.8 光流的应用
第3章 视频行为识别
3.1 概述
3.2 视频行为识别数据集
3.2.1 KTH数据集
3.2.2 Weizmann数据集
3.2.3 IXMAS数据集
3.2.4 UIUC数据集
3.2.5 Hollywood2数据集
3.2.6 YouTube数据集
3.2.7 OlympicSports数据集
3.2.8 TVHumanInteraction数据集
3.2.9 HMDB51数据集
3.2.10 UCF50数据集
3.2.11 UCF101数据集
3.2.12 Sports-1M数据集
3.2.13 THUMOS数据集
3.2.14 ActivityNet数据集
3.2.15 ACT数据集
3.2.16 Charades数据集
3.2.17 YouTube-8M数据集
3.2.18 20BN-something-something数据集
3.2.19 FCVID数据集
3.2.20 Kinetics数据集
3.3 视频行为识别性能指标
3.4 基于特征设计的行为识别方法
3.4.1 局部特征描述
3.4.2 特征向量编码
3.4.3 行为类别预测
3.5 基于深度学习的行为识别方法
3.5.1 有监督视频表示学习
3.5.2 无监督视频表示学习
3.6 视频行为识别方法性能对比分析
第4章 时域视频行为检测
4.1 概述
4.2 时域视频行为检测数据集
4.2.1 Coffee-and-Cigarettes数据集
4.2.2 DLSBP数据集
4.2.3 MSR-II数据集
4.2.4 GTEA数据集
4.2.5 KSCGR数据集
4.2.6 MPII-Cooking数据集
4.2.75 0Salads数据集
4.2.8 THUMOS数据集
4.2.9 ActivityNet数据集
4.2.10 MPII-Cooking2数据集
4.2.11 MultiTHUMOS数据集
4.2.12 MEXaction2数据集
4.2.13 Charades数据集
4.2.14 MERL Shopping数据集
4.2.15 TVSeries数据集
4.2.16 HACS数据集
4.3 时域视频行为检测性能指标
4.3.1 准确率
4.3.2 召回率
4.3.3 平均召回率
4.3.4 曲线下面积
4.3.5 平均准确率
4.3.6 终得分
4.4 时域视频行为检测方法
4.4.1 基于滑动窗口的方法
4.4.2 基于分段检测的方法
4.4.3 基于时域提案的方法
4.4.4 基于端对端的方法
4.5 时域视频行为检测方法性能对比分析
第5章 时空域视频行为检测
5.1 概述
5.2 时空域视频行为检测数据集
5.2.1 UCF-Sports数据集
5.2.2 MSR-II数据集
5.2.3 UCF101数据集
5.2.4 LIRIS-HARL数据集
5.2.5 J-HMDB数据集
5.2.6 Hollywood2Tubes数据集
5.2.7 DALY数据集
5.2.8 AVA数据集
5.3 时空域视频行为检测性能指标
5.3.1 准确率
5.3.2 接收者操作特性曲线
5.3.3 平均很好重叠度
5.4 传统时空域视频行为检测方法
5.4.1 基于判别单元的方法
5.4.2 基于密集轨迹的方法
5.4.3 基于可变部件的方法
5.4.4 基于层级分割的方法
5.4.5 基于超像素体的方法
5.5 基于深度学习的时空域视频行为检测方法
5.5.1 基于分段检测的方法
5.5.2 基于管提案的方法
5.6 时空域视频行为检测方法性能对比分析
第6章 视频情感计算
6.1 概述
6.2 心理学情感模型
6.3 视频情感计算数据集
6.3.1 DEAP数据集
6.3.2 VideoEmotion数据集
6.3.3 LIRIS-ACCEDE数据集
6.3.4 EEV数据集
6.4 视频情感计算性能指标
6.5 基于特征设计的视频情感计算方法
6.5.1 视觉特征提取
6.5.2 音频特征提取
6.5.3 情感模型学习
6.6 基于深度学习的视频情感计算方法
6.6.1 增强型多模深度玻尔兹曼机
6.6.2 多模深度回归贝叶斯网络
6.6.3 自适应融合循环网络
6.7 视频情感计算方法性能对比分析
结束语
参考文献
彩图