视觉人体动作识别技术

一本从单人动作和群组动作两个层面研究人体动作识别技术的图书

人体动作识别是计算机视觉以及相关领域的重要研究内容，旨在识别出具有高层语义的人体动作。客观环境的复杂性以及运动的多样性使基于视觉的人体姿态估计和动作识别极具挑战性，因此研究人体动作识别方法具有十分重要的理论意义和应用价值。
本书在总结分析人体动作识别研究现状的基础上，从单人动作和群组动作两个层面研究人体动作识别技术，即人体2D姿态估计、人体3D姿态估计、单人动作识别，以及群体动作识别。
本书结构合理，内容全面，既有严格的理论基础，又有实际的应用。
本书既可以作为机器学习和计算机视觉领域研究人员的技术用书，也可作为高等院校相关专业师生的教学用书。

李侃，教授，博士生导师，副所长。国家重点研发计划评审专家、国家863项目评审专家，北京市自然科学基金/重点基金评审专家、博士点基金/博士后基金评审专家，国际期刊NLPR主编，以及其它期刊的编委。在澳大利亚、加拿大、中国香港等国家、地区任职或学术研究。目前主要从事机器学习、模式识别及大数据分析方面的研究。主持了国家重点研发专项课题、国家973课题、863重大和和国家自然科学基金等多项重量和部级项目，获得了多项国防科技进步奖和校科技成果一等奖等科研奖励。在TKDE等国内外期刊、IJCAI、ACM MM等学术会议上发表SCI/EI检索论文近百篇，发明专利20余项。出版了教育部和北京市精品教材、获得了全国高校人工智能与大数据教学创新奖、T-more优秀教师奖、迪文优秀教师奖、教学成果奖一等奖等教学奖励。

第1章 绪论 001
1.1 研究目的和意义 001
1.2 国内外研究现状 005
1.2.1 人体姿态估计 005
1.2.2 基于视频的人体动作识别 011
1.2.3 基于骨架序列的人体动作识别 014
1.2.4 基于互动关系的视觉人体动作识别 015
1.2.5 视频群体动作识别 027
1.3 研究内容 032
1.4 本书结构安排 034
第2章 基于时序一致性探索的人体2D姿态估计 036
2.1 引言 036
2.2 相关工作 038
2.2.1 基于深度学习的视频人体2D姿态估计 038
2.2.2 卷积长短时记忆网络和可变形卷积 038
2.3 问题定义 039
2.4 图像人体2D姿态估计网络 040
2.5 视频时序一致性探索 041
2.5.1 变形操作 042
2.5.2 聚合操作 043
2.5.3 双向时序一致性探索 043
2.5.4 多尺度时序一致性探索 044
2.6 视频人体2D姿态估计网络 044
2.7 实验结果 046
2.7.1 实验设置 046
2.7.2 性能比较 048
2.7.3 模型控制变量分析与实验结果 051
2.8 本章小结 055
第3章 多视角几何驱动的自监督人体3D姿态估计 057
3.1 引言 057
3.2 相关工作 059
3.2.1 基于深度学习的单目人体3D姿态估计 060
3.2.2 弱/自监督单目人体3D姿态估计 060
3.3 自监督人体3D姿态估计方法 061
3.3.1 双分支自监督训练网络结构 061
3.3.2 损失函数 062
3.3.3 训练 064
3.4 实验结果 065
3.4.1 实验设置 065
3.4.2 模型控制变量分析与实验结果 066
3.4.3 性能比较 070
3.5 本章小结 071
第4章 基于人体形状与相机视角一致分解的人体3D姿态估计 072
4.1 引言 072
4.2 相关工作 074
4.2.1 基于字典学习的单目人体3D姿态估计方法 074
4.2.2 运动恢复非刚体结构 075
4.3 问题定义 075
4.4 一致分解网络 076
4.5 层次化字典学习 077
4.6 模型训练 079
4.7 实验结果 079
4.7.1 实验设置 079
4.7.2 模型控制变量分析与实验结果 080
4.7.3 性能比较 083
4.8 本章小结 084
第5章 基于多时空特征的人体动作识别 086
5.1 引言 086
5.2 相关工作 088
5.2.1 基于表观的时空表示学习 088
5.2.2 基于骨架序列的时空表示学习 089
5.3 多时空特征人体动作识别方法概述 089
5.4 多层级表观特征聚合 090
5.4.1 局部演化描述符提取 090
5.4.2 局部演化描述符编码 092
5.4.3 深度监督的多层级特征聚合 092
5.5 时空图卷积网络 093
5.5.1 时空图卷积 094
5.5.2 网络细节 095
5.6 实验结果 096
5.6.1 实验设置 096
5.6.2 模型控制变量分析与实验结果 097
5.6.3 性能比较 099
5.7 本章小结 100
第6章 基于扁平式互动关系分析的多人动作识别 101
6.1 引言 101
6.2 相关工作 109
6.3 特征表征 111
6.3.1 肢体角度描述符特征 113
6.3.2 空间布局特征 114
6.3.3 基于融合受限玻尔兹曼机的特征融合 116
6.4 线索互动关系模型 126
6.5 扁平式动作识别方法 127
6.6 局部线索与局部识别 129
6.7 基于目标子空间度量的动作相关性分析 130
6.8 全局线索整合与动作识别 131
6.8.1 全局-局部线索整合算法 131
6.8.2 改进全局-局部线索整合算法 132
6.9 实验结果与分析 136
6.9.1 数据集及实验设置 136
6.9.2 算法结果与分析 138
6.9.3 与现有方法的对比 146
6.10 本章小结 149
第7章 基于层级式互动关系分析的群组动作识别 150
7.1 引言 150
7.2 相关工作 152
7.3 混合群组动作模型 154


7.4 混合群组动作模型的概率分布 157

……