深度学习之多源数据融合的目标检测与跟踪

本书结合前沿研究成果和动态，引入新理论、新技术、新方法，理论体系完整、知识脉络清晰。

本书针对RGB图像面临光照变化、频繁遮挡、杂乱背景等干扰，以及深度图像缺乏场景色彩和语义信息的问题，研究通过RGB图像及深度图像等多源数据的融合，兼顾RGB和Depth特征的差异和共性进行多目标人员检测、人员跟踪方面的方法，提出了基 于非对称自适应特征融合的RGB-D人员检测算法、基于深度信息改进DeepSort多目标跟踪算法以及基于非对称孪生网络的多目标跟踪算法。 本书提出的算法能够提取有效且通用的RGB-D特征，并通过设计非对称结构的卷积神经网络，确保特征提取效率的同时，减轻卷积神经网络模型的计算复杂度。本书通过设计和实现准确高效、对多场景鲁棒的人流量统计系统、人员口罩佩戴情况识别系 统验证了提案的多目标人员检测及跟踪技术的有效性和实用性。 本书可作为信息技术相关专业本科生及研究生的专业教材，也可作为从事图像处理、计算机视觉以及深度学习领域研究的专业技术人员的参考书。

张文利 博士，北京工业大学信息学部教授。日本东京大学工学硕士和工学博士。曾任日本松下（Panasonic）公司东京研究所主任研究员。 研究方向：计算机视觉与模式识别；人工智能技术在农业作物表型组学、无人机巡检、智慧建筑以及仿生康复假肢等跨学科交叉领域的应用研究；TRIZ等创新方法在信息技术以及工业设计领域的应用研究；提出了基于多源数据融合的非对称卷积神经 网络模型、深度卷积神经网络的可视化剪裁方法、基于边缘设备的快速轻量化网络模型以及基于生成对抗网络的跨域别数据自动标注技术等多种新模型和新方法。 主持和主要参与教育部、科技部、北京市科委重点项目及北京自然科学基金等项目多项。近五年发表SCI/EI 检索以及中文核心期刊论文等近20篇，申报国际/国家发明专利、实用新型等近30项，其中发表Nature子刊学术论文1篇，SCI一区论文3篇， 发明专利授权8项，专利成果转化1项，实用新型授权5项，软件著作权3项以上。 中国图象图形学学会会员，教育部学位与研究生教育发展中心函评专家，国家科技专家库专家，多家SCI/EI期刊及中文核心期刊论文评审专家，唐山市政府特聘专家。

第 1 章绪论………………………………………………………………… 1 1.1 本书背景 …………………………………………………………………… 2 1.2 国内外研究现状 …………………………………………………………… 4 1.3 本书内容与主要贡献 ……………………………………………………… 17 1.4 本书的结构安排 …………………………………………………………… 19 第 2 章深度传感器与深度图像特性………………………………………21 2.1 引言 ………………………………………………………………………… 22 2.2 深度传感器介绍 …………………………………………………………… 22 2.3 深度图像特性 ……………………………………………………………… 26 2.4 本章小结 …………………………………………………………………… 27 第 3 章基于非对称自适应特征融合的 RGB-D 人员检测………………29 3.1 算法总体架构 ……………………………………………………………… 30 3.2 非对称RGB-D双流网络设计 ……………………………………………… 30 3.3 深度特征金字塔结构设计 ………………………………………………… 33 3.4 多模态自适应通道加权模块设计 ………………………………………… 34 3.5 多分支预测网络设计 ……………………………………………………… 36 3.6 实验结果分析 ……………………………………………………………… 38 3.7 本章小结 …………………………………………………………………… 45 第 4 章基于深度信息改进 DeepSort 多目标跟踪算法……………………47 4.1 基于预训练CNN模型提取人员外观特征 ………………………………… 49 4.2 基于卡尔曼滤波预测人员运动状态 ……………………………………… 49 4.3 基于深度变化率优化的目标匹配 ………………………………………… 51 4.4 基于轨迹上下文深度差优化的轨迹处理 ………………………………… 55 4.5 实验结果分析 ……………………………………………………………… 60 4.6 本章小结 …………………………………………………………………… 61 第 5 章基于非对称孪生网络的目标跟踪算法…………………………63 5.1 多人员跟踪算法总体框架 ………………………………………………… 64 5.2 基于非对称孪生网络的轨迹生成模块设计 ……………………………… 66 5.3 基于时序信息的轨迹优化模块设计 ……………………………………… 71 5.4 实验结果与分析 …………………………………………………………… 75 5.5 本章小结 …………………………………………………………………… 83 第 6 章应用系统案例………………………………………………………85 6.1 基于RGB-D的双向人流量统计系统 ……………………………………… 86 6.2 基于RGB-D的室内人员口罩佩戴情况识别系统 ……………………… 106 6.3 本章小结 ………………………………………………………………… 123 第 7 章总结与展望……………………………………………………… 125 7.1 总结 ……………………………………………………………………… 126 7.2 展望 ……………………………………………………………………… 127 参考文献……………………………………………………………………… 128