基于深度学习的装配监测

本书以深度学习技术在机械产品装配过程监测中的应用为主线，分别从装配动作识别、机械装配体多视角变化检测与位姿估计、RV减速器装配监测与深度学习网络模型部署等方面开展研究，建立了数据集，改进或提出了深度学习模型，对深度学习模型进行了训练，并与已有的方法进行了对比。全书共7章，主要内容包括人工智能技术基础，基于深度学习的装配动作识别，基于深度学习的机械装配体多视角变化检测与位姿估计，基于Transformer的机械装配体多视角变化检测和装配顺序监测，以及基于深度学习的RV减速器装配监测与部署，最后总结本书内容并进行展望。本书可作为机械工程、计算机科学与技术等专业硕士生和高年级本科生的教材，也可供从事视觉监测研究和应用的人员参考。

前言
第1章绪论1
1.1装配监测的意义1
1.2装配监测的研究现状2
1.2.1装配监测2
1.2.2动作识别3
1.2.3图像变化检测7
1.2.4位姿估计9
1.2.5深度学习网络模型部署11
1.3本书主要内容12
第2章卷积神经网络与Transformer模型理论基础14
2.1卷积神经网络14
2.1.1卷积神经网络基本结构14
2.1.2卷积神经网络主要模块16
2.1.3卷积神经网络训练过程18
2.2Transformer模型19
2.3深度学习网络框架及部署工具20
2.3.1深度学习网络框架20
2.3.2部署工具20
2.4本章小结21
第3章基于深度学习的装配动作识别22
3.1基于表面肌电信号和惯性信号的装配动作识别方法22
3.1.1装配动作识别流程22
3.1.2信号采集23
3.1.3信号预处理24
3.1.4基于通道注意力时空特征的卷积神经网络26
3.1.5实验环境参数设置及评价指标28
3.1.6模型实验验证29
3.2基于注意力机制和多尺度特征融合动态图卷积网络的装配动作识别方法32
3.2.1基于注意力机制和多尺度特征融合的动态图卷积网络33
3.2.2数据集的制作37
3.2.3实验结果与分析39
3.3基于视频帧运动激励聚合和时序差分网络的装配动作识别方法45
3.3.1运动激励聚合和时序差分网络45
3.3.2数据集的制作50
3.3.3实验结果与分析50
3.4本章小结56
第4章基于深度学习的机械装配体多视角变化检测与位姿估计57
4.1基于深度图像注意力机制特征提取的机械装配体多视角变化检测方法57
4.1.1基于深度图像注意力机制特征提取的多视角变化检测网络57
4.1.2数据集的制作62
4.1.3实验环境与指标选取64
4.1.4实验结果与分析65
4.2基于三维注意力和双边滤波的机械装配体多视角变化检测方法70
4.2.1基于三维注意力和双边滤波的变化检测网络70
4.2.2数据集的制作74
4.2.3实验环境和指标选取75
4.2.4实验结果与分析76
4.3基于深度学习的机械装配体零件多视角位姿估计方法79
4.3.1机械装配体零件多视角位姿估计网络79
4.3.2DenseFusion位姿估计网络79
4.3.3数据集的制作82
4.3.4实验环境与指标选取84
4.3.5实验结果与分析84
4.4本章小结86
第5章基于Transformer的机械装配体多视角变化检测与装配顺序监测87
5.1基于深度可分离卷积的特征融合和特征细化的机械装配体多视角变化检测方法87
5.1.1基于深度可分离卷积的特征融合和特征细化的多视角变化检测网络87
5.1.2数据集的制作90
5.1.3实验环境与指标选取91
5.1.4实验结果和分析92
5.2基于机械装配体图像多视角语义变化检测的装配顺序监测方法96
5.2.1装配顺序监测方法96
5.2.2数据集的制作102
5.2.3实验环境与指标选取104
5.2.4实验对比的其他变化检测网络105
5.2.5实验结果与分析108
5.3本章小结113
第6章基于深度学习的RV减速器装配监测与部署114
6.1RV减速器装配图像采集试验台及数据集制作114
6.1.1RV减速器装配图像采集试验台114
6.1.2RV减速器装配语义分割数据集118
6.1.3RV减速器螺钉目标检测数据集122
6.1.4RV减速器针齿目标检测数据集123
6.2基于深度学习的RV减速器装配监测方法124
6.2.1语义分割网络模型选择124
6.2.2语义分割网络模型训练128
6.2.3目标检测网络模型选择130
6.2.4目标检测网络模型训练132
6.3基于目标检测的针齿安装监测方法133
6.3.1改进RetinaNet目标检测网络模型133
6.3.2改进RetinaNet模型与YOLOv5s模型对比143
6.4RV减速器装配监测软件设计145
6.4.1图像采集模块145
6.4.2图像预测模块147
6.4.3零件监测模块149
6.4.4界面操作模块152
6.4.5RV减速器零件漏装监测实验155
6.4.6RV减速器针齿安装监测实验158
6.5本章小结160
第7章总结与展望161
7.1本书总结161
7.2研究展望162
参考文献164