面向共融机器人的自然交互 多模态交互信息的情感分析

l 深度探讨了融合多模态机器学习的人机交互多模态情感分析方法。 l 深度探讨了实现鲁棒性的多模态情感分析方法与实现策略。 l 系统论述了深度人工智能时代共融机器人自然交互的基础理论与实现方法。

共融机器人是能够与作业环境、人和其他机器人自然交互、自主适应复杂动态环境并协同作业的机器人。“敏锐体贴型”的自然交互是共融服务机器人的研究热点问题之一。当前迫切需要共融机器人具备多模态交互信息的情感分析能力。本书针对多模态机器学习方法的情感分析领域，从多模态交互信息特征的学习表示出发，系统介绍了自然交互中的特征学习表示、特征融合和情感分类的方法，并进一步探讨了如何实现鲁棒的多模态情感分析法。 本书是共融机器人自然交互领域国内第一本系统介绍多模态交互信息情感分析的专业书籍，可为读者掌握共融机器人研究领域人机情感分析的关键技术和基础知识，为追踪该领域的发展前沿提供重要的学习和研究参考。

第一篇概述
第1章多模态情感分析概述3
1.1多模态情感分析相关研究概述3
1.2模态缺失相关研究概述6
1.3本章小结7
第2章多模态机器学习概述8
2.1多模态表示学习概述8
2.1.1联合型表示学习9
2.1.2协同型表示学习9
2.2多模态表示融合概述10
2.2.1前期融合10
2.2.2中期融合10
2.2.3后期融合11
2.2.4末期融合11
2.3本章小结11
第3章多任务学习机制概述13
3.1在计算机视觉中的多任务架构13
3.2在自然语言处理中的多任务架构14
3.3在多模态学习中的多任务架构16
3.4本章小结18
第二篇多模态情感分析数据集与预处理
第4章多模态情感分析数据集简介23
4.1CMU-MOSI24
4.2CMU-MOSEI24
4.3IEMOCAP24
4.4MELD25
4.5本章小结25
第5章多模态多标签情感分析数据集构建26
5.1概述26
5.2多模态多标签的中文情感分析数据集制作26
5.2.1数据收集和标注26
5.2.2统计和分析28
5.3本章小结29
第6章基于主动学习的多模态情感分析数据的自动标定30
6.1相关工作30
6.1.1数据标注30
6.1.2主动学习31
6.2研究方法35
6.2.1整体结构介绍36
6.2.2MMAL模块介绍38
6.2.3半监督学习模块40
6.3实验设置40
6.3.1实验参数和评价标准40
6.3.2基线模型选择41
6.4结果分析42
6.4.1主动学习方法效果分析42
6.4.2半监督主动学习方法效果分析44
6.4.3消融实验46
6.5本章小结47
第三篇单模态信息的情感分析
第7章基于文本的情感分析51
7.1基于情感词典的情感分析方法52
7.2基于深度学习的情感分析方法53
7.2.1单一神经网络的情感分析53
7.2.2混合神经网络的情感分析53
7.2.3引入注意力机制的情感分析54
7.2.4使用预训练模型的情感分析54
7.3本章小结55
第8章基于语音信息的情感分析56
8.1基于Constant-Q色谱图的音频情感分类56
8.1.1Constant-Q色谱图抽取58
8.1.2CRLA模型59
8.1.3特征抽取网络59
8.1.4上下文表征学习59
8.1.5实验与分析60
8.2基于异构特征融合的音频情感分类63
8.2.1频谱特征抽取64
8.2.2统计特征抽取66
8.2.3CHFFM66
8.2.4CSFM67
8.2.5实验与分析68
8.3本章小结71
第9章基于人脸关键点的图片情感分析72
9.1CMCNN73
9.1.1设计思想73
9.1.2模型整体框图74
9.1.3CCAM75
9.1.4SCAM76
……