多模态数据驱动的人机交互情感测量与预测

人机交互情感测量与预 测旨在通过赋予机器（如计 算机、机器人等）识别、理 解和表达人的情感的能力， 使机器具有更高的智能。本 书深度融合神经人因学、情 感化设计以及人机交互等理 论和方法，介绍如何利用问 卷调查、眼动追踪、生理测 量、脑电测量、行为观察等 实验手段以及统计分析、数 学建模等方法，测量和预测 人机交互中的用户情感。 本书的出版对于提高我 国智能交互产品的情感化设 计水平与量化评测能力，进 一步推动人工智能产业的发 展有重要意义。 本书的主要读者对象为 管理学、计算机科学、工业 设计、心理学、认知神经科 学等相关专业的科研人员、 教师、研究生、本科生以及 人机交互领域的从业者。

序 前言 第1章 人机情感交互概述 1.1 人机交互概述 1.1.1 人机交互的概念和发展阶段 1.1.2 人机交互情感测量与预测概述 1.2 人机交互情感测量与预测研究进展可视化分析 1.2.1 数据来源与分析工具 1.2.2 文献出版情况分析 1.2.3 研究主题分析 1.3 人机交互情感测量与预测基本模型 第2章 人机交互中的主观情感测量与分析 2.1 主观情感概述 2.1.1 主观情感的基本理论 2.1.2 情感测量量表 2.2 人机交互中主观情感研究案例 2.3 人机交互中主观情感研究基本模型 2.3.1 BMSEA-HCI模型 2.3.2 理论模型构建方法 2.4 人机交互中主观情感测量方法 2.4.1 调查问卷设计方法 2.4.2 数据收集方法 2.4.3 问卷信度与效度分析方法 2.4.4 共同方法偏差检验方法 2.5 人机交互中主观情感分析方法 2.5.1 主观情感数据预处理方法 2.5.2 数据整理与展示方法 2.5.3 数据统计分析方法 2.5.4 皮尔逊（Pearson）相关分析 2.5.5 多元线性回归分析 2.5.6 中介效应分析 第3章 基于外部表现的人机交互情感测量与分析 3.1 情感外部表现概述 3.1.1 情感外部表现 3.1.2 情感外部表现分析与识别软件 3.2 人机交互中外部表现情感测量研究案例 3.3 人机交互中外部表现情感测量方法 3.3.1 变量选择方法 3.3.2 刺激设计方法 3.3.3 被试数量计算与选择方法 3.3.4 测量工具与量表 3.3.5 视角计算方法 3.3.6 被试间设计实验程序 3.4 人机交互中外部表现数据分析方法 3.4.1 异常值检测和处理方法 3.4.2 行为数据统计分析方法——被试间实验设计结果双因素方差分析 第4章 基于眼动追踪的人机交互情感测量与分析 4.1 眼动测量概述 4.1.1 眼动基本模式 4.1.2 眼动测量指标 4.2 基于眼动追踪的人机交互情感测量研究案例 4.3 人机交互中情感测量眼动追踪方法 4.3.1 眼动实验被试选择方法 4.3.2 眼动测量指标选取方法 4.3.3 眼动追踪实验设备选取方法 4.3.4 眼动仪校准方法 4.3.5 眼动实验流程 4.4 人机交互中眼动数据分析方法 4.4.1 眼动数据可视化分析 4.4.2 眼动数据统计分析方法——被试内实验重复测量双因素方差分析 第5章 基于脑电信号的人机交互情感测量与分析 5.1 EEG和ERP概述 5.1.1 EEG概述 5.1.2 ERP概述 5.2 脑电测量技术 5.2.1 测量脑的电磁活动的方法 5.2.2 基于脑血流动力学的脑神经活动测量方法 5.3 人机交互脑电情感测量研究案例 5.4 人机交互脑电情感测量方法 5.4.1 脑电被试选择方法 5.4.2 EEG/ERP脑电实验设备选择方法 5.4.3 脑电实验环境设置 5.4.4 情感测量脑电实验范式选择方法 5.4.5 情感测量脑电刺激材料设计与呈现方法 5.4.6 脑电实验流程 5.5 人机交互脑电情感测量数据分析方法 5.5.1 脑电信号预处理 5.5.2 EEG情感特征提取 5.5.3 ERP情感特征提取 5.5.4 脑电数据统计分析方法——三因素混合设计方差分析 第6章 基于生理信号的人机交互情感测量与分析 6.1 生理测量概述 6.1.1 自主神经系统 6.1.2 生理测量指标 6.1.3 生理测量实验设备介绍 6.2 人机交互生理情感测量研究案例 6.3 人机交互生理情感测量方法 6.3.1 生理测量被试选择方法 6.3.2 生理测量指标及实验设备选择方法 6.3.3 生理测量实验流程 6.4 人机交互生理情感数据分析方法 6.4.1 生理信号预处理 6.4.2 生理信号情感特征提取 6.4.3 生理数据统计分析方法——配对样本t检验 第7章 基于多模态测量的人机交互情感测量与分析 7.1 人机交互多模态情感测量研究案例 7.2 人机交互多模态情感测量方法 7.2.1 多模态情感测量一般实验程序 7.2.2 多模态情感测量量表和设备选择 7.2.3 多模态情感测量方法应用实例 7.3 人机交互多模态情感分析方法 7.3.1 多模态情感数据标准化方法 7.3.2 多模态情感数据统计分析方法 第8章 多模态数据驱动的人机交互情感预测 8.1 多模态情感特征降维方法 8.1.1 情感特征选择 8.1.2 情感特征抽取 8.2 多模态情感预测方法 8.2.1 支持向量机 8.2.2 深度神经网络 8.2.3 模型性能评价指标 8.3 人机交互多模态情感预测研究案例 8.4 人机交互中多模态情感预测方法 8.4.1 人机交互情感刺激集和情感意图集 8.4.2 选择多模态情感测量指标集 8.4.3 基于多模态情感测量的情感意图实验 8.4.4 人机交互多模态情感预测模型——深度神经网络模型 参考文献