自然人机交互技术及应用

如何更好地将自然人机交互技术应用到具体领域是目前的热点研究问题。本书对人机交互技术及应用进行较为全面的介绍，内容包括：人机交互技术发展历史与研究方法，人机交互系统的评估方法，自然人机交互关键技术，即多点触控技术、手势交互技术、人体动作识别技术、裸眼3D技术、移动增强现实技术，以及人机交互在数据可视化中的应用。本书的主要内容源于作者的研究工作，部分内容取材于参考文献。本书可作为高等院校计算机及相关专业研究生人机交互课程的教材，也可作为高等院校本科生或者从事人机交互研究工作的开发人员的参考书。

《智能科学技术著作丛书》序
前言
第1章 绪论 1
1.1 人机交互的发展历程 1
1.2 自然人机交互的研究内容 3
1.3 自然人机交互技术 5
1.3.1 多点触控技术 6
1.3.2 手势交互技术 6
1.3.3 人体动作识别技术 7
1.3.4 裸眼3D显示技术 8
1.3.5 增强现实技术 8
1.3.6 其他技术 9
1.4 自然人机交互技术的应用 10
参考文献 13
第2章 人机交互系统的评估方法 15
2.1 评估的目标和原则 15
2.1.1 评估的目标 15
2.1.2 评估的原则 16
2.2 人机交互系统的评估方法 16
2.2.1 可用性测试 18
2.2.2 专家评审法 21
2.2.3 可用性调查 23
2.3 本章小结 26
参考文献 27
第3章 多点触控技术 28
3.1 多点触控技术概述 29
3.1.1 多点触控技术的相关定义 29
3.1.2 多点触控技术的相关研究 30
3.2 基于计算机视觉的光学多点触控交互系统 33
3.2.1 多点触控技术原理 34
3.2.2 光学多点触控系统架构 39
3.2.3 激光浮面硬件平台 40
3.2.4 显著区域检测 41
3.2.5 连通区域检测 42
3.2.6 轮廓提取 44
3.3 二维环境下的多触点检测 45
3.3.1 多触点检测的一般流程 46
3.3.2 基于视觉注意模型的多触点检测算法 47
3.3.3 触点区域提取与分析 54
3.4 三维环境下的多触点检测 56
3.4.1 三维多点触控概述 56
3.4.2 手部分割 57
3.4.3 背景去除 60
3.4.4 指尖定位 64
3.4.5 实验结果与分析 67
3.5 基于计算机视觉的光学多点触控系统实现与交互 68
3.5.1 触点跟踪 68
3.5.2 坐标变换 69
3.5.3 应用程序设计 70
3.5.4 基于触点轨迹的动态手势识别 72
3.5.5 实验结果与分析 72
3.6 本章小结 77
参考文献 78
第4章 手势交互技术 83
4.1 手势交互技术概述 83
4.1.1 基于视觉的手势交互技术 83
4.1.2 基于数据手套的手势交互技术 85
4.2 基于几何特征的实时手势交互设计 88
4.2.1 实时手势交互应用特点 88
4.2.2 基于几何特征的实时手势交互系统框架 89
4.2.3 实时手势图像的提取 89
4.2.4 实时手势几何特征的定义 91
4.2.5 实时手势分析与识别 92
4.2.6 实验结果与分析 94
4.3 基于视觉融合的数据手套设计 96
4.3.1 视觉融合数据手套的总体框架 96
4.3.2 视觉融合数据手套的旋转姿态解算 98
4.3.3 视觉融合数据手套的手指弯曲度检测 99
4.3.4 视觉融合数据手套的位置追踪 102
4.3.5 基于手势识别的交互系统应用设计 109
4.4 本章小结 113
参考文献 114
第5章 人体动作识别技术 117
5.1 人体动作识别技术概述 117
5.1.1 人体动作识别技术的应用 117
5.1.2 人体动作识别技术相关研究 120
5.1.3 三维人体动作识别方法 126
5.2 三维人体骨架数据获取与姿态描述 127
5.2.1 人体骨架数据的获取 127
5.2.2 三维人体骨架模型 129
5.2.3 动作姿势特征描述 130
5.2.4 动作数据集的建立 133
5.3 基于隐马尔可夫模型的人体动作识别 135
5.3.1 隐马尔可夫模型 135
5.3.2 基于连续型隐马尔可夫模型的人体动作识别 142
5.3.3 实验结果与分析 145
5.4 基于姿势序列有限状态机的人体动作识别 147
5.4.1 三维网格划分模型的建立 147
5.4.2 肢体节点特征向量定义 148
5.4.3 姿势序列有限状态机构造 151
5.4.4 实验结果与分析 154
5.5 基于关键姿势和动态时间规整算法的人体动作识别 157
5.5.1 三维人体动作关键姿势帧提取技术 158
5.5.2 动态时间规整算法基本原理 175
5.5.3 基于关键姿势和动态时间规整算法的人体动作识别实现 177
5.5.4 实验结果与分析 178
5.6 基于人体动作识别的虚拟交警指挥动作训练系统设计 183
5.6.1 系统背景 183
5.6.2 系统原理与框架 183
5.6.3 系统软件功能的实现 184
5.6.4 系统测试分析与评估 187
5.7 本章小结 189
参考文献 190
第6章 裸眼3D技术 196
6.1 裸眼3D技术概述 196
6.1.1 交互显示技术及发展 196
6.1.2 立体感知与视觉显示技术 197
6.2 基于断层宽度测量的裸眼 3D评估方法 200
6.2.1 断层宽度测量评估方法 201
6.2.2 人眼承受视差极限参数测定 202
6.3 面向个人体验的裸眼3D设计方法 204
6.4 面向个人体验的裸眼3D互动体验系统设计 209
6.4.1 系统背景 209
6.4.2 系统框架设计 211
6.4.3 系统功能实现 211
6.4.4 系统分析与评估 213
6.5 本章小结 214
参考文献 214
第7章 移动增强现实技术 217
7.1 移动增强现实技术概述 217
7.1.1 移动增强现实技术的相关概念 217
7.1.2 移动增强现实技术的发展与研究现状 219
7.2 移动增强现实关键理论与技术 223
7.2.1 移动增强现实系统的基本结构 224
7.2.2 移动增强现实的跟踪注册技术 225
7.2.3 移动增强现实的显示技术 231
7.2.4 移动增强现实的交互技术 232
7.3 面向社交网络平台的移动增强现实系统 233
7.3.1 面向社交网络平台的移动增强现实系统总体设计 233
7.3.2 基于GPS和电子罗盘的跟踪注册设计 234
7.3.3 基于层次狄利克雷主题模型的关键词提取 238
7.3.4 面向社交网络平台的移动增强现实系统的显示设计 243
7.3.5 系统工作流程与验证分析 245
7.4 本章小结 252
参考文献 253
第8章 人机交互在数据可视化中的应用 257
8.1 数据可视化概述 257
8.2 数据可视化中的交互准则 260
8.3 数据可视化中的交互分类 262
8.4 数据可视化中的交互技术 263
8.4.1 选择 263
8.4.2 导航 264
8.4.3 重配 265
8.4.4 编码 266
8.4.5 过滤 266
8.4.6 概览+细节 268
8.4.7 焦点+上下文 268
8.4.8 关联性交互 270
8.5 数据可视化中的交互硬件设备 271
8.5.1 多点触控技术 271
8.5.2 肢体识别 273
8.5.3 沉浸式模拟 275
8.6 网络安全可视化中交互设计：以网络流量日志数据可视化系统为例 276
8.6.1 网络安全可视化理论基础 277
8.6.2 网络安全可视化系统框架设计 279
8.6.3 数据采集与预处理 281
8.6.4 可视化及交互技术 282
8.6.5 实验验证与分析 285
8.7 多媒体数据可视化中交互设计：以视频可视化系统为例 291
8.7.1 视频可视化理论基础 291
8.7.2 视频可视化系统框架设计 292
8.7.3 数据采集与预处理 294
8.7.4 可视化及交互技术 300
8.7.5 实验结果与分析 305
8.8 本章小结 310
参考文献 310