虚拟现实技术应用和Kinect开发

本书依托国家科技重大专项项目——煤层气田地面集输信息集成及深度开发技术（2011ZX05039-004-02），借助于虚拟现实技术，开发一套专门应用于煤层气集输系统安全操作的仿真训练系统。本书详细介绍了虚拟现实技术以及煤层气产业的研究现状、煤层气仿真训练系统的应用与需求分析，然后介绍煤层气仿真训练系统的开发平台、总体设计、系统模型的构建，以及系统的演示模式、向导模式和人机交互，很后还介绍了数据手套在系统的研究与应用、Kinect的开发及应用。

曹林，北京信息科技大学，通信工程系，副教授。

第1章概述1
1.1虚拟现实概念与研究现状1
1.1.1虚拟现实技术的概念1
1.1.2虚拟现实研究领域的形成2
1.1.3国外虚拟现实技术的研究现状5
1.1.4国内虚拟现实技术的研究现状7
1.1.5虚拟现实技术的应用领域8
1.2虚拟现实技术的特征与分类12
1.2.1虚拟现实的3I特征12
1.2.2虚拟现实系统的分类14
1.3虚拟现实系统的硬件设备16
1.3.1立体显示设备16
1.3.2人机交互设备19
1.3.3位置跟踪设备20
1.3.4声音输出设备21
1.4虚拟现实的相关技术22
1.4.1虚拟现实建模技术22
1.4.2虚拟现实人机交互技术23
1.5煤层气产业的发展状况24
1.5.1国外煤层气产业的发展状况25
1.5.2国内煤层气产业的发展状况27
1.5.3虚拟现实技术在煤层气产业中的应用28
1.6煤层气仿真训练系统的应用与需求分析29
1.6.1煤层气仿真训练系统的应用概述29
1.6.2煤层气仿真训练系统的核心系统29
1.6.3煤层气仿真训练系统的特色功能31
1.7本章小结33
第2章系统的开发平台34
2.1UML34
2.1.1UML概述35
2.1.2UML的应用35
2.2C#编程语言36
2.2.1C#概述36
2.2.2VisualStudio2010开发环境37
2.3Unity3D开发平台38
2.3.1Unity3D概述38
2.3.2Unity3D在煤层气仿真训练系统中的应用42
2.43dsMax虚拟建模工具43
2.4.13dsMax概述43
2.4.23dsMax的应用45
2.5本章小结48
第3章系统的总体设计49
3.1系统定位49
3.2系统设计原则50
3.3系统模块设计50
3.3.1任务系统模块50
3.3.2设备操作系统模块57
3.3.3仿真系统模块58
3.3.4流程演示系统模块60
3.3.5文字语音系统模块62
3.3.6输入、输出系统模块62
3.4本章小结63
第4章系统模型的构建64
4.1三维建模基础知识64
4.1.1几何建模64
4.1.2图像建模66
4.1.3物理建模66
4.1.4运动建模67
4.1.5行动建模68
4.2实体模型的构建68
4.2.1实体建模软件69
4.2.2图像与几何相结合的建模方法69
4.2.3设备建模70
4.3场景模型的构建73
4.3.1分场景与模块设计74
4.3.2主场景74
4.3.3增压站74
4.3.4加气站75
4.3.5集气站76
4.3.6电潜泵单井76
4.3.7磕头机单井77
4.4模型真实感处理77
4.4.1纹理映射77
4.4.2细节等级技术78
4.4.3光照和着色78
4.5用户界面79
4.5.1界面设计的必要性79
4.5.2任务提示面板80
4.5.3操作界面可变图标80
4.5.4操作界面固定图标80
4.5.5实体模型指示物81
4.5.6文字描述框81
4.6本章小结81
第5章系统的演示模式82
5.1演示模式简介82
5.2演示模式的设计思路83
5.3全景演示模式86
5.3.1系统核心模块代码86
5.3.2点击操作与按钮操作示例89
5.4第一人称视角演示模式90
5.4.1系统核心模块代码90
5.4.2第一人称视角演示模式操作示例101
5.5演示模式在Unity3D中的实现102
5.5.1全景演示模式的配置102
5.5.2第一人称视角演示模式的配置104
5.6本章小结107
第6章系统的向导模式108
6.1向导模式简介108
6.2向导模式的任务设计108
6.2.1任务系统核心模块代码108
6.2.2老工人NPC的控制代码117
6.2.3路径代码126
6.2.4avatar跟随NPC代码实现127
6.3向导模式的设备操作129
6.3.1InteractiveObject129
6.3.2avatar的控制脚本134
6.3.3可交互物体的控制脚本141
6.4向导模式的文字语音151
6.4.1背景音乐控制151
6.4.2语音系统152
6.4.3文字系统153
6.5向导模式的面板设计155
6.5.1MsUi156
6.5.2UIButtonMessage161
6.6本章小结164
第7章煤层气仿真训练系统的人机交互165
7.1人机交互简介165
7.2人机交互的任务设计166
7.3人机交互的设备操作172
7.3.1抽油机单井场景中可交互物体的控制脚本173
7.3.2电潜泵单井基站场景中可交互物体的控制脚本176
7.3.3加压站场景中可交互物体的控制脚本185
7.4人机交互的仿真系统198
7.5本章小结202
第8章数据手套相关技术的研究与应用203
8.1数据手套简介203
8.2数据手套的工作原理和功能204
8.2.1数据手套的原理概述204
8.2.25DT数据手套的原理和功能介绍204
8.3数据手套在系统中的应用206
8.3.1DataGloveContent206
8.3.2DataGloveSupport215
8.4数据手套碰撞检测221
8.4.1层次包围盒222
8.4.2基于虚拟手的运动方向的动态碰撞检测算法225
8.5本章小结230
第9章Kinect初探231
9.1Kinect硬件设备232
9.1.1核心芯片234
9.1.2摄像头234
9.1.3麦克风阵列236
9.1.4传动马达236
9.1.5其他部件237
9.2Kinect工作原理239
9.2.1深度图像成像原理239
9.2.2骨骼追踪原理240
9.3Kinect底层开发接口242
9.3.1KinectSDK系统架构243
9.3.2数据流处理244
9.3.3骨骼追踪248
9.3.4坐标变换252
9.4本章小结254
第10章Kinect开发与应用255
10.1结合Kinect和Adaboost算法的动作识别开发255
10.1.1人体动作识别的系统构架255
10.1.2动作特征曲线的获取257
10.1.3动作特征集与强分类器的获取260
10.1.4动作识别与结果分析262
10.2基于Kinect骨骼空间几何角度的动作识别开发264
10.2.1基于Kinect获取骨骼数据及骨骼拓扑结构264
10.2.2提取感兴趣骨骼关节点及定义骨骼向量265
10.2.3提取骨骼向量的方向余弦特征266
10.2.4采用支持向量机（SVM）训练267
10.2.5动作识别结果分析268
10.3基于Kinect骨骼关节点空间位置的动作识别开发271
10.3.1动作的分类271
10.3.2单个动作识别算法272
10.3.3动作识别的系统实现277
10.4Kinect在煤层气仿真训练系统中的应用开发284
10.4.1Kinect插件使用说明284
10.4.2Kinect输入系统设计思路285
10.4.3Kinect输入系统具体设计286
10.4.4Kinect用户操作说明302
10.5本章小结303
展望304
参考文献306