OpenNI体感应用开发实战

本书分为五部分。基础篇（靠前～3章）介绍了自然人机交互的一些概念和基本的应用，同时结合体感传感器Xtion，介绍了体感传感器的工作原理。学习完本部分之后，读者可以理解基于体感的人机交互的内涵以及体感应用开发的硬件基础。准备篇（第4～6章）介绍了在进行体感应用开发之前，所需要进行的软件开发平台的搭建的步骤以及OpenNI软件很基本的一些功能。学习完本部分，读者将能开始上手使用OpenNI软件，学会使用它的一些基本功能。进阶篇（第7～13章）讨论体感应用开发中进一步的知识。包括基本的手势识别，色彩与声音的获取与录制等。学习完本部分，读者可以开始尝试组合不同的功能组件，开发更加成规模更加智能的体感应用。实战篇（靠前4～17章）介绍了一些有趣的同时也很具有代表性的体感应用开发实例。在学习完本部分之后，读者将能够学习到真实的体感开发的过程与实现方法，进一步提升自身的实际开发水平。不错篇（靠前8～19章）介绍了更加深入的一些体感开发应用中可能使用到的不错功能，包括运动捕捉和OpenNIUnity工具包。通过学习这些章节，读者能够掌握更加复杂和不错的体感应用开发技能。

任侃
靠前体感应用开发领域的先驱，毕业于英国萨利大学（University of Surrey），就职于南京理工大学电光学院。精通体感应用开发，对人机交互技术、体感技术、体感应用、体感设备等都有很好深入研究。在C++语言、视频和图像处理、用户体验研究等领域的实践经验也比较丰富。

前言
第一部分基础篇
第1章自然人机交互
1.1什么是自然交互
1.2科幻电影场景的人机交互
1.3自然人机交互技术发展现状
1.4本章小结
第2章Xtion硬件设备
2.1Xtion设备简介
2.1.1Xtion设备的类型
2.1.2Xtion设备的功能
2.1.3Xtion设备的规格
2.2Xtion设备的优势
2.2.1Xtion和Kinect的区别
2.2.2硬件设备的软件支持
2.3深度感应器原理
2.3.1感应器架构
2.3.2深度感应器工作原理
2.3.3深度精确度分析
2.3.4无法侦测物体深度
2.4本章小结
第3章OpenNI开发方案
3.1初识OpenNI
3.1.1OpenNI架构
3.1.2OpenNI支持的模块
3.1.3OpenNI的功能
3.1.4OpenNI中的对象
3.1.5OpenNI版本更新说明
3.2OpenNI生产节点
3.2.1生产节点的类型
3.2.2生产节点概念图
3.2.3生成和读取数据
3.2.4OpenNI接口的配置
3.3OpenNI应用
3.3.1Xtion Controller应用
3.3.2INOUT应用
3.3.3Artec Studio应用
3.3.4体感技术在初音未来上的应用
3.4本章小结
第二部分准备篇
第4章Xtion开发准备工作
4.1下载OpenNI及相应程式
4.1.1下载SDK
4.1.2下载Middleware
4.1.3下载OpenNI以及相应的NITE
4.2安装OpenNI
4.2.1Windows环境下的准备工作
4.2.2OpenNI档案及相关环境
4.2.3加载设备驱动
4.2.4检测Xtion设备
4.2.5NiViewer基本控制方法
4.3使用Xtion的注意事项
4.4本章小结
第5章搭建基础的Xtion体感开发环境
5.1创建控制台工程
5.2配置工程OpenNI环境
5.3本章小结
第6章初识Xtion体感开发
6.1OpenNI基础应用
6.1.1上下文对象初始化
6.1.2创建生产节点
6.1.3使用XML文档中的生产节点
6.1.4错误信息返回
6.1.5开始产生数据
6.1.6停止产生数据
6.1.7上下文对象资源释放
6.1.8更新数据
6.1.9镜像设置
6.1.10图像位置校正
6.2图生成器
6.2.1获取支持图输出模式
6.2.2图生成器输出模式
6.2.3获取和设置图输出模式
6.2.4获取图像素字节数
6.3深度生成器
6.3.1获取深度元数据对象
6.3.2获取深度图
6.3.3获取设备最大深度
6.3.4获取设备视野范围
6.3.5绝对坐标和相对坐标转换
6.3.6获取用户位置功能
6.4用户生成器
6.4.1获取用户数量
6.4.2获取用户
6.4.3获取用户质心
6.4.4获取用户像素
6.4.5注册用户回调函数
6.4.6获取骨架功能
6.4.7获取姿势侦测功能
6.5场景分析器
6.5.1获取场景元数据对象
6.5.2获取场景地板
6.5.3获取场景标识段
6.6图生成器的概念及功能
6.6.1图元数据对象
6.6.2输出模式设定
6.7OpenNI程序流程
6.7.1初始化Context
6.7.2建立Production Node
6.7.3开始产生资料
6.7.4更新、读取资料
6.7.5处理读取的资料
6.7.6结束和错误侦测
6.8本章小结
第三部分进阶篇
第7章人体骨架追踪
7.1坐标系
7.1.1绝对坐标
7.1.2相对坐标
7.1.3相对坐标和绝对坐标的转换
7.2关节
7.2.1OpenNI可侦测的关节点
7.2.2读取关节资料函数
7.2.3关节位置的平滑化
7.3人体骨架追踪流程
7.3.1需要特定姿势的骨架追踪
7.3.2不需要特定姿势的骨架追踪
7.3.3使用现有校正资料
7.4人体骨架追踪程序搭建流程
7.4.1创建并初始化设备上下文
7.4.2创建并设定生产节点
7.4.3注册回调函数
7.4.4开始侦测数据
7.4.5更新数据
7.4.6得到用户信息
7.5人体骨架识别范例
7.6本章小结
第8章手势识别与手部追踪
8.1手势识别原理
8.1.1OpenNI支持的手势
8.1.2遍历NITE支持的手势
8.1.3添加手势与回调函数
8.1.4手势识别范例
8.2NITE控制
8.2.1NITE Control函数详解
8.2.2NITE Control范例
8.3手部追踪原理
8.3.1手心生成器回调函数注册
8.3.2手部追踪初始化
8.4本章小结
第9章录制与重播
9.1录制
9.1.1创建录制器
9.1.2设置录制目标档案
9.1.3获取录制目标档案
9.1.4添加录制节点
9.1.5删除录制节点
9.2重播
9.2.1设置重复播放
9.2.2设置和获取播放源资料
9.2.3设置重播起始时间
9.2.4获取当前播放位置信息
9.2.5检索播放器中的节点
9.2.6判断是否播放结束
9.2.7注册播放到结尾事件回调函数
9.2.8设置回放速率
9.3本章小结
第10章限制生产节点的建立条件
10.1有条件地建立生产节点
10.1.1添加限制条件
10.1.2设置限制条件
10.1.3建立生产节点
10.2通过限制条件列举符合条件的生产节点
10.3根据节点信息建立生产节点
10.4本章小结
第11章使用XML文档初始化
11.1XML文档设定参数
11.1.1XML文档基本架构
11.1.2XML文档中的节点
11.1.3XML文档使用范例
11.2使用XML文档配置功能
11.2.1强制录制ONI文档的XML配置
11.2.2资料产生
11.3本章小结
第12章声音数据的获取与使用
12.1声音生成器
12.1.1创建声音生成器
12.1.2获取声音数据
12.1.3设置声音设备的输出模式
12.1.4注意事项
12.2声音数据的处理
12.2.1声音录制
12.2.2声音播放
12.3本章小结
第13章彩色图像的获取和贴图
13.1OpenNI框架支持的图像格式
13.2图像生成器
13.2.1创建图像生成器
13.2.2获取图像数据
13.2.3设置及获取图像生成器的输出格式
13.3获取RGB影像及贴出RGB影像
13.4本章小结
第四部分实战篇
第14章体感鼠标模拟
14.1手部追踪与鼠标模拟
14.2程序编写前的准备工作
14.2.1环境准备
14.2.2界面准备
14.2.3鼠标相关参数配置准备
14.3初始化
14.3.1对话框初始化
14.3.2载入ini文档中的配置
14.3.3OpenNI程序环境初始化
14.4程序设计
14.4.1获取深度图
14.4.2获取用户数据
14.4.3鼠标左右手模式的选择及切换
14.4.4滚轮控制放大和缩小
14.4.5左手控制鼠标
14.4.6右手控制鼠标
14.4.7鼠标事件指令发送
14.4.8悬停状态设计
14.5本章小结
第15章Xtion玩《街头霸王》
15.1用身体控制游戏人物
15.1.1人物基本操控动作
15.1.2通用招式动作设计
15.1.3游戏人物的特有招式设计
15.2创建工程、配置工程环境
15.3初始化
15.3.1读取深度数据
15.3.2处理深度数据
15.3.3获取骨架
15.3.4骨架数据的初步处理
15.4Ken人物动作的表述
15.4.1轻拳
15.4.2跳起
15.4.3波动拳
15.4.4神龙拳
15.5虚拟按键机制
15.6本章小结
第16章体感方向盘玩赛车类游戏
16.1体感方向盘设计
16.1.1操控方向盘基本动作
16.1.2虚拟线性手柄模拟方向盘
16.2体感方向盘程序开发初始化
16.2.1环境初始化
16.2.2虚拟手柄初始化
16.3模拟方向盘操控
16.3.1获取用户信息
16.3.2左右方向的控制
16.3.3油门与刹车
16.3.4发送指令给虚拟线性手柄
16.4本章小结
第17章Xtion控制机器人
17.1体感控制机器人需求分析
17.1.1了解机器人构造
17.1.2如何用身体操控机器人
17.1.3机器人操控程序界面设计
17.2初始化
17.2.1界面初始化
17.2.2体感追踪初始化
17.2.3回调函数
17.3控制机器人
17.3.1连接机器人
17.3.2发送指令
17.4机器人程序代码实现
17.4.1骨骼数据的初步获取
17.4.2左肩的体感控制
17.4.3大臂转动的控制
17.4.4肘部角度计算
17.4.5手部角度计算
17.4.6小手臂转动
17.5本章小结
第五部分高级篇
第18章BVH骨架转换
18.1运动捕捉技术简介
18.1.1典型的运动捕捉设备组成
18.1.2传统捕捉技术
18.1.3运动捕捉技术应用
18.1.4运动捕捉技术优缺点
18.2动作捕获数据
18.2.1解析BVH文件
18.2.2骨架结构
18.2.3解读数据
18.3旋转
18.3.1基础2D旋转
18.3.23D坐标轴旋转
18.4欧拉角
18.4.1从欧拉角转换到矩阵
18.4.2从矩阵转换到欧拉角
18.4.3从骨架数据中提取欧拉角
18.5本章小结
第19章OpenNI Unity工具包
19.1准备工作
19.1.1下载和安装
19.1.2创建基本对象
19.2开始游戏
19.2.1查看控制台中初始化过程
19.2.2查看传感器的深度视图
19.2.3雷达视图侦测用户
19.3添加骨架模型
19.3.1导入士兵模型
19.3.2加入人物模型
19.3.3修复模型
19.3.4连接骨骼控制器
19.3.5骨架匹配
19.3.6模型制成预制件
19.4添加用户选择器
19.4.1用户与玩家的选择
19.4.2美化
19.5本章小结
附录BVH文件格式示例