RealSense TM互动开发实战

这是一本讲解如何使用IntelRealSense摄像头进行交互设计开发的书籍。IntelRealSense技术是Intel公司于2012年开发的用于自然人机交互的技术，是在深入剖析从人类传感到交互的实现过程基础上，为计算设备添加“类人”感官而进行的技术创新。IntelRealSense技术使计算设备拥有了跟人一样的视觉听觉能力，从而可以更自然地与用户进行交互。机器将不再单纯是傻瓜型的和命令型的，可以更智能地与人类协作，营造出“机器+人”的共生系统。

序
前言
第1章IntelRealSense技术与自然人机交互1
1.1自然人机交互1
1.2IntelRealSense技术1
1.3IntelRealSense的应用领域6
1.4IntelRealSenseSDK功能特点10
第2章IntelRealSenseSDK编程基础13
2.1编程准备13
2.2IntelRealSenseSDK架构17
2.2.1SDK架构17
2.2.2会话和模块18
2.2.3SenseManager中的流18
2.3原始数据流获取和处理21
2.4I/O设备操作30
2.5坐标系统32
2.6SDK编程应用举例35
第3章3D扫描43
3.1扫描过程44
3.2面部扫描44
3.3物体扫描46
3.4头部扫描47
3.5身体扫描48
3.6扫描选项49
3.73D扫描常见问题50
3.8典型3D扫描编程举例50
3.93D扫描应用举例51
第4章团块跟踪54
4.1初始化Blob模块55
4.2配置Blob跟踪模块55
4.3提取Blob数据56
4.4理解Blob数据58
4.5团块跟踪应用举例58
第5章深度增强的摄影和录像60
5.1增强的拍照功能60
5.2增强的录像功能64
5.3访问照片65
5.4深度增强的摄影和录像应用举例66
第6章脸部跟踪算法73
6.1脸部跟踪编程73
6.2配置和数据获取75
6.3脸部位置数据76
6.4脸部特征点数据77
6.5脸部姿态数据77
6.6面部表情78
6.7面部识别79
6.8脸部跟踪应用举例81
第7章手势跟踪算法87
7.1初始化和配置手势模块88
7.1.1配置跟踪选项89
7.1.2配置警报92
7.1.3配置手势92
7.2手势跟踪主处理循环实现93
7.3访问手动跟踪数据94
7.3.1坐标系94
7.3.2通过索引或ID访问手势数据95
7.3.3访问手势ID和时间戳96
7.3.4访问图像数据97
7.3.5访问手部位置数据97
7.3.6访问手势跟踪状态97
7.3.7访问手势和手侧98
7.3.8访问手指数据98
7.3.9访问轮廓数据98
7.3.10访问关节数据99
7.4处理警报101
7.5处理手势103
7.6手势跟踪应用举例106
第8章物体识别111
8.1物体识别编程111
8.2配置特征及获取数据113
8.3物体识别配置114
8.4ROI和绝对ROI114
8.5物体识别数据115
8.6物体识别应用举例115
第9章物体跟踪117
9.13D物体跟踪117
9.2Metaio工具箱119
9.3通过SenseManager的物体跟踪124
9.4配置特征及检索数据126
9.53D地图创建127
9.6物体跟踪应用举例128
第10章场景解析132
10.1场景解析编程134
10.2配置场景解析135
10.3检查启动场景的质量136
10.4获取跟踪数据136
10.5场景解析应用举例136
第11章语音识别与合成143
11.1语音识别过程143
11.1.1命令控制和听写145
11.1.2处理识别事件145
11.1.3录音级别146
11.1.4置信值147
11.2语音合成算法编程148
11.3语音识别与合成应用举例150
第12章无接触控制算法153
12.1处理UI控件153
12.1.1UI控制154
12.1.2启用事件156
12.1.3用自动注入和事件处理器处理控制156
12.1.4集成无接触控制模块157
12.2配置无接触控制模块158
12.3处理警报159
12.4将手势映射为UI控制160
12.5无接触控制应用举例161
第13章用户分割算法164
13.1概述164
13.2用户分割应用举例166
第14章算法工具168
14.1平滑实用程序168
14.2旋转实用程序171
14.3点转换工具174
第15章Unity工具集179
15.1Unity工具集概述179
15.2动作179
15.3持续动作181
15.3.1跟踪动作182
15.3.2转换动作183
15.3.3旋转动作184
15.3.4缩放动作184
15.3.5激活/关闭动作184
15.3.6启用/禁用行为动作185
15.3.7显示/隐藏动作185
15.3.8混合形状动画186
15.3.9发送信息动作186
15.4触发条件和规则186
15.4.1事件触发条件和规则187
15.4.2跟踪触发条件和触发值189
15.4.3旋转触发条件和触发值189
15.4.4缩放触发条件和规则190
15.4.5转换触发条件和规则190
15.4.6动画触发条件和规则190
15.5预制件191
15.6Unity工具应用举例192
第16章IntelRealSense3D摄像头应用举例196
16.1智能宠物机器人196
16.2烹饪教学203
16.3穿墙虚拟现实游戏210
参考文献217

前    言视觉是人类感知信息最主要的途径，科学研究证明，人类超过80%的信息感知来自视觉。现在人们在社会活动中已经是随时随地利用摄像头来捕捉、获取信息。手机、平板电脑、计算机，基本上每个数字设备都在使用摄像头，无处不在地和人们进行交互。可是，现在绝大部分的摄像头是2D的摄像头，仅可以获取RGB（红、绿、蓝）色彩信息。而我们生活在一个三维的世界里，用普通摄像头获取RGB数字信息的同时却丢失了深度Z的信息，这让数字世界里再也无法还原原有的三维信息。深度摄像头就是通过主动或被动的方式来捕捉深度信息，真实地记录所拍摄的每个像素的深度，以保留现实世界的所有信息。现在，科研和市场上已有一些深度摄像头，而Intel? RealSense? 实感摄像头突破了尺寸大小、功耗、实时处理、精度等各方面的限制，这就极大地扩大了它的使用模式和场景。它不再局限于客厅里的电视体感游戏，而可以集成在笔记本电脑、平板电脑、手机等各种日常的计算设备里。更主要的是它还可以用于机器人、虚拟现实、增强现实、车舱甚至无人机上，充当这些无人设备的眼睛，使它们可以真正看到并感知到这个真实的三维世界，和人类进行真正的智能交互。
    Intel RealSense摄像头能够实时输出深度数据，可是如何运用RGBD（红、绿、蓝和深度）数据牵涉很多计算机视觉方面的算法。这无形中加大了人们运用深度摄像头的难度。Intel RealSense SDK也就应运而生。RealSense SDK作为软件开发工具包，充分利用实时的RGBD信息，提供了手势交互、脸部识别、背景分割、场景感知、三维扫描重建、表情分析等一系列计算机视觉算法，通过极其优化的架构，经过严格的测试，提供给每一位开发者。而且这些SDK都是免费的资源，这样极大地降低了开发难度，使开发者可以将精力集中在擅长的使用模式和场景开发上。本书的目的正是为了帮助开发者更好地使用Intel RealSense SDK。本书不仅对SDK进行了详细的介绍，还提供了非常多的开发实例，让读者可以快速上手。当学习到一定程度时，读者可以拓展到各个新的领域，带来更多意想不到的应用惊喜。
    本书第1章从自然人机交互出发介绍Intel RealSense技术概况、应用场景和组成。第2章着重介绍Intel RealSense SDK的架构与编程基础。第3～13章依次介绍3D扫描、团块跟踪、深度增强的摄影和录像、脸部跟踪、手势跟踪、物体识别、物体跟踪、场景解析、语音识别与合成、无接触控制、用户分割等核心算法。第14章和第15章分别介绍SDK算法工具及Unity工具集。第16章以Intel RealSense技术在机器人、虚拟教学、VR方面的实例展示了SDK的应用方法。
    在Intel RealSense的推广过程中，产业界、工业界、学术界经常交流合作，大家都认为需要有一本这样的书来帮助开发者更好地使用RealSense SDK。本书由浙江大学王曰海、英特尔实感计算中国区总监汤振宇、英特尔RealSense SDK 的首席架构师吴新天合作写成，希望对读者的开发工作有所帮助。在本书的写作过程中，得到许多朋友的帮助，包括清华大学杨毅老师和电子工程系核心课程媒体与认知课程项目组成员，浙江大学的毛颖、李竹一、韦笠、张佳鹏、华佳燊、胡文学、叶晓丹、张亮、龙阳祺、张宇翔，英特尔工程师赵飞等。本书向开发Intel RealSense SDK的工程师和团队致敬，他们是所有这一切的基石。我们衷心感谢英特尔中国区大学合作部的朱文利女士、王靖琪女士及其团队的大力支持，感谢英特尔副总裁及感知计算事业部总经理Achin Bhowmik博士的鼎力支持，也要感谢张国强先生积极地策划与推动了本书的成稿。