增强现实技术及其应用案例

增强现实技术的目标是将计算机生成的虚拟环境与用户周围的现实环境融为一体，使用户从感官效果上确信虚拟环境是其周围真实环境的组成部分，从而大幅提升和拓展用户对周围环境的感知与认知能力。本书围绕头戴式增强现实技术，主要介绍了增强现实头戴显示设备、增强现实头戴显示设备的标定技术、六自由度跟踪定位技术、人机自然交互技术以及增强现实在军事仿真、工业装配以及机载显示中的应用实例。 本书可作为计算机、信息工程等相关专业高年级本科生、研究生的教材以及相关领域研究人员的参考用书。

陈靖，女，北京理工大学光电学院副研究员，博士生导师，澳大利亚访问学者。虚拟现实技术与应用专委会委员，增强现实标准化工作组成员，国家自然科学基金，浙江省自然科学基金同行评议专家。近年来先后主持了国家自然科学基金面上和青年基金项目、教育部留学回国基金以及北京理工大学优秀青年教师基金等。作为技术骨干参与国家杰出青年基金等多项国家和省部级科研课题。近年来在国内外重要学术刊物和会议上发表学术论文90余篇，授权专利10多项，出版专著1部。

第1章 增强现实系统概述 1.1 增强现实技术的概念和发展 1.1.1 AR与VR最显著的差别是两者对于浸没感的要求不同 1.1.2 AR和VR关于“注册”的含义和精度要求不同 1.1.3 AR可以缓解VR建立逼真虚拟环境时对系统计算能力的苛刻要求 1.1.4 AR与VR应用领域的侧重不同 1.2 AR技术难点 1.2.1 AR系统中的头盔显示技术 1.2.2 AR系统中的跟踪定位技术 1.2.3 AR系统中的交互技术 1.3 AR的应用领域 1.3.1 军事 1.3.2 工业 1.3.3 医疗 1.3.4 教育 1.3.5 娱乐 第2章 AR系统的近眼显示设备 2.1 光学透视式头盔显示器的分类 2.1.1 AR自由曲面头盔显示器 2.1.2 波导头盔显示器 2.1.3 其他类型的头盔显示器 2.2 目前存在的主要问题及解决方案 2.2.1 辐辏调节冲突 2.2.2 虚像幻影 2.3 双目立体视觉及其生成 2.3.1 立体视觉与影响舒适度的因素 2.3.2 立体图像生成 第3章 光学透视式AR头盔显示器的标定 3.1 光学透视式头盔显示器的标定方法 3.2 光学透视式头盔显示器标定评价方法 3.3 光学透视式头盔显示器标定技术的研究与分析 3.3.1 离轴的针孔相机模型 3.3.2 眼睛-头盔显示器内参模型 3.4 经典光学透视式头盔显示器标定方法 3.4.1 手动标定方法 3.4.2 自动标定方法 3.5 各标定方法的实验数据对比 3.5.1 标定系统硬件平台 3.5.2 3种手动标定方法结果 3.5.3 自动标定结果 第4章 基于虚拟点空间位置的二步标定方法 4.1 二步标定方法 4.2 离线阶段的参数标定 4.2.1 虚拟像点的空间位置估计 4.2.2 虚拟显示面的拟合 4.2.3 虚拟相机初始投影矩阵获取 4.3 在线阶段的用户校正 4.3.1 用户眼睛的位置估计 4.3.2 标定参数更新 4.4 标定结果与分析 4.4.1 标定误差分析 4.4.2 光学透视式头显虚实融合显示效果 第5章 光学透视式头盔显示器标定结果的评价方法 5.1 头盔显示器标定量化评估的意义 5.2 用户主观量化评估的方法 5.2.1 评价方法设计 5.2.2 评价试验与结果 5.3 标定结果精细程度评价方法 5.3.1 评价方法设计 5.3.2 评价试验与结果 5.4 AR导引插线应用评价方法 5.4.1 评价方法设计 5.4.2 评价试验与结果 第6章 AR系统的跟踪定位技术 6.1 AR跟踪定位技术的研究现状 6.1.1 单目SLAM算法 6.1.1 RGB-DSIAM算法 6.2 视觉SIAM系统的框架 6.2.1 视觉里程计 6.2.2 后端优化 6.2.3 回环检测与重定位 6.2.4 建图 6.3 LSD-SLAM算法 6.3.1 相机跟踪 6.3.2 深度图估计 6.3.3 地图优化 6.4 VINS算法 第7章 人机交互设备与技术 7.1 手势交互 7.1.1 数据手套 7.1.2 基于光学跟踪的手势识别与交互 7.1.3 基于视觉的手势交互 7.2 眼动交互 7.4 肌电交互 7.5 动作捕捉 7.6 行走交互方式及其设备 7.6.1 踏板行走式交互 7.6.2 地面行走式交互 7.6.3 全方位传动平台式行走交互 第8章 应用案例一：HUD车载手势交互系统 8.1 车载手势交互系统应用与研究概况 8.2 基于多特征融合的离线手势分类网络 8.2.1 基于多特征融合的神经网络 8.2.2 多尺度随机采样 8.2.3 网络总体架构 8.2.4 神经网络细节 8.2.5 训练配置参数 8.2.6 试验结果分析 8.3 在线手势识别算法流程概述 8.3.1 视频预处理 8.3.2 运动检测模块 8.3.3 手部检测模块 8.3.4 网络架构 8.3.5 训练数据集 8.3.6 训练配置参数以及训练结果 8.3.7 在线试验结果分析 8.4 汽车任务备选手势集选择 8.5 汽车任务最优手势评估与选择 8.5.1 车载手势设计的可用性原则 8.5.2 基于主客观赋权的模糊综合评价法 8.5.3 试验流程 8.5.4 试验结果分析 8.6 应用验证 8.6.4 系统运行效果 8.6.5 系统综合评估与分析 第9章 应用案例二：户外车载AR对抗训练仿真系统 9.1 AR在军事仿真训练中的应用 9.1.1 实战化演练中亟待解决的现实需求 9.1.2 战场AR系统 9.1.3 车载增强现实训练仿真系统 9.2 户外AR对抗式综合训练仿真系统总体框架 9.3 跟踪定位算法 9.3.1 坐标系定义 9.3.2 GPS数据预处理 9.3.3 局部坐标系和全局坐标系对齐 9.3.4 联合误差函数的非线性优化 9.4 基于Unity3D的虚实融合渲染绘制 9.4.1 虚拟目标与真实场景配准 9.4.2 虚拟目标与真实场景交互 9.5 基于深度强化学习的虚拟仿真目标生成 9.5.1 基于值函数的深度强化学习 9.5.2 基于策略梯度的深度强化学习 9.5.3 基于PPO的