AR Foundation增强现实开发实战(ARCore版)

"（1）结构清晰。本书共分三个部分：第一部分为基础篇，第二部分为功能技术篇，第三部分为高级篇。紧紧围绕ARCore开发，对其功能特性进行了全方位的讲述，并从实际应用角度阐述了Android与Unity交互通信、AR应用设计准则、性能优化相关知识。 （2）循序渐进。本书充分考虑不同知识背景读者的需求，按知识点循序渐进，通过大量配图、实例进行详细讲解，力求使读者快速掌握AR Foundation框架下的ARCore开发。 （3）深浅兼顾。在讲解ARCore功能技术点时对其技术原理、理论脉络进行了较深入的探究，用语通俗易懂，对技术阐述深入浅出。 （4）实用性强。本书实例丰富，每各技术点都有案例，注重对技术的实际运用，力图解决读者在项目开发中面临的难点问题，实用性强。 "

本书基于AR Foundation框架，采用URP渲染管线，讲述利用ARCore进行Android平台的AR应用开发，从AR技术概念、原理、理论脉络到各功能技术点、Android与Unity交互通信、设计原则、性能优化，对ARCore应用开发中涉及的技术进行了全方位的讲述，用语通俗易懂，阐述深入浅出。 本书共分三个部分：第一部分为基础篇，包括第1章至第3章，从最基础的增强现实概念入手，通过一个实例阐述了AR开发从软硬件准备、开发环境搭建、工程设置、发布部署全流程，探讨了AR Foundation框架的技术基础、常用组件，并着重探索了ARCore功能特性和运动跟踪原理；第二部分为功能技术篇，包括第4章至第12章，对ARCore功能特性各方面进行了详细探索讨论，从平面检测、图像检测、人脸检测到云锚点、光影特效等，全方位的进行了技术剖析、讲解、演示。并对AR场景管理、图像信息处理、3D文字声频视频等实用功能进行了阐述和使用操作讲解；第三部分为高级篇，包括第13章至第15章，主要阐述了Android与Unity交互通信、AR应用设计、性能优化相关主题，着力提升开发人员在AR应用开发时的实际应用能力和整体把握能力。 本书结构清晰、循序渐进、深浅兼顾，实例丰富，每个技术点都有案例，特别注重对技术原理和实际运用的讲述，力图解决读者在项目开发中面临的难点问题。 本书适合AR初学者、Unity开发人员、程序员、科研人员，也可以作为高校、大专院校相关专业师生的学习用书，以及培训学校的培训教材。

"汪祥春,计算机科学与技术专业硕士，全国信息安全标准化委员会虚拟现实与增强现实标准工作组成员（CNITSC）、中国增强现实核心技术产业联盟成员（CARA）、华为布道师（Huawei Developer Experts）、CSDN博客专家，拥有深厚的软件工程专业背景和十余年软件项目实施管理经验。 著有《基于Unity的ARCore开发实战详解》《AR开发权威指南-ARFoundation》《ARKit原生开发入门精粹－RealityKit+Swift+SwiftUI》。"

基础篇
第1章 AR开发入门
1.1 增强现实技术概述
1.1.1 AR概念
1.1.2 AR技术应用
1.2 AR技术原理
1.2.1 传感器数据
1.2.2 前端里程计
1.2.3 后端优化
1.2.4 回环检测
1.2.5 建图
1.3 AR Foundation概述
1.3.1 AR Foundation与ARCore
1.3.2 AR Foundation支持的功能
1.3.3 AR Foundation功能概述
1.3.4 AR Foundation体系架构概述
1.3.5 基本术语
1.4 支持的设备
1.5 开发环境准备
1.5.1 所需硬件和软件
1.5.2 软件安装
1.6 ARCore初体验
1.6.1 工程创建
1.6.2 工具包导入
1.6.3 工程设置
1.6.4 环境搭建
1.6.5 代码编写
1.6.6 调试准备
1.6.7 打包测试
1.7 AR应用调试
第2章 AR Foundation基础
2.1 AR Foundation体系架构
2.1.1 AR子系统概念
2.1.2 AR子系统使用
2.1.3 跟踪子系统
2.2 ARSession&ARSessionOrigin
2.2.1 ARSession
2.2.2 ARSessionOrigin
2.3 可跟踪对象
2.3.1 可跟踪对象管理器
2.3.2 可跟踪对象事件
2.3.3 管理可跟踪对象
2.4 会话管理
第3章 ARCore功能特性与开发基础
3.1 ARCore概述及主要功能
3.1.1 运动跟踪
3.1.2 环境理解
3.1.3 光照估计
3.1.4 ARCore的不足
3.2 运动跟踪原理
3.2.1 ARCore坐标系
3.2.2 ARCore运动跟踪分类
3.2.3 ARCore运动跟踪
3.2.4 ARCore使用运动跟踪的注意事项
3.3 设备可用性检查
3.4 AR会话生命周期管理与跟踪质量
3.5 ARCore扩展包
3.6 相机配置
3.7 会话录制与回放
3.7.1 AR Foundation录制与回放
3.7.2 ARCore扩展录制与回放
3.8 即时放置
功能技术篇
第4章 平面检测与锚点管理
4.1 平面检测引导
4.2 平面管理
4.2.1 平面检测
4.2.2 可视化平面
4.2.3 个性化渲染平面
4.2.4 开启与关闭平面检测功能
4.2.5 显示与隐藏已检测平面
4.2.6 平面遮挡
4.3 射线检测
4.3.1 射线检测概念
4.3.2 射线检测详细讲解
4.4 可视化放置点
4.5 特征点与点云
4.5.1 特征点
4.5.2 点云
4.5.3 点云数据采集
4.6 锚点
第5章 图像检测跟踪
5.1 图像检测跟踪基本操作
5.2 图像跟踪功能启用与禁用
5.3 多图像跟踪
5.4 运行时创建参考图像库
5.5 运行时切换参考图像库
5.6 运行时添加参考图像
5.7 脱卡
5.8 图像跟踪优化
第6章 人脸检测跟踪
6.1 人脸检测基础
6.1.1 人脸检测概念
6.1.2 人脸检测技术基础
6.2 人脸姿态与网格
6.2.1 人脸姿态
6.2.2 人脸网格
6.3 人脸区域与多人脸检测
6.3.1 人脸区域
6.3.2 多人脸检测
第7章 光影效果
7.1 光照基础
7.1.1 光源
7.1.2 光与材质的交互
7.1.3 光照模型
7.1.4 三维渲染
7.2 光照估计
7.2.1 光照一致性
7.2.2 光照估计实例
7.3 环境反射
7.3.1 立方体贴图
7.3.2 纹理采样过滤
7.3.3 AREnvironmentProbeManager组件
7.3.4 使用环境反射
7.4 内置实时阴影
7.4.1 ShadowMap技术原理
7.4.2 使用实时阴影
7.5 Planar阴影
7.5.1 数学原理
7.5.2 代码实现
7.6 伪阴影
第8章 持久化存储与多人共享
8.1 云锚点
8.2 ARCore云锚点使用实例
8.3 ARCore云锚点使用注意事项
8.4 Azure云服务概述
8.5 Azure空间定位点使用实例
第9章 场景图像获取与场景深度
9.1 获取GPU图像
9.1.1 获取摄像头原始图像
9.1.2 获取屏幕显示图像
9.2 获取CPU图像
9.2.1 AR摄像头图像数据流
9.2.2 从CPU中获取摄像头图像
9.3 边缘检测原理
9.3.1 卷积
9.3.2 Sobel算子
9.4 CPU图像边缘检测实例
9.5 DepthAPI概述
9.6 DepthAPI实例
9.7 场景深度应用场景
第10章 相机与手势操作
10.1 AR场景操作
10.1.1 场景操作方法
10.1.2 场景操作实例
10.2 手势操作交互
10.2.1 手势检测
10.2.2 手势操作控制
10.3 XRInteractionToolkit
10.3.1 对象放置
10.3.2 对象选择
10.3.3 对象操作
第11章 三维文字与音视频
11.1 三维文字
11.1.1

     第 3章 ARCore功能特性与开发基础 ARCore是一个高级 AR应用开发引擎，高内聚、易使用，特别是集成到 AR Foundation框架后，提供了简洁统一的使用界面，这使利用其开发 AR应用变得非常高效。 ARCore运动跟踪稳定性好，并且支持多传感器融合（如深度传感器、双目相机），性能消耗低，有利于营造沉浸性更好的 AR体验。本章主要阐述 ARCore本身的技术能力和与 ARCore扩展包相关的知识。 3.1 ARCore概述及主要功能 2017年 6月，苹果公司发布了 ARKit SDK，它能够帮助用户在移动端快速实现 AR功能。 ARKit的发布推动了 AR概念的普及，但 ARKit只能用于苹果公司自家的移动终端，无法应用到 Android平台。 2017年 8月，谷歌公司正式发布对标 ARKit SDK的 ARCorea，将 AR能力带入 Android平台， ARCore也是一套用来创建 AR的 SDK，利用该工具包可以为现有及将来的 Android手机提供 AR功能，它通过采集环境信息及传感器数据使手机 /平板具备感知环境、了解现实世界、支持虚实交互的能力， ARCore还为 Android和 iOS平台同时提供了 API，支持 AR体验共享。 ARCore主要做两件工作，即跟踪用户设备姿态和构建对现实环境的理解。 ARCore利用 SLAM技术进行运动跟踪并构建环境三维结构信息，除此之外， ARCore还支持检测平坦的表面（如桌面或地面）、估计周围环境的光照信息。借助 ARCore对现实世界的理解，我们能够以一种与现实世界无缝融合的方式添加虚拟物体、注释或其他信息，例如可以将一只打盹的小猫放在咖啡桌的一角，或者利用艺术家的生平信息为一幅画添加注释。 虽然 ARCore出现时间比 ARKit晚，但事实上 ARCore项目开展比 ARKit早，在 2014年，谷歌公司展示了其 Tango项目成果， Tango是谷歌公司基于 FlyBy公司 VIO技术发展起来的 AR技术，技术比 ARCore更复杂，融合了更多传感器，需要额外的硬件辅助实现增强现实，过高的门槛使消费者甚至开发者难以触及，这导致 Tango技术并未能大规模推广。苹 aARCore后来被更名为 Google Play Services for AR，本书遵循原名，仍使用 ARCore进行描述。 果公司的 ARKit SDK发布后，由于其基于现有移动终端硬件平台，不需要额外硬件支持，大大降低了 AR使用者的门槛，取得了良好的市场反响。为抢占技术高点，谷歌公司也迅速在 Tango的基础上推出了 ARCore，并提供了 Android、iOS、Unity、Unreal、Java多个开发平台的 API。 ARCore是在移动手机广泛普及的情况下，谷歌公司适应时代潮流推出的 AR开发工具，但其可以追溯到 Tango这个已经研究很长时间的 AR技术项目，事实上 ARKit也基于 FlyBy公司的技术，因此，ARKit和 ARCore技术同源且具有基本相似的功能。 ARCore 通过 3个主要功能融合虚拟内容与现实场景，即运动跟踪、环境理解、光照估计。这 3个功能是 ARCore实现各项 AR功能的基础，也是 ARCore技术框架中最重要的支柱。 3.1.1运动跟踪 在三维空间中跟踪设备运动并最终定位其位姿是任何 AR应用的基础， ARCore通过 SLAM算法采集来自设备摄像头的图像数据和来自运动传感器的运动数据，综合分析并估测设备随着时间推移而相对于周围世界的姿态变化，如图 3-1所示。通过将渲染三维内容的虚拟相机姿态与 SLAM算法计算出的设备摄像头姿态对齐，就能够从正确的透视角度渲染虚拟内容，将渲染的虚拟内容叠加到从设备摄像头获取的图像上，从而实现虚实场景的几何一致性，使虚拟内容看起来就像真实世界的一部分。 图 3-1ARCore运动跟踪示意图 3.1.2环境理解 ARCore通过检测环境特征点和平面来不断改进它对现实世界环境的理解，通过检查位于常见水平或垂直表面（如桌子或墙壁）上的成簇特征点构建平面，并确定平面的边界，利用这些数据信息就可以将虚拟物体放置于平坦的真实环境表面上，实现虚拟物体和真实环境无缝融合，营造虚实一致的体验，如图 3-2所示。 图 3-2 ARCore通过检测特征点和平面来改进对环境的理解 3.1.3光照估计 ARCore可以检测设备所在空间环境光的相关信息，估计光照强度和色彩，利用这些光照信息，可以使用与真实环境光相同的光照信息渲染虚拟物体，使虚拟物体和周边真实物体光照效果保持一致，提升虚拟物体的真实感，如图 3-3所示，处于强光中的虚拟猫模型和处于阴影中的虚拟猫模型光照效果保持了与真实场景中光照的一致性。 ARCore还可以估计光源的位置和方向，从而支持虚拟物体生成与真实光照一致的阴影，进一步提升虚拟物体的真实感。 图 3-3 ARCore光照估计效果示意图 3.1.4ARCore的不足 1. 运动跟踪失效 ARCore SDK提供了稳定的运动跟踪功能，也提供了高精度的环境感知功能，但受限于 视觉 SLAM技术的技术水平和能力，ARCore的运动跟踪在以下情况时会失效。 1）在运动中进行运动跟踪 如果用户在火车或者电梯中使用 ARCore，这时 IMU传感器获取的数据不仅包括用户的移动数据