智能驾驶与人机交互

随着智能化技术在汽车领域的应用日渐广泛，智能座舱这一概念频繁出现在各大车企的新车发布会及宣传活动中，其也是赋能传统汽车智能化、网联化的关键，而人机交互是智能座舱的核心。另外，“软件定义汽车”已经成为行业的共识，除了专门的软件及科技公司外，主机厂也纷纷成立了自家的软件部门或软件公司。在学术界，与人机交互相关的环境感知、人机共驾、人机共情等研究工作越来越多，很多学术会议及期刊也不断推出与之相关的研讨会与特刊。本教材编写团队拥有多年智能座舱与人机交互研发及量产经验，本着开放赋能、共同进步的目标，特编写本书。本书系统化介绍了人机交互的内涵、核心技术、开发与测试方法，帮助学生快速掌握设计、算法、工程、测试等核心能力。为了方便入门，本书还加入了与人机交互开发相关的基础知识介绍，如相关工业设计基础、算法基础、硬件基础、数据基础及相关架构等。 本书主要面向高校计算机学院、汽车学院以及车企等与智能驾驶、智能座舱、人机交互相关的学生、研究人员和开发人员等。本书既可以用于面向智能驾驶的人机交互入门级教材，也可作为智能座舱与人机交互开发的参考工具书。

杨聪，男，副教授。博士毕业于德国锡根大学（University of Siegen），师从Marcin Grzegorzek教授，研究方向为计算机视觉与模式识别。后在法国国家信息与自动化研究所（INRIA）进行博士后研究，师从Marie-Odile Berger教授，方向集中于计算机视觉并涉及多个学科的交叉。2017年回国，担任扩博智能（Clobotics）算法团队负责人，带领团队成功研发并交付了多个智能零售相关产品，客户包括可口可乐，尼尔森，沃尔玛，宝洁等。2019年加入地平线机器人，并担任南京人工智能高等研究院高级研究员，带领团队深度参与了地平线征程2-5代芯片在智能驾驶领域的落地与量产，也使得长安UNI-T成为首款搭载国产人工智能芯片的智能汽车。在此期间，他还设计并提出了多个基于国产大算力芯片的参考算法包。杨聪博士先后在TVCG, TIP，ACM MM，TITS，TCSS，ECCV, PR等国内外知名期刊或会议发表学术论文40多篇，专著2本（中英文各一本），专利近30个（包含美国专利3个），并担任TVCG，TII，TITS等多个期刊/会议审稿人。

前言 第1章　概述 案例导入：长安UNI-T汽车人机交互…001 1.1　汽车人机交互发展历程…005 1.1.1　技术推动下的人机交互…005 1.1.2　社会变迁下的人机交互…014 1.2　汽车人机交互安全性要求…015 1.2.1　驾驶员行为分析模型…015 1.2.2　驾驶员心理分析模型…026 1.3　汽车人机交互演变与趋势…032 练习题…040 第2章　面向智能驾驶的人机交互设计 案例导入：多模态疲劳驾驶检测与缓解…042 2.1　智能驾驶人机交互设计原则…050 2.1.1　智能驾驶人机交互场景…050 2.1.2　人机交互中的多模态传达…052 2.1.3　人机交互中的文化因素…058 2.1.4　人机交互中的感性需求…063 2.1.5　智能驾驶中的人机共情…071 2.2　智能驾驶人机交互技术类型…076 2.3　智能驾驶人机交互安全性标准…077 练习题…088 第3章　智能驾驶人机交互系统架构设计 案例导入：智能驾驶语音识别技术架构…090 3.1　智能驾驶人机交互系统架构设计…091 3.1.1　人机交互系统架构总览…092 3.1.2　人机交互车端系统架构设计…095 3.1.3　车-云结合的人机交互系统架构设计…097 3.2　智能驾驶人机交互系统功能开发…103 3.2.1　人机交互系统开发流程…103 3.2.2　人机交互系统开发工具…105 3.3　智能驾驶人机交互系统开发流程…110 3.3.1　面向量产的人机交互系统开发实践…110 3.3.2　开发团队高效协作方法…111 练习题…115 第4章　智能驾驶人机交互系统硬件基础 案例导入：基于地平线征程芯片的硬件接入设计…117 4.1　车规级芯片…123 4.1.1　芯片性能…124 4.1.2　图形处理器与片上系统…126 4.2　车载传声器…132 4.2.1　传声器类型及规格…132 4.2.2　传声器阵列参数及安装规则…134 4.3　车载摄像头…134 4.3.1　摄像头类型及规格…135 4.3.2　摄像头选型及安装规则…135 4.4　基于芯片的硬件设计…136 练习题…137 第5章　智能驾驶人机交互系统算法基础 案例导入：面向智能驾驶的VarGNet网络结构设计…139 5.1　人机交互系统中的深度学习基础…142 5.1.1　卷积神经网络…143 5.1.2　损失函数…149 5.1.3　模型训练及测试…150 5.1.4　模型压缩…151 5.2　人机交互系统中的机器视觉算法基础…156 5.2.1　分类…157 5.2.2　检测…159 5.2.3　分割…163 5.2.4　关键点…166 5.3　人机交互系统中的语音识别算法基础…170 5.3.1　声学模型…171 5.3.2　语言模型…180 5.3.3　解码器…185 5.4　人机交互系统中的大语言模型基础…188 5.4.1　从基础模型到大模型…188 5.4.2　典型大语言模型…190 5.4.3　多模态大模型…193 练习题…199 第6章　智能驾驶人机交互系统数据基础 案例导入：FatigueView疲劳驾驶数据采集与标注…201 6.1　人机交互数据采集…206 6.1.1　采集环境搭建…206 6.1.2　采集文档格式…207 6.1.3　采集数据管理…207 6.2　人机交互数据标注…209 6.2.1　数据标注方法…210 6.2.2　数据标注文档…217 6.2.3　标注体系建设…218 练习题…223 第7章　智能驾驶人机交互算法开发 案例导入：汽车驾驶中的安全带感知…225 7.1　视觉交互算法开发…229 7.1.1　视线…231 7.1.2　手势…235 7.1.3　行为…240 7.1.4　情绪…246 7.2　语音交互算法开发…251 7.2.1　语音前端…251 7.2.2　语音后端…256 7.3　多模交互算法开发…269 7.3.1　多模语音…269 7.3.2　多模态大模型…273 练习题…276 第8章　智能驾驶人机交互软件开发 案例导入：驾驶中打电话识别与主动降音…278 8.1　人机交互感知软件开发框架…285 8.1.1　通信及底层组件…285 8.1.2　模型集成框架…290 8.2　人机交互感知软件开发流程…294 8.2.1　开发环境搭建…294 8.2.2　开发流程概述…294 8.3　人机交互感知软件开发工具…295 8.3.1　AI计算单元…295 8.3.2　AI芯片工具链…297 8.3.3　地平线AI工具链举例…299 练习题…303 第9章　智能驾驶人机交互应用开发 案例导入：驾驶员抽烟识别及交互应用…305 9.1　智能驾驶人机交互应用类型…308 9.2　人机交互应用开发框架…310 9.2.1　通信…310 9.2.2　组件…314 9.2.3　工程模式…326 9.2.4　对外输出能力…331 9.3　人机交互应用开发规则…334 9.3.1　应用可视化配置…335 9.3.2　应用冲突处理…337 练习题…338 第10章　智能驾驶人机交互系统测试 案例导入：驾驶员抽烟感知及交互测试…340 10.1　人机交互系统测试流程…341 10.2　人机交互系统测试标准…342 10.2.1　智能驾驶车载视觉测试标准…342 10.2.2　智能驾驶车载语音测试标准…347 10.3　人机交互测试工具…353 10.3.1　图像测试工具…353 10.3.2　语音测试工具…357 练习题…359 第11章　智能驾驶人机交互系统迭代 案例导入：基于AirFlow的全自动模型迭代…361 11.1　人机交互系统迭代周期…364 11.2　人机交互系统长尾问题及升级机制…366 11.2.1　人机交互系统中的长尾问题…367 11.2.2　人机交互系统快速迭代与升级…368 11.3　人机交互系统迭代流程自动化…373 练习题…375 附录　术语与符号列表…377 参考文献…382