人机交互中的情感虚拟人技术

本书从人机交互和虚拟现实、虚拟人技术的基本概念入手，介绍了虚拟人机交互中的虚拟人三维人脸建模技术、行为控制技术、语音交互技术、Agent技术的基本概念和原理，论述了情感计算在虚拟人中应用的必要性，分析了虚拟人情感建模技术国内外的研究现状并探讨了普适性虚拟人情感模型的实现方法。结合基于虚拟人的人机交互案例说明了情感虚拟人的主要技术实现方法和艺术表现形式。

谷学静，女，博士学位，华北理工大学副教授。主要研究方向为数字媒体技术、人机交互、虚拟人及智能Agent、人工心理和人工情感。2010年曾在加拿大多伦多大学智能辅助技术及系统实验室进行虚拟人智能辅助系统的访学研究。现任国际期刊《International Journal of Kansei Information》编委、中国人工智能学会人工心理与人工情感专业委员会委员、中国心理学会工程心理学分会会员、唐山市数字媒体工程技术研究中心副主任。近年来主持及参与国家自然科学基金项目、河北省自然科学基金项目，河北省科技计划项目、河北省高等学校科学研究重点资助项目、河北省高等教育教学改革研究与实践项目等10余项。在国家级核心期刊、国际期刊及省级以上优秀刊物共发表学术论文20余篇，出版著作2部。
王志良，男，博士学位，北京科技大学教授。在国内率先开始人工心理和情感计算的相关理论及技术应用研究。1998年，所提出的人工心理的概念，受到了国、内外的关注。1999年，所写论文“人工心理学”被IPMM99、ICAI99两个国际会议接受为大会主题发言。现任中国人工智能学会人工心理与人工情感专业委员会主任。近年来主持完成国家863计划项目、973计划子项目、国家自然科学基金项目、国家攻关项目、教育部重点科研项目等多项国家级项目，发表SCI、EI 收录论文60余篇，出版著作15部。
郭宇承，男，硕士学位，华北理工大学讲师。主要从事数字媒体艺术、产品可视化、虚拟交互技术等方面的研究。曾先后去韩国、德国的高校和公司就影视动画制作技术、艺术设计等领域进行访学交流。现任唐山市数字媒体工程技术研究中心主任。在国家级核心期刊及省级以上优秀刊物共发表学术论文20余篇，获得实用新型专利10项，出版著作2部，完成横、纵向课题30余项。

丛书序言
前言
作者简介
第1章绪论1
1.1虚拟现实技术1
1.1.1虚拟现实技术概述1
1.1.2虚拟现实系统的构成3
1.1.3虚拟现实系统的关键技术和主要研究内容4
1.1.4虚拟现实系统的研究现状及发展6
1.1.5虚拟现实系统的应用领域9
1.2人机交互技术11
1.2.1人机交互的发展历史12
1.2.2人机交互的研究内容13
1.2.3人机交互模型和设计方法14
1.2.4人机交互的相关学科16
1.3虚拟人概论19
1.3.1虚拟人定义19
1.3.2虚拟人相关技术21
1.3.3虚拟人技术与数字化艺术25
1.3.4虚拟人的主要研究内容26
1.3.5虚拟人技术的应用领域27
缩略语29
思考题29
参考文献30
第2章三维人脸建模32
2.1相关理论与技术基础33
2.1.1三维人脸动画技术33
2.1.2 OpenGL技术34
2.2三维人脸建模研究35
2.2.1人脸的特征35
2.2.2人脸模型的建立36
2.2.3人脸模型数据的获取38
2.3三维人脸动画研究39
2.3.1人脸动画实现方法39
2.3.2MPEG-4人脸动画标准41
2.4三维人脸动画应用实例43
2.4.1虚拟人语音交互系统43
2.4.2虚拟中医诊断教学系统48
2.4.3虚拟人美容系统55
缩略语58
思考题58
参考文献58
第3章虚拟人行为控制60
3.1虚拟人行为控制技术概述60
3.2国内、外发展现状62
3.2.1行为动画的发展62
3.2.2行为建模的研究目的62
3.2.3虚拟人行为模型研究63
3.3基于情感的虚拟人行为表达研究64
3.3.1智能交互层的情感决策64
3.3.2情感驱动的虚拟人行为表达71
3.3.3虚拟人路径规划74
3.4虚拟人行为控制应用实例76
3.4.1智能家居中的虚拟人仿真76
3.4.2紧急事件响应人群运动仿真
系统80
缩略语84
思考题84
参考文献84
第4章语音交互技术86
4.1语音识别技术86
4.1.1语音识别发展与现状86
4.1.2语音识别基本原理87
4.1.3语音识别的分类88
4.1.4语音识别算法——HMM89
4.1.5语音识别软件介绍90
4.2语音合成技术92
4.2.1语音合成研究的发展历史92
4.2.2语音合成的技术分类93
4.2.3语音合成系统93
4.3语音交互技术应用实例94
4.3.1语音识别过程94
4.3.2语音合成过程96
4.3.3实验效果96
4.4说话人识别97
4.4.1说话人识别的分类97
4.4.2说话人识别的方法97
4.4.3应用实例98
4.5自然语言理解101
4.5.1NLP 技术简介101
4.5.2国内、外关于自然语言理解技术的研究102
4.5.3自然语言处理相关成果和工具105
缩略语107
思考题107
参考文献107
第5章Agent技术及其应用109
5.1Agent技术概述109
5.1.1Agent的定义描述109
5.1.2Agent的结构109
5.2多Agent系统110
5.3Agent的研究内容112
5.4基于模糊认知图的情感Agent模型研究117
5.5虚拟人英语教学系统整体设计123
5.5.1设计目标123
5.5.2整体设计123
5.5.3功能模块设计125
5.5.4开发环境与工具141
缩略语142
思考题143
参考文献143
第6章情感模型145
6.1国内、外研究现状简述145
6.2普适性研究148
6.2.1HMM情感模型的推广149
6.2.2变阈值处理溢界问题150
6.3个体情绪差异性研究153
6.4智能家居个性化交互机器人情感模型的构建158
6.4.1个性化情感模型研究基础159
6.4.2心境自发转移161
6.4.3心境刺激转移163
6.4.4针对特定用户的个性化情感165
缩略语166
思考题167
参考文献167
附录思考题答案168
附录A第1章思考题答案168
附录B第2章思考题答案171
附录C第3章思考题答案172
附录D第4章思考题答案173
附录E第5章思考题答案176
附录F第6章思考题答案178

虚拟人是一种基于真实人体数据构建的计算机模型，外观和行为均具有类人特征的虚拟主体。虚拟人是信息科学、心理科学、生物科学、社会科学与艺术美学高度融合的产物，是多学科交叉的人机交互研究领域。情绪是认知不可缺少的一部分，随着情绪心理学和信息科学的发展，情感虚拟人也成为了一个快速发展的领域。在服务相关的人机交互技术中，如在线学习、游戏角色或陪伴等应用领域，赋予没有灵魂的虚拟人以识别和适应用户的情感的能力来进行适当的情感交流，可以使得虚拟人系统、化身等技术更加符合市场需要，使相关产品具有良好的用户体验。 本书以情感虚拟人相关应用为研究背景，以良好的用户体验为设计目标，以人工智能和人工心理理论为指导，以虚拟人为交互平台，主要探讨虚拟人三维人脸建模、行为控制、智能化、情感化及个性化的实现方法和技术，以提高人机交互效率和品质。介绍了情感虚拟人系统的设计方案，包括三维人脸建模技术、行为控制技术、语音交互技术、Agent技术和情感建模方法。 本书共分6章，第1章为绪论，介绍了虚拟现实技术、人机交互技术的基本概念和研究内容，重点介绍了虚拟人的定义及相关技术、主要研究内容与应用领域；第2章结合虚拟人语音交互系统、虚拟人中医诊断教学系统和虚拟人美容系统等实例说明了三维人脸建模技术和动画技术的原理及实现方法；第3章在综述虚拟人行为控制技术国内、外研究现状的基础上，分别结合智能家居和紧急事件响应人群运动仿真系统等实例，探讨了情感虚拟人行为表达研究方法；第4章全面介绍了语音交互的相关技术和方法。第5章介绍了Agent技术及其在情感虚拟人英语教学系统中的应用；第6章探讨了普适性虚拟人情感模型的构建方法。本书运用了基本原理、方法与实例说明相结合的形式，并附有大量的图表，以便于读者理解。 本书是由华北理工大学谷学静、北京科技大学王志良和华北理工大学郭宇承三位老师撰写完成的。参考了相关的国内外有关虚拟人及人工心理的研究理论，在此谨向参考文献的作者表示感谢。本书的出版得到了国家自然科学基金面上项目（61170117）、河北省高等学校科学技术研究重点项目（ZD2014074）、河北省高等教育教学改革研究与实践项目（2015GJJG288）、唐山市数字媒体工程技术研究中心的支持。 由于作者水平有限，书中不妥之处在所难免，衷心希望同仁和读者批评指正。