听觉数字孪生与智能音频处理技术

\"本书面向虚实融合的听觉感知、时空交汇的音频呈现和人机混合的音乐创作等应用场景，将听觉数字孪生、沉浸式空间音频、音乐人工智能和混合增强智能等技术进行统一整合，提出一整套完整的听觉数字孪生智能处理技术的体系架构。 全书共6章，分为3个部分：上篇虚实融合的听觉感知（第1-2章），简要介绍听觉数字孪生的概念和听觉孪生系统设计；中篇时空交汇的音频呈现（第3-4章），介绍沉浸式音频系统和空间音频渲染技术；下篇人机混合的音乐创作（第5-6章），介绍智能音乐生成和ChatGPT核心技术及应用场景。 读者对象： 本书的主要读者为从事声学、听觉、音频和音乐等方向及新一代人工智能技术研究的相关科研院所的学者、专业技术人员和自动化、计算机、通信与信息系统、人工智能等相关专业的本科生、研究生，可为相关领域专业研究人员提供一定的理论与工程实践参考，因而本书具有较大的社会需求。同时，本书的相关内容也可以为我国文化艺术、广播电视等领域内未来听觉、音频和音乐系统研制、开放与应用提供了一定的参考依据，具有较大的应用价值。\"

\"靳聪，博士，中国传媒大学信息与通信工程学院副教授。自幼学习小提琴演奏，崇尚科学与艺术的融合，主要研究方向为强化学习、音乐人工智能和人机混合表演。主持国家自然科学基金青年项目1项，参与国家自然科学基金重点项目、北京市自然科学基金-小米联合基金项目和科技部重点研发计划等项目。在国内外期刊和会议上共发表学术论文40余篇，其中SCI检索期刊10余篇，包括IEEE TNNLS、ICME、ACM MM等。目前担任CAAI Trans、FITEE等知名期刊的客座编辑，以及CAAI 世界音乐人工智能大会、亚洲人工智能大会、ICCSI等国际会议的论坛主席及程序委员会委员。 王晶，工学博士，北京理工大学信息与电子学院副教授，博士生导师，曾为香港中文大学和美国俄亥俄州立大学访问学者，入选北京市高等学校青年人才计划，主要研究领域为语音和音频信号处理、多媒体通信、虚拟现实等，承担国家自然科学基金、国家科技重大专项、工信部智能制造专项、北京市自然基金等多项国家和省部级课题。目前是国际ISO/IEC JTC1 SC24/SC29专家委员，中国AVS数字音视频编解码标准组织专家成员、IEEE高级会员、中国通信学会高级会员、中国电子学会高级会员、中国人工智能学会会员、中国计算机学会会员等。至今已发表SCI/EI检索学术论文60余篇，授权发明专利10余项，获得AVS产业技术创新奖，主持获批电子行业标准1项，主持研制虚拟现实音频国家标准1项。 李小兵，作曲家、中央音乐学院教授、音乐人工智能系主任，国家社科重大项目首席专家。“3D音乐”的研究、倡导者，电子音乐、计算机音乐、音乐科技方面的专家。把深度学习引入艺术创作，在音乐人工智能与音乐信息科技方面作出了突出贡献。音乐创作涵盖几乎所有音乐类型，部分作品受到群众喜爱具广泛影响力，曾荣获金钟奖、文华大奖、文华作曲奖、全国歌剧、舞剧一等奖、中宣部“五个一工程”奖等国内外奖项。\"

上篇 虚实融合的听觉感知 第1章 听觉数字李生 1.1 听觉数字李生概述 1.2 听觉数字李生概念 1.3 数字李生技术的应用 1.3.1 医学应用 1.3.2 航空航天应用 1.3.3 工业应用 1.3.4 其他应用 第2章 听觉李生系统设计 2.1 听觉李生制作系统 2.1.1 审视空间的作用 2.1.2 人机交互框架与系统设计 2.1.3 交互式音频制作系统 2.2 听觉李生交互设计 2.2.1 共享虚拟环境中的声音交互 2.2.2 共享虚拟环境中的多感官具身交互 2.2.3 虚拟声场的设计与实现 中篇 时空交汇的音频呈现 第3章 沉浸式空间音频 3.1 沉浸式空间音频系统 3.1.1 通用系统框架 3.1.2 三维声音频系统 3.1.3 车载沉浸音频系统 3.2 空间音频的3种表示方式 3.2.1 基于声道的方式 3.2.2 基于对象的方式 3.2.3 基于场景的方式 3.3 空间音频编解码技术 3.3.1 立体声编解码技术 3.3.2 多声道音频编解码技术 3.3.3 三维音频编解码技术 3.3.4 6DoF音频技术 第4章 空间音频渲染技术 4.1 基于扬声器的空间音频谊染 4.1.1 幅度平移技术 4.1.2 波场合成技术 4.1.3 声场重构技术 4.1.4 多声道下混和扬声器增强 4.2 基于双耳的空间音频谊染 4.2.1 双耳感知特性 4.2.2 基于头相差传递函数的双耳音频渲染 4.2.3 双耳音频渲染中的音效 4.3 空间音频主观评价 4.3.1 多声道音频主观评价标准 4.3.2 无参考空间音频主观评价 4.3.3 双耳虚拟音频主观评价 下篇 人机混合的音乐创作 第5章 智能音乐生成 5.1 国内外研究动态