复杂环境下语音信号处理的深度学习方法

语音降噪处理是信号处理的重要分支领域。近年来， 该领域在人工智能与深度学习技术的驱动下取得了突破性 进展。本书系统总结语音降噪处理的深度学习方法，尽可 能涵盖该方法的前沿进展。全书共分8章。第1章是绪论； 第2章介绍深度学习的基础知识和常见的深度网络模型；第 3～6章集中介绍基于深度学习的语音降噪处理前端算法， 其中，第3章介绍语音检测，第4章介绍单通道语音增强， 第5章介绍多通道语音增强，第6章介绍多说话人语音分离 ；第7章和第8章分别介绍基于深度学习的语音降噪处理在 声纹识别和语音识别方面的应用，其中着重介绍基于深度 学习的现代声纹识别、语音识别基础和前沿进展。 本书专业性较强，主要面向具备一定语音信号处理和 机器学习基础、致力于从事智能语音处理相关工作的高年 级本科生、研究生和专业技术人员。

张晓雷，西北工业大学教授，博导，入选国家千人计划青年项目、陕西省百人计划青年项目。清华大学博士、美国俄亥俄州立大学博士后。从事声信号与语音处理，机器学习，人工智能的研究工作。在Neural Networks、IEEE TPAMI、IEEE TASLP、IEEE TCYB、IEEE TSMCB等期刊、会议发表论文50余篇。合著译著1部。承担国家重点研发计划、国家自然科学基金重点项目等省部级以上项目10余项。论文“Multilayer Bootstrap Networks”获得国际神经网络学会与国际顶级期刊《Neural Networks》联合授予的2020年度唯一最佳论文奖。获得亚太信号与信息处理学会杰出讲者称号、UbiMedia 2019国际会议最佳论文奖、北京市科学技术一等奖、教育部科技成果完成者荣誉称号。研究成果在国内三大电信运营商、金融、交通、保险等行业的20余家主流企业成功应用。

第 1章绪论 1 第 2章深度学习基础 5 21有监督学习 5 22单层神经网络 6 221基本模型 6 222激活函数 7 23前馈深度神经网络10 231反向传播算法11 232正则化15 24循环神经网络 17 241循环神经网络基础 17 242长短时记忆网络 20 243门控循环神经网络 22 244深层 RNN结构23 245序列数据的 RNN建模框架 25 25卷积神经网络 26 251卷积神经网络基础 27 252其他卷积形式31 253残差神经网络35 254时序卷积网络37 26神经网络中的归一化 39 261批归一化 39 262层归一化 41 27神经网络中的注意力机制42 271编码器-解码器框架42 272 编码器 -注意力机制-解码器框架 44 2 73 单调注意力机制 46 Transformer47 274 28生成对抗网络 48 281 基本结构 49 282 模型训练 51 29本章小结 52 第 3章语音检测 53 31引言 53 32基本知识 54 321 信号模型 54 322 评价指标 55 33语音检测模型 57 3 31 语音检测模型的基本框架 57 3 32 基于深度置信网络的语音检测 58 3 33 基于降噪深度神经网络的语音检测61 3 34 基于多分辨率堆栈的语音检测模型框架 63 3 4语音检测模型的损失函数65 3 41 最小化交叉熵66 3 42 最小均方误差66 343 最大化 ROC曲线下面积 66 3 5语音检测的声学特征 69 3 51 短时傅里叶变换的频带选择69 3 52 多分辨率类耳蜗频谱特征 70 3 6模型的泛化能力 72 37本章小结 73 第 4章单通道语音增强 75 41引言 75 42基本知识 77 421 信号模型 77 422 评价指标 79 43频域语音增强 81 431算法框架 81 432训练目标 82 4 33语音增强模型89 4 34语音去混响模型 93 44时域语音增强 100 441关键问题 101 442卷积模型 102 443损失函数 104 45本章小结 106 第 5章多通道语音增强 107 51引言 107 52信号模型 108 5 3空间特征提取法 109 531空间特征 109 532深度模型 111 54波束形成方法 113 5 41自适应波束形成器 114 542噪声估计 116 5 43基于神经网络的波束形成方法 117 5 5自组织麦克风阵列方法 121 5 51深度自组织波束形成123 5 52通道权重估计124 5 53通道选择算法125 56本章小结 131 第 6章多说话人语音分离 133 61引言 133 62信号模型 134 6 3与说话人相关的语音分离方法 134 6 31模型匹配法 134 6 32声纹特征法 139 6 4与说话人无关的语音分离142 6 41深度聚类算法143 6 42置换不变训练算法 146 6 43基于时域卷积的端到端语音分离算法 148 65本章小结 151 第 7章声纹识别 153 71引言 153 72说话人确认 155 7 21说话人确认基础 155 7 22基于分类损失的深度嵌入说话人确认算法159 7 23基于确认损失的端到端说话人确认算法 168 7 3说话人分割聚类 173 7 31说话人分割聚类基础174 7 32分阶段说话人分割聚类 176 7 33端到端说话人分割聚类算法180 74鲁棒声纹识别 183 7 41结合增强前端的抗噪声纹识别 183 7 42基于无监督域自适应的鲁棒声纹识别 185 75本章小结 188 第 8章语音识别 191 81引言 191 82语音识别基础 193 821信号模型 193 822评价指标 193 8 3端到端语音识别 194 8 31连接时序分类模型 194 8 32注意力机制模型 203 8 4语音识别的噪声鲁棒方法206 85说话人自适应 210 8 51说话人自适应训练 210 8 52测试阶段自适应 214 86本章小结 220 参考文献 221