语音识别 原理与应用 第2版

本书系统地介绍了语音识别的原理与应用。全书共15章，原理部分涵盖声学特征、隐马尔可夫模型（HMM）、高斯混合模型（GMM）、深度神经网络（DNN）、语言模型和加权有限状态转换器（WFST），重点描述了GMM-HMM、DNN-HMM和端到端（E2E）三种语音识别框架；应用部分包含Kaldi、ESPnet、WeNet和工业应用实践介绍，内容主要来自工程经验，极具实用性。

洪青阳，厦门大学副教授，天聪智能创始人，主要研究方向是语音识别、声纹识别，先后主持国家自然科学基金两三项，科技部创新基金两项。牵头组建厦门大学智能语音实验室，带领xmuspeechXMUSPEECH团队连续两届获东方语种识别（OLR）竞赛第一名，成功研发国内第一套闽南语合成系统。具有丰富的工业界研发经验，与华为、云从、掌数科技、鼎桥等知名企业合作，承担过大量的智能语音项目，核心技术应用到华为智能手机和全国十五几个省市的司法/社保/证券/电力系统。长期从事本科生、研究生的语音识别教学工作，从最早的动态时间规整（DTW）、隐马尔可夫模型（HMM）到近期新的端到端（E2E）语音识别框架，与时俱进更新教学内容，积累了丰富的教学经验。李琳，厦门大学副教授，博士生导师，主要研究方向为语音信号处理、声纹识别、智能系统设计，主持国家自然科学基金一项，负责国家科技部重点研发计划项目子课题一项、省级科研项目一项，作为第一合作者参与国家自然基金两项，曾获福建省科技进步奖二等奖、福建省教学成果奖二等奖、厦门市科技进步奖一等奖。参与指导XMUSPEECHxmuspeech团队连续两届获东方语种识别竞赛第一名。国际IEEE学会会员，CCF高级会员，NCMMSC常设机构委员会委员，CCF语音对话与听觉专业组委员会委员，NCMMSC常设机构委员会委员。

第1章 语音识别概论 1
1.1 语音的产生和感知 1
1.2 语音识别过程 4
1.3 语音识别发展历史 8
1.4 国内语音识别现状 15
1.5 语音识别建模方法 18
1.5.1 DTW 19
1.5.2 GMM-HMM 19
1.5.3 DNN-HMM 20
1.5.4 E2E模型 22
1.6 语音识别开源工具 22
1.7 常用语音识别数据库 23
1.8 语音识别评价指标 24
1.9 参考资料 25
第2章 语音信号基础 28
2.1 声波的特性 28
2.2 声音的接收装置 29
2.2.1 麦克风的性能指标 30
2.2.2 麦克风阵列 31
2.3 声音的采样 32
2.4 声音的量化 33
2.5 语音的编码 35
2.6 WAV文件格式 39
2.7 WAV文件分析 40
2.8 本章小结 43
思考练习题 43
第3章 语音特征提取 44
3.1 预处理 44
3.2 短时傅里叶变换 48
3.3 听觉特性 51
3.4 线性预测 54
3.5 倒谱分析 55
3.6 常用的声学特征 56
3.6.1 语谱图 57
3.6.2 FBank 58
3.6.3 MFCC 59
3.6.4 PLP 60
3.7 本章小结 62
思考练习题 63
第4章 HMM 64
4.1 HMM的基本概念 66
4.1.1 马尔可夫链 67
4.1.2 双重随机过程 68
4.1.3 HMM的定义 69
4.2 HMM的三个基本问题 70
4.2.1 模型评估问题 71
4.2.2 很好路径问题 74
4.2.3 模型训练问题 76
4.3 本章小结 78
4.4 参考资料 79
思考练习题 79
第5章 GMM-HMM 80
5.1 概率统计 81
5.2 高斯分布 82
5.3 GMM 85
5.3.1 初始化 86
5.3.2 重估计 87
5.4 GMM与HMM的结合 88
5.5 GMM-HMM的训练 94
5.6 模型自适应 96
5.6.1 MAP 96
5.6.2 MLLR 97
5.6.3 fMLLR 97
5.6.4 SAT 98
5.7 本章小结 98
5.8 参考资料 98
思考练习题 99
第6章 基于HMM的语音识别 100
6.1 建模单元 100
6.2 发音过程与HMM状态 103
6.3 串接HMM 104
6.4 固定语法的识别 108
6.5 随机语法的识别 113
6.6 音素的上下文建模 119
……