现代语音信号处理理论与技术

本书系统介绍了语音信号处理的基础、原理、方法、应用、新理论、新成果与新技术、前沿领域及研究进展，以及背景知识、研究现状、应用前景和发展趋势。全书分三篇共18章。第一篇语音信号处理基础，包括第1章绪论，第2章语音信号处理的基础知识；第二篇语音信号分析，包括第3章时域分析，第4章短时傅里叶分析，第5章倒谱分析与同态滤波，第6章线性预测分析，第7章语音信号的非线性分析，第8章语音声学参数检测与估计，第9章矢量量化，第10章隐马尔可夫模型；第三篇语音信号处理技术与应用，包括第11章语音编码，第12章语音合成，第13章语音识别，第14章说话人识别和语种辨识，第15章智能信息处理技术在语音信号处理中的应用，第16章语音增强，第17章麦克风阵列语音信号处理，第18章语音信息对抗。本书体系完整，结构严谨，系统性强，原理阐述透彻，内容繁简适中，丰富而新颖，联系实际应用。本书可作为高等院校信号与信息处理、通信与电子工程、电路与系统、模式识别与人工智能等专业及学科高年级本科生及研究生的教材，也可供该领域的科研及工程技术人员参考。

胡航，哈尔滨工业大学电子信息学院，副教授，主要从事信号处理方面的教学、科研工作，编著出版《语音信号处理》等教材多部，

第一篇语音信号处理基础
第1章绪论1
1．1语音信号处理的发展历史1
1．2语音信号处理的主要研究内容及发展概况3
1．3本书的内容7
思考与复习题8
第2章语音信号处理的基础知识9
2．1概述9
2．2语音产生的过程9
2．3语音信号的特性12
2．3．1语言和语音的基本特性12
2．3．2语音信号的时间波形和频谱特性13
2．3．3语音信号的统计特性15
2．4语音产生的线性模型16
2．4．1激励模型17
2．4．2声道模型18
2．4．3辐射模型20
2．4．4语音信号数字模型20
2．5语音产生的非线性模型21
2．5．1FM-AM模型的基本原理22
2．5．2Teager能量算子22
2．5．3能量分离算法23
2．5．4FM-AM模型的应用24
2．6语音感知24
2．6．1听觉系统24
2．6．2神经系统25
2．6．3语音感知26
思考与复习题29
第二篇语音信号分析
第3章时域分析30
3．1概述30
3．2数字化和预处理31
3．2．1取样率和量化字长的选择31
3．2．2预处理33
3．3短时能量分析34
3．4短时过零分析36
3．5短时相关分析39
3．5．1短时自相关函数39
3．5．2修正的短时自相关函数40
3．5．3短时平均幅差函数41
3．6语音端点检测42
3．6．1双门限前端检测43
3．6．2多门限过零率前端检测43
3．6．3基于FM-AM模型的端点检测43
3．7基于高阶累积量的语音端点检测44
3．7．1噪声环境下的端点检测44
3．7．2高阶累积量与高阶谱44
3．7．3基于高阶累积量的端点检测46
思考与复习题48
第4章短时傅里叶分析50
4．1概述50
4．2短时傅里叶变换50
4．2．1短时傅里叶变换的定义50
4．2．2傅里叶变换的解释51
4．2．3滤波器的解释54
4．3短时傅里叶变换的取样率55
4．4语音信号的短时综合56
4．4．1滤波器组求和法56
4．4．2FFT求和法58
4．5语谱图59
思考与复习题61
第5章倒谱分析与同态滤波62
5．1概述62
5．2同态信号处理的基本原理62
5．3复倒谱和倒谱63
5．4语音信号两个卷积分量复倒谱的性质64
5．4．1声门激励信号64
5．4．2声道冲激响应序列65
5．5避免相位卷绕的算法66
5．5．1微分法67
5．5．2最小相位信号法67
5．5．3递推法69
5．6语音信号复倒谱分析实例70
5．7Mel频率倒谱系数72
思考与复习题73
第6章线性预测分析74
6．1概述74
6．2线性预测分析的基本原理74
6．2．1基本原理74
6．2．2语音信号的线性预测分析75
6．3线性预测方程组的建立76
6．4线性预测分析的解法(1)——自相关和协方差法77
6．4．1自相关法78
6．4．2协方差法79
6．4．3自相关和协方差法的比较80
6．5线性预测分析的解法(2)——格型法81
6．5．1格型法基本原理81
6．5．2格型法的求解83
6．6线性预测分析的应用——LPC谱估计和LPC复倒谱85
6．6．1LPC谱估计85
6．6．2LPC复倒谱87
6．6．3LPC谱估计与其他谱分析方法的比较88
6．7线谱对(LSP)分析89
6．7．1线谱对分析原理89
6．7．2线谱对参数的求解91
6．8极零模型91
思考与复习题93
第7章语音信号的非线性分析94
7．1概述94
7．2时频分析94
7．2．1短时傅里叶变换的局限95
7．2．2时频分析96
7．3小波分析97
7．3．1概述97
7．3．2小波变换的定义97
7．3．3典型的小波函数99
7．3．4离散小波变换100
7．3．5小波多分辨分析与Mallat算法100
7．4基于小波的语音分析101
7．4．1语音分解与重构101
7．4．2清/浊音判断102
7．4．3语音去噪102
7．4．4听觉系统模拟103
7．4．5小波包变换在语音端点检测中的应用103
7．5混沌与分形104
7．6基于混沌的语音分析105
7．6．1语音信号的混沌性105
7．6．2语音信号的相空间重构106
7．6．3语音信号的Lyapunov指数108
7．6．4基于混沌的语音、噪声判别109
7．7基于分形的语音分析110
7．7．1概述110
7．7．2语音信号的分形特征110
7．7．3基于分形的语音分割111
7．8压缩感知113
7．9语音信号的压缩感知114
7．9．1语音信号的稀疏性114
7．9．2语音压缩感知的实现114
7．9．3需要进一步解决的问题116
思考与复习题117
第8章语音声学参数检测与估计118
8．1基音估计118
8．1．1自相关法119
8．1．2并行处理法121
8．1．3倒谱法122
8．1．4简化逆滤波法124
8．1．5高阶累积量法127
8．1．6小波变换法127
8．1．7基音检测的后处理128
8．2共振峰估计129
8．2．1带通滤波器组法129
8．2．2DFT法130
8．2．3倒谱法131
8．2．4LPC法133
8．2．5FM-AM模型法134
思考与复习题135
第9章矢量量化136
9．1概述136
9．2矢量量化的基本原理137
9．3失真测度138
9．3．1欧氏距离——均方误差139
9．3．2LPC失真测度139
9．3．3识别失真测度141
9．4很好矢量量化器和码本的设计141
9．4．1矢量量化器很好设计的两个条件141
9．4．2LBG算法142
9．4．3初始码书生成142
9．5降低复杂度的矢量量化系统143
9．5．1无记忆的矢量量化系统144
9．5．2有记忆的矢量量化系统146
9．6语音参数的矢量量化148
9．7智能信息处理在矢量量化中的应用策略149
思考与复习题150
第10章隐马尔可夫模型151
10．1概述151
10．2隐马尔可夫模型的引入152
10．3隐马尔可夫模型的定义154
10．4隐马尔可夫模型三个问题的求解155
10．4．1概率的计算156
10．4．2HMM的识别158
10．4．3HMM的训练159
10．4．4EM算法160
10．5HMM的选取161
10．5．1HMM的类型选择161
10．5．2输出概率分布的选取162
10．5．3状态数的选取162
10．5．4初值选取162
10．5．5训练准则的选取164
10．6HMM应用与实现中的一些问题165
10．6．1数据下溢165
10．6．2多输出(观察矢量序列)情况165
10．6．3训练数据不足166
10．6．4考虑状态持续时间的HMM167
10．7HMM的结构和类型169
10．7．1HMM的结构169
10．7．2HMM的类型171
10．7．3按输出形式分类172
10．8HMM的相似度比较173
思考与复习题174
第三篇语音信号处理技术与应用
第11章语音编码175
11．1概述175
11．2语音信号的压缩编码原理177
11．2．1语音压缩的基本原理177
11．2．2语音通信中的语音质量178
11．2．3两种压缩编码方式179
11．3语音信号的波形编码179
11．3．1PCM及APCM179
11．3．2预测编码及自适应预测编码182
11．3．3ADPCM及ADM184
11．3．4子带编码(SBC)186
11．3．5自适应变换编码(ATC)188
11．4声码器190
11．4．1概述190
11．4．2声码器的基本结构191
11．4．3通道声码器191
11．4．4同态声码器193
11．5LPC声码器194
11．5．1LPC参数的变换与量化195
11．5．2LPC-10196
11．5．3LPC-10e197
11．5．4变帧率LPC声码器198
11．6各种常规语音编码方法的比较198
11．6．1波形编码的信号压缩技术198
11．6．2波形编码与声码器的比较199
11．6．3各种声码器的比较199
11．7基于LPC模型的混合编码200
11．7．1混合编码采用的技术201
11．7．2MPLPC203
11．7．3RPELPC206
11．7．4CELP207
11．7．5CELP的改进形式210
11．7．6基于分形码本的CELP212
11．8基于正弦模型的混合编码213
11．8．1正弦变换编码214
11．8．2多带激励(MBE)编码214
11．9极低速率语音编码216
11．9．1（400~1．2k）b/s数码率的声码器216
11．9．2识别-合成型声码器217
11．10语音压缩感知编码218
11．11语音编码的性能指标219
11．12语音编码的质量评价220
11．12．1主观评价方法221
11．12．2客观评价方法222
11．12．3主客观评价方法的结合225
11．12．4基于多重分形的语音质量评价226
11．13语音编码国际标准227
11．14语音编码与图像编码的关系227
小结228
思考与复习题229
第12章语音合成230
12．1概述230
12．2语音合成原理231
12．2．1语音合成的方法231
12．2．2语音合成的系统特性233
12．3共振峰合成233
12．3．1共振峰合成原理233
12．3．2共振峰合成实例235
12．4LPC合成236
12．5PSOLA语音合成238
12．5．1概述238
12．5．2PSOLA的原理238
12．5．3PSOLA的实现239
12．5．4PSOLA的改进241
12．5．5PSOLA语音合成系统的发展241
12．6文语转换系统242
12．6．1组成与结构242
12．6．2文本分析242
12．6．3韵律控制244
12．6．4语音合成246
12．6．5TTS系统的一些问题247
12．7基于HMM的参数化语音合成248
12．8语音合成的发展趋势252
12．9语音合成硬件简介253
思考与复习题254
第13章语音识别255
13．1概述255
13．2语音识别原理258
13．3动态时间规整262
13．4基于有限状态矢量量化的语音识别264
13．5孤立词识别系统265
13．6连接词识别268
13．6．1基本原理268
13．6．2基于DTW的连接词识别269
13．6．3基于HMM的连接词识别271
13．6．4基于分段K-均值的很好词串分割及模型训练271
13．7连续语音识别272
13．7．1连续语音识别存在的困难272
13．7．2连续语音识别的训练及识别方法273
13．7．3连续语音识别的整体模型274
13．7．4基于HMM统一框架的大词汇非特定人连续语音识别275
13．7．5声学模型276
13．7．6语言学模型278
13．7．7很优路径搜索280
13．8鲁棒的语音识别282
13．9分形语音识别284
13．10说话人自适应285
13．10．1MAP算法285
13．10．2基于变换的自适应方法286
13．10．3基于说话人分类的自适应方法286
13．11关键词确认287
13．12可视语音识别289
13．12．1概述289
13．12．2机器自动唇读290
13．12．3双模语音识别291
13．13语音理解294
13．13．1MAP语义解码295
13．13．2语义结构的表示295
13．13．3意图解码器296
小结297
思考与复习题297
第14章说话人识别和语种辨识299
14．1概述299
14．2特征选取300
14．2．1说话人识别所用的特征300
14．2．2特征类型的优选准则301
14．2．3常用的特征参数302
14．3说话人识别系统的结构302
14．4说话人识别基本方法概述303
14．5说话人识别系统实例304
14．5．1DTW系统304
14．5．2VQ系统305
14．6基于HMM的说话人识别306
14．7基于GMM的说话人识别309
14．8需要进一步研究的问题311
14．9语种辨识312
思考与复习题315
第15章智能信息处理技术在语音信号处理中的应用316
15．1神经网络316
15．1．1人工神经网络316
15．1．2语音处理中的神经网络结构319
15．2神经网络与传统方法结合的策略324
15．2．1概述324
15．2．2神经网络与DTW325
15．2．3神经网络与VQ325
15．2．4神经网络与HMM326
15．3基于神经网络的语音处理327
15．3．1语音识别327
15．3．2说话人识别329
15．3．3非线性预测编码330
15．3．4语音合成333
15．4支持向量机334
15．4．1概述334
15．4．2工作原理335
15．5基于支持向量机的语音识别与说话人识别337
15．5．1语音分类337
15．5．2说话人辨认338
15．5．3说话人确认339
15．6深度学习340
15．7基于深度学习的语音识别341
15．7．1基于深度神经网络341
15．7．2基于卷积神经网络342
15．8模糊集343
15．9基于模糊集的语音处理344
15．9．1模糊语音识别策略344
15．9．2模糊矢量量化345
15．10遗传算法345
15．11遗传矢量量化347
15．12其他智能优化算法在语音处理中的应用348
15．13语音处理中智能信息处理技术的融合与集成策略350
15．14智能信息处理与非线性技术的结合及在语音处理中的应用352
15．14．1神经网络与混沌和分形352
15．14．2基于混沌神经网络的语音识别353
15．14．3遗传算法与混沌355
15．14．4神经网络与小波355
思考与复习题355
第16章语音增强357
16．1概述357
16．2语音、人耳感知及噪声的特性358
16．3固定滤波法359
16．4非线性处理360
16．5减谱法361
16．5．1基本原理361
16．5．2改进形式362
16．6相关对消法363
16．7自适应滤波法363
16．7．1自适应滤波363
16．7．2维纳滤波364
16．7．3自适应噪声对消365
16．8基于语音产生模型的语音增强367
16．8．1优选后验概率估计367
16．8．2卡尔曼滤波368
16．9小波方法369
16．9．1原理369
16．9．2小波语音增强369
16．9．3小波包语音增强371
16．10子空间分解方法372
16．11其他语音增强方法375
16．11．1神经网络方法375
16．11．2HMM方法376
16．11．3基于听觉感知的方法376
16．11．4压缩感知方法376
思考与复习题377
第17章麦克风阵列语音信号处理378
17．1概述378
17．2技术难点379
17．3声源定位380
17．3．1去混响380
17．3．2近场模型381
17．3．3波束形成交叉定位382
17．3．4超分辨交叉定位383
17．3．5TDOA定位383
17．3．6几类定位方法的比较385
17．4基于麦克风阵列的语音增强386
17．4．1概述386
17．4．2波束形成法387
17．4．3波束形成法与自适应滤波的结合388
17．4．4自适应波束形成法388
17．4．5新方法与技术391
17．4．6应用391
17．4．7与单通道方法相比较的优势392
17．5语音盲分离393
17．5．1概述393
17．5．2瞬时线性混合模型394
17．5．3卷积混合模型398
17．5．4非线性混合模型400
17．5．5需要进一步研究的问题401
思考与复习题401
第18章语音信息对抗403
18．1语音侦察与欺骗403
18．2语音通信反侦察403
18．2．1语音保密通信404
18．2．2语音隐蔽通信405
18．3语音信息安全406
18．3．1语音信息隐藏406
18．3．2语音数字水印408
18．4语音干扰409
18．4．1语音干扰的特征409
18．4．2语音干扰效能评估410
18．5基于语音处理技术的战场声目标识别413
思考与复习题415
汉英名词术语对照416
参考文献425