语音识别理论与实践（普通高等教育人工智能专业系列教材）

本书主要介绍语音识别 原理及其相关应用。全书共 9章，分为五大部分：第一 部分(第1章)介绍语音识别 的发展历史和语音识别领域 常用的数据集与工具箱；第 二部分(第2章)介绍在语音 识别领域常用的语音信号基 础知识和声学特征的提取； 第三部分(第3章至第7章)详 细介绍语音识别的声学模型 、语言模型、解码工具，并 对语音识别领域的研究热点 (端到端语音识别)进行探讨 ；第四部分(第8章)利用语 音识别开源工具包Kaldi进 行语音识别实战，包括 Kaldi的安装以及如何训练 aishell语音识别工程；第五 部分(第9章)结合序列到序 列的语音识别模型和序列到 序列的问答模型来构建语音 交互系统。 本书既可作为计算机科 学与技术、电子科学与技术 、控制工程与科学、智能科 学与技术等专业的本科教材 和研究生教材，也可供从事 语音识别、人工智能等研究 的科研人员参考。

前言 第1章 绪论 1.1 语音识别简史 1.1.1 语音识别早期探索 1.1.2 概率模型一统江湖 1.1.3 神经网络异军突起 1.1.4 商业应用推波助澜 1.2 国内发展现状 1.3 语音识别框架 1.3.1 经典方法 1.3.2 概率模型 1.3.3 深度神经网络一隐马尔可夫(DNN—HMM)模型 1.3.4 端到端语音识别 1.4 开源工具与数据集 1.4.1 深度学习框架 1.4.2 开源工具 1.4.3 数据集 本章小结 课后习题 第2章 语音基础知识 2.1 语音信号基础 2.1.1 声波的特性 2.1.2 声音的采集装置 2.1.3 声音的采样 2.1.4 声音的量化 2.1.5 语音的编码 2.2 声学特征提取 2.2.1 预处理 2.2.2 傅里叶变换 2.2.3 听觉特性 2.2.4 线性预测 2.2.5 倒谱分析 2.2.6 声学特征 本章小结 课后习题 第3章 声学模型 3.1 高斯混合模型 3.1.1 概率统计 3.1.2 高斯分布 3.1.3 GMM的组成和表示 3.2 隐马尔可夫模型 3.2.1 隐马尔可夫模型基本概念 3.2.2 隐马尔可夫模型的定义 3.2.3 隐马尔可夫模型的三个基本问题 3.3 高斯混合模型一隐马尔可夫模型 3.4 基于隐马尔可夫模型的语音识别 3.4.1 建模单元 3.4.2 发音过程与隐马尔可夫模型状态 3.4.3 串接隐马尔可夫模型 本章小结 课后习题 第4章 语言模型 4.1 n—gram模型 4.2 评价指标 4.3 平滑技术 4.3.1 Good—Turing折扣法 4.3.2 Jelinek—Mercer插值法 4.3.3 Kneser—Ney插值法 4.3.4 Katz回退法 4.4 语言模型的训练 4.5 预训练语言模型 4.5.1 基于自回归语言模型的预训练技术 4.5.2 基于自编码语言模型的预训练技术 4.5.3 基于序列到序列语言模型的预训练技术 4.5.4 基于前缀语言模型的预训练技术 4.5.5 基于排列语言模型的预训练技术 4.5.6 预训练技术的改进方法 本章小结 课后习题 第5章 加权有限状态解码器 5.1 基于动态网络的Viterbi解码 5.2 加权有限状态转换器理论 5.2.1 基本概念 5.2.2 半环 5.3 HCLG构建 5.3.1 语料准备 5.3.2 构建语法模型 5.3.3 构建发音词典模型 5.3.4 合并发音词典与语法模型 5.3.5 构建上下文模型与发音词典模型和语法模型 5.3.6 构建HCLG 本章小结 课后习题 第6章 深度神经网络模型 6.1 深度学习 6.2 神经网络 6.2.1 人脑神经网络 6.2.2 人工神经网络 6.2.3 神经网络的发展历史 6.2.4 深度神经网络 6.3 正向学习过程 6.3.1 正向学习概述 6.3.2 正向传播的流程 6.3.3 正向传播的原理 6.4 反向调整过程 6.4.1 反向调整概述 6.4.2 反向传播过程详解 6.4.3 深层模型反向调整的问题与对策 6.5 神经网络结构 6.5.1 卷积神经网络 6.5.2 长短时记忆网络 6.5.3 门控循环单元 6.5.4 时延神经网络 本章小结 课后习题 第7章 端到端语音识别 7.1 CTC 7.2 RNN 7.3 Encoder.Decoder框架和Attention模型 7.4 Hybrid CTC／Attention 7.5 Transforxner 本章小结 课后习题 第8章 Kaldi实战 8.1 下载与安装Kaldi 8.1.1 获取源代码 8.1.2 编译 8.2 创建与配置基本的工程目录 8.3 aishell语音识别工程 8.3.1 数据映射目录准备 8.3.2 词典准备和lang目录生成 8.3.3 语言模型训练 8.3.4 声学特征提取与倒谱均值归一化 8.3.5 声学模型训练与强制对齐 8.3.6 解码测试与指标计算 本章小结 课后习题 第9章 语音交互系统 9.1 语音识别模块 9.1.1 LAS 9.1.2 Transformer 9.1.3 数据分析 9.1.4 LAS模型对比实验 9.1.5 Focal loss 9.2 基于序列到序列模型的问答系统 9.2.1 数据分析 9.2.2 词向量 9.2.3 模型设计 9.2.4 实验结果与分析 913语音交互系统的构建 9.3.1 系统搭建 9.3.2 系统测试 本章小结 课后习题 参考文献 附录 课后习题答案