智能人机交互中的语音词汇习得

本书以人类语言学习中的词汇习得为研究对象，以语音识别的弱监督学习为研究方法，介绍了特征一词袋模型、非负矩阵分解、隐马尔可夫模型等算法在语音词汇的无监督或半监督表示学习方面的应用，并在小词汇量英文数据集上展示了其优良的性能，为设计具备自主学习的人机交互系统提供了思路。本书为从事语音识别、认知语言学等方向的研究者提供了参考，既可作为该方向研究生和科研工作者的参考读物，也适用于具有一定机器学习和信号处理知识基础的读者。

第1章 引言
1.1 词汇习得
1.1.1 语言习得中的词汇习得
1.1.2 词汇习得的基础关联
1.1.3 为什么不直接使用语音识别器来进行词汇习得
1.1.4 我们的研究重点：词汇习得的特征表达
1.1.5 相关领域
1.2 语音处理中的预备知识
1.2.1 梅尔频率倒谱系数
1.2.2 隐马尔可夫模型
1.3 词汇习得方法
1.3.1 重复出现语音段的挖掘和聚类
1.3.2 使用音素识别器
1.3.3 隐变量模型
1.3.4 隐马尔可夫模型的无监督训练
1.4 目标与动机
1.4.1 目标1：从连续语音中习得
1.4.2 目标2：数据驱动模型
1.4.3 目标3：具有可重用单元的分层架构
1.5 本书结构
第2章 通过非负矩阵分解实现词汇习得
2.1 非负矩阵分解综述
2.1.1 NMF：指标与算法
2.1.2 与其他方法的联系
2.2 语音的特征包表示
2.2.1 序列映射至向量
2.2.2 线性运算
2.3 词汇习得的非负矩阵分解
2.3.1 训练
2.3.2 评估方法
2.3.3 非负矩阵分解模型的优缺点
第3章 语音的特征包表示
3.1 多个码本和软VQ
3.1.1 帧编码方法
3.1.2 词汇习得结果
3.1.3 讨论
3.2 多个时间尺度和异步流
3.2.1 多重/可变帧频的动机和相关工作
3.2.2 VCV语料库和发音特征
3.2.3 辅音识别和发音特征分类结果
3.2.4 讨论
3.3 来自语音的高斯后验图的多视角模型
3.3.1 高斯后验图表示
3.3.2 来自高斯后验图的BoF表示
3.3.3 计算、结果和分析
3.4 小结
第4章 用于无监督模式发现的图正则化NMF
4.1 使用NMF的无监督模式发现
4.2 图正则化NMF
4.2.1 图论简介
4.2.2 图正则化
4.2.3 算法
4.3 语音模式发现的实验和结果
4.3.1 邻接矩阵的构建
4.3.2 评估方法
4.3.3 参数设置与结果
4.3.4 结论
4.3.5 GNMF和L1GNMF的比较
4.4 其他数据库上L1GNMF的评估
4.4.1 Caltech256中的视觉对象发现
4.4.2 TDT2的文档聚类
4.5 图正则化的工作原理
4.5.1 解释已发现模式
4.5.2 图正则化的作用
4.6 小结
第5章 运用非负矩阵三因子分解习得子字单元
5.1 语音建模中的隐马尔可夫模型
5.1.1 配置和参数
5.1.2 隐状态的作用
5.2 子字单元的三因子分解习得
5.2.1 共现统计和隐状态
5.2.2 高斯共现矩阵的非负矩阵分解学习
5.2.3 非负矩阵三因子分解(NMTF)
5.3 使用子字单元进行语音表示
5.3.1 用于降维的矩阵嵌入
5.3.2 顺序标记
5.4 词汇习得实验
5.4.1 矩阵嵌入实验
5.4.2 序列标记和盲聚高斯实验
5.5 小结
第6章 利用非负塔克分解对隐马尔可夫模型进行无监督训练
6.1 用于序列模式发现的隐马尔可夫模型无监督训练
6.1.1 隐马尔可夫模型的拓扑结构和声学模型
6.1.2 训练算法
6.2 隐马尔可夫模型训练的非负塔克分解
6.2.1 语音的非负张量表示
6.2.2 隐马尔可夫模型习得的结构化分解
6.3 非负塔克分解和隐马尔可夫模型的联合训练方法
6.3.1 非负塔克分解正则化鲍姆-韦尔奇算法(NTD.Reg.BW)
6.3.2 非负塔克分解和鲍姆-韦尔奇算法的交替训练(NTD.Alt.BW)
6.4 TIDIGITS上的实验
6.4.1 数据准备
6.4.2 使用离散密度隐马尔可夫模型的实验
6.4.3 DDHMM、SCDHMM和KLDHMM之间的比较
6.4.4 从少量标记示例和大量未标记连续语音中习得
6.5 小结
第7章 结论
7.1 主要贡献
7.2 未来研究方向
7.2.1 增量学习框架
7.2.2 分层隐马尔可夫模型
附录A L1GNMF中压缩映射的收敛性证明
附录B 张量符号及操作
附录C 对称NMTF算法的推导
参考文献