数据驱动的机器翻译技术

机器翻译是由计算机自动将一种自然语言翻译成另一种自然语言的过程。随着语言资源规模的持续增长和计算机硬件技术的大幅提高，数据驱动的机器翻译方法逐渐获得了研究者的青睐，翻译效果取得了显著的提升。本书梳理了机器翻译的基础理论和研究进展，指出了数据驱动的机器翻译方法所面临的问题，详细介绍了具有代表性的改进方法。这些方法既包括对句法语义、词形和零代词、翻译记忆等先验知识的建模及融合，也涉及深度神经网络、无监督树学习、生成对抗训练、联合学习、因果推断等前沿技术,可供希望深入了解机器翻译研究进展的读者参考。本书的最后对数据驱动的机器翻译技术进行了总结，并对未来的研究方向进行了展望。

第1章 绪论 1
1.1 研究背景及意义 1
1.2 机器翻译发展简史 2
1.3 研究内容及全书总览 4
参考文献 8
第2章 基础理论 9
2.1 基于规则的机器翻译 9
2.2 基于实例的机器翻译 10
2.3 统计机器翻译 11
2.3.1 噪声信道模型 11
2.3.2 对数线性模型 12
2.3.3 基于短语的统计机器翻译模型 12
2.3.4 基于句法的统计机器翻译模型 14
2.3.5 语言模型 16
2.3.6 统计机器翻译存在的问题 20
2.4 神经机器翻译 20
2.4.1 基于循环神经网络的神经机器翻译模型 21
2.4.2 基于卷积神经网络的神经机器翻译模型 24
2.4.3 基于注意力网络的神经机器翻译模型 27
2.4.4 束搜索 30
2.4.5 神经机器翻译存在的问题及发展趋势 31
参考文献 34
第3章 基于句法语义知识的统计机器翻译 44
3.1 引言 44
3.2 基于句法和语义的统计机器翻译基础方法 45
3.2.1 基于句法的统计机器翻译模型 46
3.2.2 语义角色标注 47
3.2.3 语义角色标注在统计机器翻译中的应用 48
3.2.4 串到树模型 49
3.3 基于浅层语义结构的统计机器翻译 52
3.3.1 谓词-论元增强型句法树 52
3.3.2 句法补充的谓词-论元树 54
3.3.3 翻译规则的学习 55
3.3.4 实验与分析 56
3.4 基于句法语言模型的统计机器翻译 62
3.4.1 句法语言建模的基础方法 62
3.4.2 融合浅层句法特征的循环神经网络语言模型 63
3.5 本章小结 70
参考文献 71
第4章 句法知识与神经机器翻译联合学习模型 82
4.1 引言 82
4.2 树结构学习的基础方法 83
4.2.1 树结构的神经网络编码器 84
4.2.2 树结构的神经网络解码器 85
4.2.3 无监督树学习 85
4.2.4 利用统计机器翻译短语表 87
4.2.5 在神经机器翻译中学习短语 87
4.2.6 基于句法的神经机器翻译 88
4.2.7 对齐学习 89
4.3 源端句法信息与神经机器翻译联合学习模型 89
4.3.1 无监督树编码器 90
4.3.2 无监督树与神经机器翻译联合学习 92
4.3.3 实验分析 97
4.3.4 实例分析 101
4.4 双语句法成分对齐与神经机器翻译联合学习模型 105
4.4.1 概述 105
4.4.2 无监督树编码器 107
4.4.3 对齐样本构建 107
4.4.4 深度度量损失 108
4.4.5 实验分析 109
4.5 基于跨语言句法互信息的机器翻译 114
4.5.1 概述 114
4.5.2 双语句法对齐 117
4.5.3 最大化双语句法相互依存 120
4.5.4 实验分析 121
4.6 本章小结 126
参考文献 126
第5章 基于句子对齐信息的机器翻译训练 138
5.1 引言 138
5.2 问题分析 141
5.3 基于自注意力机制的对齐判别器 143
5.3.1 基于门控自注意力网络的句子编码器 144
5.3.2 句子对齐得分计算与判别器损失函数 145
5.3.3 判别器训练数据构建与预训练 146
5.4 基于对齐信息的神经机器翻译对抗训练 147
5.4.1 判别损失函数 147
5.4.2 Gumbel-Softmax 采样 148
5.4.3 教师强制步骤 149
5.4.4 固定的判别器与对抗的判别器 149
5.5 基于对齐感知的神经机器翻译解码方法 150
5.5.1 融合判别器得分的解码得分 151
5.5.2 融合基于对齐的价值网络解码 151
5.6 本章小结 152
参考文献 157
第6章 融合翻译记忆的神经机器翻译方法 163
6.1 引言 163
6.2 问题分析 163
6.3 融合翻译记忆相似度的文本预处理方法 165
6.3.1 模板 165
6.3.2 相关工作 166
6.3.3 基于多维相似度的机器翻译测试集预处理策略 167
6.4 融合翻译记忆的机器翻译训练方法 170
6.4.1 引言 170
6.4.2 相关工作 171
6.4.3 基于多维相似度的机器翻译训练方法 172
6.4.4 实验分析 174
6.5 融合模板翻译记忆的神经机器翻译方法 178
6.5.1 概述 178
6.5.2 相关工作 179
6.5.3 翻译模板的定义与构建 180
6.5.4 融合模板翻译记忆的神经机器翻译 187
6.5.5 实验分析 191
6.6 本章小结 197
参考文献 198
第7章 词形预测与神经机器翻译联合模型 202
7.1 引言 202
7.2 问题分析 204
7.2.1 拉丁字符大小写对神经机器翻译的影响 204
7.2.2 单词阴阳性对机器翻译的影响 206
7.3 大小写敏感的神经机器翻译 207
7.3.1 神经机器翻译模型 207
7.3.2 引入大写标注的神经机器翻译 208
7.3.3 神经机器翻译与大写预测联合学习 209
7.4 性别敏感的神经机器翻译 212
7.4.1 性别平衡伪数据构建方法 213
7.4.2 插入性别标注 214
7.4.3 性别预测与机器翻译联合建模 214
7.5 本章小结 215
参考文献 218
第8章 融合零代词信息的机器翻译方法 225
8.1 引言 225
8.2 零代词推断的基础方法 227
8.2.1 基于规则的方法 227
8.2.2 序列标注法 228
8.2.3 融入语义特征的方法 229
8.3 基于特征的零代词推断方法 232
8.3.1 融入双语信息的语料重构 232
8.3.2 零代词处理方法 235
8.4 基于CRF和SVM的零代词信息构建方法 236
8.4.1 基于CRF的零代词位置标注 236
8.4.2 基于SVM的零代词分类 238
8.5 基于深度学习的零代词信息构建方法 242
8.5.1 基于LSTM的零代词位置标注 243
8.5.2 基于LSTM的零代词分类 245
8.5.3 基于编码器-解码器架构的零代词重构模型 245
8.6 融合零代词信息的统计机器翻译 247
8.6.1 概述 247
8.6.2 语料预处理方法 247
8.6.3 概率特征方法 248
8.6.4 译文重排序方法 250
8.6.5 实验分析 251
8.6.6 实验结果及分析 254
8.7 基于无监督树学习和零代词重构的神经机器翻译 258
8.7.1 概述 258
8.7.2 基于零代词重构的口语机器翻译模型 259
8.7.3 实验及分析 263
8.8 本章小结 271
参考文献 271
第9章 基于因果推断的译文评分去噪声方法 274
9.1 引言 274
9.2 相关工作和背景知识 278
9.2.1 NMT译文长度偏置问题 278
9.2.2 句子级译文质量直接估计任务 281
9.3 基于HSR的译文评分降噪方法 283
9.3.1 基于HSR的NMT解码长度偏置修正 283
9.3.2 讨论 285
9.3.3 译文质量估计系统输出降噪方法 287
9.4 NMT长度偏置消除实验 290
9.4.1 回归模型的选择 292
9.4.2 方法自适应性 294
9.5 译文质量估计系统去噪声实验 296
9.6 本章小结 299
参考文献 299
第10章 机器翻译评价及相关评测会议 306
10.1 机器翻译评价指标 307
10.1.1 准确率和召回率 307
10.1.2 BLEU评价指标 308
10.1.3 词错误率WER 308
10.1.4 翻译编辑率TER 309
10.1.5 NIST评价指标 309
10.1.6 METEOR评价指标 310
10.2 机器翻译大会WMT 310
10.3 全国机器翻译大会CCMT 312
10.4 国际口语翻译大会IWSLT 313
10.5 NIST机器翻译公开评测 314
10.6 亚洲语言机器翻译研讨会WAT 315
参考文献 316
第11章 总结与展望 319
11.1 本书总结 319
11.2 未来研究方向展望 320