藏语自然语言处理基本理论和方法

本书介绍藏语自然语言处理的基本理论和方法。全书11章，第1章介绍构成藏语语法单位的字、词、短语和句子第2章介绍概率论、信息论等的基本概念，以及马尔可夫模型、优选熵模型、条件随机场等模型。第3章介绍形式语言与自动机理论涉及的内容。第4章介绍计算机字符编码。第5～10章分别阐述藏语语料库、信息熵、拼写形式语言、自动分词及词性和语义标注、短语结构及其形式化描述和句法分析。第11章结合藏汉机器翻译，介绍统计机器翻译原理。本书对从事藏语自然语言处理研究的研究者有参考价值，也可供藏文信息技术和藏语计算语言学专业教师和研究生使用。

《信息科学技术学术著作丛书》序
前言
第1章藏语语法单位1
1.1藏文字符1
1.2藏文字2
1.2.1藏文字结构2
1.2.2藏文的书写及字体3
1.3藏语词语3
1.3.1格助词4
1.3.2不自由虚词7
1.3.3自由虚词10
1.3.4动词概述12
1.4藏语短语13
1.5藏语句子14
1.5.1藏语句子的特点14
1.5.2藏语句子的分类14
第2章理论基础17
2.1集合论基础17
2.1.1集合17
2.1.2字符串18
2.1.3函数20
2.1.4图20
2.2概率论基础22
2.2.1概率22
2.2.2似然估计23
2.2.3条件概率24
2.2.4全概率公式与贝叶斯公式24
2.2.5独立性26
2.2.6随机变量26
2.2.7联合概率分布和条件概率分布27
2.2.8贝叶斯决策理论28
2.2.9期望和方差29
2.3信息论基础30
2.3.1信息熵30
2.3.2信息熵的性质32
2.3.3联合熵和条件熵34
2.3.4相对熵35
2.3.5互信息35
2.3.6交叉熵36
2.3.7困惑度37
2.3.8噪声信道37
2.4齐普夫定律39
2.5隐马尔可夫模型41
2.5.1马尔可夫模型41
2.5.2隐马尔可夫模型的基本原理42
2.5.3隐马尔可夫模型的三个基本问题44
2.6熵模型56
2.6.1熵模型的约束条件57
2.6.2熵模型的原则58
2.6.3熵模型的参数训练58
2.7条件随机场模型59
2.7.1条件随机场定义60
2.7.2条件随机场模型形式61
2.7.3条件随机场模型的参数估计62
第3章形式语言与自动机64
3.1形式语言64
3.1.1形式语言概述64
3.1.2形式文法65
3.1.3形式文法的类型66
3.2自动机68
3.2.1自动机概述68
3.2.2正规文法与自动机72
第4章字符编码75
4.1西文字符编码75
4.2ISO/IEC10646与Unicode76
4.2.1缘起76
4.2.2ISO/IEC10646体系结构76
4.2.3Unicode79
4.3中文字符编码81
4.3.1汉字字符编码81
4.3.2藏文字符编码85
第5章藏语语料库的建设91
5.1语料库概述91
5.2语料库的类型91
5.3典型语料库93
5.4藏语语料库建设中存在的问题96
第6章藏文信息熵99
6.1概述99
6.2藏文字符的信息熵100
6.3藏文字的信息熵102
6.4藏语语言模型及其困惑度105
6.4.1N元文法模型105
6.4.2困惑度107
6.4.3数据平滑109
6.5藏文输入法的数学模型111
6.6藏文文本自动校对115
第7章藏文拼写文法的形式化118
7.1藏文拼写文法形式化描述118
7.1.1术语定义118
7.1.2符号映射119
7.1.3藏文拼写文法规则120
7.1.4藏文的基本拼写结构122
7.1.5藏文拼写文法形式化描述127
7.1.6藏文拼写文法性质131
7.2藏文拼写形式语言133
7.2.1藏文拼写形式语言概述133
7.2.2藏文拼写形式文法135
7.3藏文字组成成分识别186
7.3.1藏文字组成成分的识别概述186
7.3.2藏文拼写形式文法使用中的二义性问题188
第8章藏语自动分词及词性和语义标注190
8.1藏语自动分词中的几个关键问题190
8.1.1紧缩词问题190
8.1.2歧义切分问题193
8.1.3未登录词问题195
8.2藏语自动分词方法197
8.2.1基于规则的分词方法197
8.2.2基于统计的分词方法198
8.2.3基于条件随机场模型的藏语分词方法199
8.3命名实体识别206
8.3.1概述206
8.3.2命名实体识别方法207
8.4词性标注209
8.4.1概述209
8.4.2词类标记集的确定211
8.4.3基于规则的词性标注方法215
8.4.4基于统计模型的词性标注方法217
8.4.5基于规则与统计相结合的词性标注方法219
8.5词义标注221
8.5.1概述221
8.5.2基于互信息的词义消歧方法221
8.5.3基于贝叶斯判别的词义消歧方法223
8.5.4基于词典的词义消歧方法224
第9章现代藏语短语结构及其形式化描述225
9.1概述225
9.1.1藏语短语的句法知识理论225
9.1.2藏语短语的句法功能分类226
9.1.3藏语短语规则的形式表达229
9.2名词性短语结构及其形式化描述231
9.2.1概述2319.2.2定中结构的NP232
9.2.3联合结构的NP240
9.3动词性短语结构及其形式化描述241
9.3.1概述241
9.3.2主谓结构的VP242
9.3.3述宾结构的VP244
9.3.4述补结构的VP246
9.3.5动词联合的VP250
9.3.6状中结构的VP251
9.4形容词性短语结构及其形式化描述252
9.4.1概述252
9.4.2联合结构的AP252
9.4.3状中结构的AP255
第10章藏语句法分析258
10.1藏语句型概述258
10.1.1NP+PP+VP句型258
10.1.2NP+VP句型259
10.2短语结构语法260
10.2.1形式语法260
10.2.2CFG句法分析264
10.3藏语CFG句法分析265
10.3.1LR分析算法265
10.3.2句法树273
10.4依存语法275
10.4.1概述275
10.4.2依存句法分析方法277
10.5藏语依存句法分析281
10.5.1概述281
10.5.2藏语依存关系体系282
10.5.3确定性藏语依存句法分析286
第11章统计机器翻译原理288
11.1机器翻译概述288
11.1.1机器翻译技术的发展288
11.1.2机器翻译方法289
11.2统计机器翻译291
11.3基于噪声信道模型的统计机器翻译基本原理291
11.4统计语言模型293
11.5统计翻译模型296
11.5.1共现296
11.5.2对齐297
11.5.3IBM模型1300
11.5.4学习词汇翻译模型301
11.5.5其他更高级的IBM模型304
参考文献305