中文信息处理原理及应用

全面系统地介绍了中文文本信息处理技术,由浅入深地讲述了中文文本理解的原理与应用。全书共5个部分: 预备知识、词法分析、语法分析、语义分析和应用与技术。预备知识部分介绍了本书所需的数学、语言学和形式语言与自动机方面的理论知识。词法分析、语法分析和语义分析是自然语言处理的基础。词法分析部分针对中文信息处理中特有的分词问题，介绍了若干分词算法以及分词歧义消除和未登录词识别算法。语法分析和语义分析两部分从语法（语义）的表示入手，介绍自然语言的结构化和形式化，给出语法分析和语义分析的常用算法，并针对该过程中的歧义问题给出可行的解决思路。应用与技术部分讲述中文信息处理的应用，尤其是在文本分类、信息检索、问答系统和自动文摘等领域的应用技术。
本书涉及内容广泛，能满足不同层次读者群的需求，可以作为高等学校计算机、信息类高年级本科生的教材，也可作为自然语言处理方向研究生的教材，同时非常适合供自然语言处理应用领域的研究人员和技术人员参考。

苗夺谦，男，1964年4月生，1997年于中国科学院自动化研究所模式识别与智能系统专业获博士学位。现任同济大学电子与信息工程学院教授、博导、副院长，计算机科学与技术系教务委员会主任，计算机与信息技术国家级教学实验示范中心主任，嵌入式系统与服务计算教育部重点实验室副主任。主要研究方向包括粒计算、粗糙集、自然语言理解、数据挖掘、机器学习、Web智能等，在IEEE TKDE、IEEE TCYB、IEEE TIFS、Pattern Recoqrfitiorl、Information Scierices、《计算机学报》、《软件学报》等国内外重要学术刊物与会议上发表论文80余篇，其中SCI收录51篇，出版教材和学术著作9部，授权专利9项；主持国家自然科学基金项目6项，高等学校博士学科点专项科研基金项目2项；作为骨干参与973项目一项，863项目一项，国家自然科学基金重大、重点项目各一项；曾获教育部科技进步一等奖(2007)、上海市技术发明一等奖(2009)、重庆市自然科学一等奖(2010)、教育部-IBM优秀教师奖(2010)、宝钢优秀教师奖(2011)。目前主要学术任职包括国际粗糙集学会咨询委员会委员，国家自然科学基金委信息学部评议组专家，教育部高等学校计算机科学与技术专业教学指导分委员会专家工作组成员。中国计算机学会杰出会员，中国人工智能学会租糙集与软计算专委会主任，上海市计算机学会人工智能专委会主任。

第1部分预备知识
第1章概论
1.1自然语言处理与中文信息处理
1.1.1自然语言处理
1.1.2中文信息处理
1.2研究内容
1.3应用领域
第2章预备知识
2.1数学基础
2.1.1概率论
2.1.2随机过程
2.1.3信息论
2.1.4形式语言与自动机
2.2语言学基础
2.2.1计算语言学概述
2.2.2语素和词
2.2.3句法与篇章语法
2.2.4词义与句义
第2部分词法分析
第3章自动分词概述
3.1自动分词
3.1.1分词规范
3.1.2自动分词的研究内容及意义
3.1.3自动分词方法
3.2分词歧义问题
3.3未登录词问题
3.4自动分词评测
第4章基于词典的分词方法
4.1分词词典
4.1.1关于分词词典的构造
4.1.2基于词属性的分词词典
4.1.3基于逐字二分的分词词典
4.2机械分词方法
4.2.1正向最大匹配算法
4.2.2逆向最大匹配算法
4.2.3邻近匹配算法
4.2.4最短路径匹配算法
4.3基于规则的分词方法
4.3.1分词预处理中的规则
4.3.2分词规则
4.4中文姓名切分
4.4.1切分姓名中的当用资源
4.4.2同源对表、互斥对表及其操作
4.4.3姓名左右边界的确定
4.4.4屏蔽与恢复
4.4.5同源对表和互斥对表的校正规则
4.4.6概率再筛选
4.4.7中文姓名切分系统
第5章基于语料库的分词方法
5.1语料库
5.1.1语料库概述
5.1.2语料库加工规范
5.1.3现代汉语语料库构建实例
5.2基于统计的分词方法
5.2.1统计分词概述
5.2.2统计分词消歧
5.2.3统计未登录词获取
5.2.4统计分词模型
5.3基于机器学习的分词方法
5.3.1最大熵分词
5.3.2条件随机场分词
第2部分习题
第3部分语法分析
第6章自动词性标注
6.1词性标注概述
6.1.1词性标注
6.1.2词性标记规范
6.1.3词性消歧
6.1.4词性标注评测
6.2基于统计的词性标注方法
6.2.1统计模型的训练
6.2.2马尔可夫模型标注方法
6.2.3隐马尔可夫模型标注方法
6.3基于规则的词性标注方法
6.3.1按兼类词搭配关系构造的规则
6.3.2按词语结构获取的规则
6.4其他标注方法
6.4.1基于规则和统计相结合的标注方法
6.4.2基于条件随机场的词性标注方法
6.4.3词性标注中的未登录词处理方法
第7章语法表示方法
7.1语法表示概述
7.2形式语法描述
7.2.1重写规则
7.2.2转移网络
7.3短语结构语法
7.4依存语法
第8章句法分析方法
8.1句法分析概述
8.1.1句法分析
8.1.2结构歧义
8.1.3句法分析评测
8.2基于规则的句法分析方法
8.2.1自顶向下句法分析
8.2.2自底向上句法分析
8.2.3线图句法分析
8.2.4转移网络句法分析
8.3基于统计的句法分析方法
8.3.1概率上下文无关文法分析
8.3.2依存句法分析
第3部分习题
第4部分语义分析
第9章概念标注
9.1概念标注概述
9.2语言知识库
9.3概念标注方法
第10章语义表示
10.1语义表示概述
10.2语义逻辑表示法
10.2.1一阶谓词演算
10.2.2基本逻辑形式语言
10.2.3逻辑形式中的歧义表示
10.2.4论旨角色
10.3语义网络表示法
10.4语义框架表示法
第11章语义分析
11.1语义分析概述
11.2基于语义特征的语义分析
11.2.1组合理论
11.2.2λ表达式与语义解释
11.2.3带语义解释的简单语法和词典
11.2.4语义角色
11.2.5特征合一的语义解释
11.3基于语法关系的语义分析
11.4基于模板匹配的语义分析
11.5语义消歧
11.5.1语义消歧概述
11.5.2基于规则的语义消歧
11.5.3基于统计的语义消歧
第4部分习题
第5部分应用与技术第12章文本分类
12.1文本分类概述
12.1.1自动文本分类定义
12.1.2文本分类任务的特点
12.1.3文本分类基本实现途径
12.1.4文本分类的组成
12.1.5文本分类的应用领域
12.1.6国内外研究现状
12.2文本分类方法
12.2.1文本表示与文本特征选择
12.2.2分类器设计
12.2.3分类器的阈值选择
12.3文本分类评测
12.3.1单类赋值
12.3.2多类排序
第13章信息检索
13.1信息检索概述
13.1.1信息检索的对象和任务
13.1.2信息检索的评测
13.1.3信息检索模型
13.1.4中文信息检索的特点
13.2基于统计的信息检索模型
13.2.1布尔模型及其扩展
13.2.2向量空间模型
13.2.3概率模型
13.3基于语义的信息检索
13.3.1基于NLP的方法
13.3.2潜在语义索引
13.3.3基于神经网络的信息检索
13.4信息检索技术评测
13.4.1文本检索会议
13.4.2亚洲语言信息检索评测会议
13.4.3863信息检索评测项目
13.5Web信息检索
13.5.1Web信息检索的特点
13.5.2搜索引擎
第14章问答系统
14.1问答系统概述
14.1.1问答系统的发展
14.1.2问答系统的定义
14.1.3问答系统的研究趋势
14.2关键技术
14.2.1关键词抽取
14.2.2关键词扩展
14.3问答系统评测
14.4Watson问答系统
第15章自动文摘
15.1自动文摘概述
15.1.1文摘的定义
15.1.2文摘的分类
15.1.3自动文摘的意义
15.2自动文摘的方法
15.2.1基于统计的自动文摘
15.2.2基于理解的自动文摘
15.2.3基于信息抽取的自动文摘方法
15.2.4基于结构的自动文摘
15.3自动文摘系统评测
15.3.1内部评价
15.3.2外部评价
15.4自动文摘系统
第5部分习题
附录A北京大学计算语言学研究所汉语词性标注标记集
附录B哈尔滨工业大学CDT依存句法标注体系
参考文献