文本数据管理与分析 信息检索与文本挖掘的实用导论

本书从实际角度涵盖了信息检索和文本数据挖掘领域的主要概念、技术和方法，并包括许多专门设计并辅以配套软件工具包（例如META，一种数据科学工具包）的动手练习，来帮助读者学习如何运用文本挖掘和信息检索的技术来分析和处理现实世界中的文本数据，以及如何试验数据和为具体应用任务来改进一些算法。

 

中文版序
译者序
前言
作者简介
部分概述和背景
章绪论2
1.1文本信息系统的功能4
1.2文本信息系统的概念框架5
1.3本书结构安排7
1.4如何使用本书8
书目说明和延伸阅读9
第2章背景11
2.1概率和统计基础11
2.1.1联合概率和条件概率12
2.1.2贝叶斯法则13
2.1.3抛硬币和二项分布14
2.1.4优选似然参数估计14
2.1.5贝叶斯参数估计15
2.1.6概率模型及其应用16
2.2信息论17
2.3机器学习19
书目说明和延伸阅读20
练习20
第3章文本数据理解22
3.1自然语言处理的历史和研究现状23
3.2自然语言处理和文本信息系统24
3.3文本表示26
3.4统计语言模型28
书目说明和延伸阅读31
练习31
第4章META：一个面向文本数据管理和分析的统一工具箱33
4.1设计原则33
4.2设置META34
4.3架构34
4.4用META分词35
4.5相关工具箱37
练习38
第二部分文本数据获取
第5章文本数据获取概述44
5.1获取模式：拉取与推送44
5.2多模式互动获取45
5.3文本检索47
5.4文本检索与数据库检索48
5.5文档选择与文档排序49
书目说明和延伸阅读50
练习51
第6章检索模型52
6.1概述52
6.2检索函数的一般形式53
6.3向量空间检索模型54
6.3.1向量空间模型实例化55
6.3.2位向量表示的表现56
6.3.3改进的模型实例57
6.3.4TF变换60
6.3.5文档长度规范化62
6.3.6基本向量空间模型的进一步改进64
6.3.7小结65
6.4概率检索模型65
6.4.1查询似然检索模型67
6.4.2文档语言模型的平滑69
6.4.3具体的平滑方法72
书目说明和延伸阅读76
练习76
第7章反馈78
7.1向量空间模型中的反馈79
7.2语言模型中的反馈81
书目说明和延伸阅读84
练习84
第8章搜索引擎实现86
8.1分词器86
8.2索引器87
8.3打分器90
8.3.1逐个词项排序90
8.3.2逐个文档排序90
8.3.3过滤文档91
8.3.4索引分片91
8.4反馈实现92
8.5压缩92
8.5.1按位压缩93
8.5.2块压缩94
8.6高速缓存95
8.6.1LRU缓存95
8.6.2DBLRU缓存96
书目说明和延伸阅读96
练习97
第9章搜索引擎评价98
9.1引言98
9.1.1要度量什么98
9.1.2Cranfield评价方法98
9.2集合检索的评价100
9.2.1准确率和召回率100
9.2.2F度量：准确率和召回率的结合101
9.3有序列表的评价102
9.4基于多级别判断标准的评价106
9.5评价中的实际问题107
书目说明和延伸阅读110
练习110
0章网络搜索112
10.1网络爬虫113
10.2网页索引113
10.3链接分析117
10.3.1PageRank算法118
10.3.2HITS算法121
10.4排序学习122
10.5网络搜索的未来125
书目说明和延伸阅读127
练习127
1章推荐系统130
11.1基于内容的推荐131
11.2协同过滤134
11.3推荐系统的评价137
书目说明和延伸阅读138
练习138
第三部分文本数据分析
2章文本数据分析概述142
12.1动机：文本数据分析的应用142
12.2文本与非文本数据：人类作为主观传感器143
12.3文本挖掘任务概览145
3章词关联挖掘148
13.1词关联挖掘的基本思想149
13.2聚合关系的发现150
13.3组合关系的发现153
13.4词关联挖掘的评价159
书目说明和延伸阅读160
练习160
4章文本聚类162
14.1聚类技术概述163
14.2文档聚类164
14.2.1凝聚层次聚类法165
14.2.2K-均值165
14.3词项聚类167
14.3.1语义关联的词语167
14.3.2点互信息169
14.3.3先进方法169
14.4文本聚类的评价172
书目说明和延伸阅读173
练习173
5章文本分类175
15.1引言175
15.2文本分类方法概述176
15.3文本分类问题177
15.4文本分类的特征177
15.5分类算法179
15.5.1k-近邻180
15.5.2朴素贝叶斯181
15.5.3线性分类器182
15.6文本分类的评价183
书目说明和延伸阅读184
练习184
6章文本摘要185
16.1文本摘要技术概述185
16.2抽取式文本摘要186
16.3抽象式文本摘要187
16.4文本摘要的评价189
16.5文本摘要的应用189
书目说明和延伸阅读190
练习190
7章主题分析192
17.1用词项表示的主题193
17.2用单词分布表示的主题196
17.3挖掘文本中的一个主题198
17.3.1最简单的主题模型：一元语言模型199
17.3.2添加背景语言模型201
17.3.3混合模型的参数估计205
17.3.4混合模型的行为206
17.3.5期望优选化209
17.4概率潜在语义分析214
17.5PLSA的扩展及潜在狄利克雷分布220
……