信息检索与处理

本书为信息系统与信息管理精品规划教材之一，供高等院校信息管理类专业学生学习信息检索专业课使用，同时兼顾了信息存储、信息检索和信息处理等方面，区别于旨在向大学生普及信息检索方法的信息检索与利用类教材。内容涉及信息检索的原理、方法、技术、系统、网络及其相关知识。全书共分13章，包括：信息检索与信息处理、文本检索、多媒体检索、Web检索、检索模式扩展、信息检索模型、检索结果相关反馈与优化、用户行为与交互设计、信息检索评价与试验、自动标引、自动文摘、自动分类与聚类以及智能信息处理与知识工程等。

前言
教学建议
第一部分信息检索导论
第1章绪论2
引言2
1.1信息检索概述3
1.2信息处理概述11
1.3信息检索系统15
1.4信息检索研究25
复习思考题30
第二部分基本信息检索
第2章文本检索32
引言32
2.1书目记录33
2.2文档结构40
2.3常规检索56
2.4全文检索66
复习思考题69
第3章多媒体检索70
引言70
3.1多媒体技术概述70
3.2多媒体检索原理75
3.3多媒体数据模型80
3.4基于内容的多媒体检索85
复习思考题95
第4章Web检索96
引言96
4.1Web信息组织97
4.2Web检索模型104
4.3Web搜索引擎与Web检索系统107
复习思考题119
第5章检索模式扩展120
引言120
5.1并行式检索121
5.2分布式检索125
5.3集群式检索127
5.4异构数据库检索130
5.5跨语言检索134
5.6可视化检索138
5.7语义检索140
复习思考题142
第6章信息检索模型143
引言143
6.1经典模型144
6.2扩展的布尔模型148
6.3扩展的向量空间模型152
6.4扩展的概率模型157
6.5结构化模型163
复习思考题166
第三部分信息检索交互与评价
第7章检索结果相关反馈与优化168
引言168
7.1检索策略的构造与优化169
7.2检索结果的相关反馈172
7.3检索结果的自动扩展技术179
7.4信息过滤183
7.5个性化检索与用户兴趣建模192
复习思考题195
第8章用户行为与交互设计196
引言196
8.1信息用户及其行为196
8.2交互式信息检索200
8.3用户界面交互设计204
8.4用户界面交互测评208
复习思考题215
第9章信息检索评价与试验216
引言216
9.1信息检索的相关性理论217
9.2信息检索评价步骤与方法220
9.3信息检索评价指标体系222
9.4经典的信息检索评价试验228
9.5信息检索评价实验平台：TREC237
复习思考题243
第四部分信息检索自动化与智能化
第10章自动标引246
引言246
10.1自动标引原理247
10.2语料库建设252
10.3基于概率统计的自动标引257
10.4基于语言的自动标引265
复习思考题273
第11章自动文摘274
引言274
11.1文摘与自动文摘274
11.2自动文摘原理278
11.3信息抽取282
11.4基于统计的自动文摘法283
11.5基于结构的自动文摘法286
11.6基于理解的自动文摘法288
11.7多文档自动文摘292
11.8自动文摘系统294
复习思考题299
第12章自动分类与聚类300
引言300
12.1自动分类原理301
12.2自动分类技术303
12.3分类器性能评估312
12.4自动聚类原理314
12.5自动聚类技术316
12.6聚类器性能评估323
12.7特征选择325
复习思考题330
第13章智能信息处理与知识工程332
引言332
13.1信息检索系统功能模型332
13.2自然语言处理335
13.3机器学习339
13.4Web信息挖掘341
13.5自动问答系统343
13.6知识工程345
复习思考题349
参考文献350

前  言19世纪下半叶，现代科学技术出现之前，科学家们为自己的研究工作搜集资料的方式是到图书馆先查找目录，再借阅图书、期刊、报纸和工具书。从19世纪末开始，出现了专门的文摘索引杂志，大大提高了科学家们查找资料的速度和效率。20世纪中叶，开始出现了计算机检索系统，这一划时代的进步使信息检索从手工检索飞跃到计算机检索，经历了脱机（离线、线下）检索、联机（在线、线上）检索和国际联机检索等阶段。20世纪90年代初，随着计算机技术、通信技术和网络技术的飞速发展，特别是互联网的迅速发展和广泛应用，信息检索又进入了网络检索阶段。 提起信息检索，大多数人会很自然地联想到通过搜索引擎来进行，搜索引擎似乎已成为信息检索的代名词。但事实并非如此，除了搜索引擎外，在专业人员看来，信息检索还有更为丰富的含义。诚然，“搜索引擎”中“搜索”的英文词是search，它也有“检索”、“查找”的意思，而“信息检索”中“检索”的英文词既可以用search来表示，也可以用retrieval来表示，甚至还可以用seeking来表示。可见，信息检索的指向范围比搜索引擎的指向范围更为广泛，所以说，搜索引擎只是信息检索的一个方面，而不是全部。 信息检索自20世纪50年代初提出以来，历经半个多世纪的发展和建设，已经作为一门新兴的交叉学科呈现在人们面前。从学科的角度来看，信息检索已经逐渐形成了包括自身的理论、方法、技术和应用领域在内的完整的学科体系，尽管目前它还存在一些没有解决或没有完全解决的课题，但这并不影响它沿着自己的既定方向继续前进。 环顾国内外，与信息检索有关的教材可谓琳琅满目、百花齐放。仅就我国而言，目前的绝大多数信息检索教材属于“方法”类，如《信息检索与利用》，主要供在校大学生学习、掌握和运用检索方法，强化利用信息的基本技能和技巧，带有普及性质。还有少数信息检索教材属于“技术”类，主要供高等学校信息管理类专业的学生使用，旨在使学生深入了解信息检索的原理、方法、技术、系统、网络及其相关知识，带有专业性质。本教材即属于后者。 2005年，我们曾翻译出版了《现代信息检索》（机械工业出版社）一书。该书主要从计算机专业角度出发，将计算机技术与信息检索紧密结合起来，2011年该书英文版第2版出版，2012年该书英文版第2版的中文版出版。尽管该书不失为当时国内外的一部佳作，但由于文化和教育背景不同，还不能完全适合我国学生。为了更加适合我国学生，我们于2009年编写出版了国家教育部“十一五”规划教材《信息检索与存储》（机械工业出版社）。2013年，机械工业出版社计划组织编写一套高质量的管理科学与工程系列精品规划教材，并邀请我们编写信息检索教材，为此，我们编写了这本《信息检索与处理》。 我们之所以把本书定名为《信息检索与处理》，主要考虑到信息检索与信息处理之间的紧密关系。信息处理是一个非常广泛而通用的概念，几乎可以涉及人类活动的任何一个领域。信息检索致力于信息的收集、加工、存储、检索、传递和利用，这与信息处理的基本过程大致相符。因此，从广义上说，信息检索的实质就是一种信息处理，只不过更加突出了存储功能和检索功能。事实上，信息检索的所有操作过程也都是在进行信息处理，与信息处理并无二致。可以说，信息检索就是检索领域中的信息处理，或者说，信息检索就是信息处理在检索领域中的具体应用和体现，信息检索所做的一切实际上都是在进行信息处理。“信息检索与处理”更加突出了信息检索中信息处理的方法和技术，特别是新方法、新技术，有助于将相关的信息处理方法和技术融入信息检索之中，这一点可以从本书的内容中得到体现。 本书分为4个部分共13章。第一部分是信息检索导论，即第1章，主要阐述信息检索的概念、原理和类型；信息处理的含义、目的、过程、内容、步骤、方式以及信息处理与信息检索的关系；信息处理系统以及信息检索系统的概念、类型和结构；信息检索的研究内容、相关领域和发展趋势。第二部分是基本信息检索，由第2～6章组成，重点介绍文本检索、多媒体检索、Web检索、检索模式扩展以及信息检索模型。第三部分是信息检索交互与评价，由第7～9章组成，着重讨论检索结果相关反馈与优化、用户行为与交互设计以及信息检索评价与试验。第四部分是信息检索自动化与智能化，由第10～13章组成，主要探讨自动标引、自动文摘、自动分类与聚类以及智能信息处理与知识工程。 本书的编写思路和大纲由王知津提出，并经集体反复讨论和修改后确定。各章的编写者及具体分工如下：王知津（第1章）、陈芳芳（第2章）、徐芳（第3章）、史海燕（第4章）、景璟（第5章）、赵洪（第6章、第10章）、韩毅（第7章）、韩正彪（第8章）、樊振佳（第9章、第11章）、陈翀（第12章）、朝乐门（第13章）。全书由王知津审稿、定稿。 在本书的编写过程中，我们参考和借鉴了大量的中外文书刊资料，我们对本书的主要参考文献作者表示诚挚的谢意。由于篇幅所限，我们未能一一列出所有参考文献，因此，我们对未能列出的参考文献作者表示深深的歉意。正是这些参考文献作者的前期工作为本书的完成奠定了基础，并为我们提供了强大的写作动力和丰富的创新素材。本书得以顺利完成，与机械工业出版社云逸编辑所给予的大力支持、鼓励、指导、帮助和建议是分不开的，在此，我们一并表示诚挚的谢意。 虽然我们尽了自己最大的努力争取把这本教材编好，但信息检索毕竟是一个快速发展和不断更新的领域，限于编者的学识、水平和能力，缺点、疏漏和错误在所难免，恳请各位专家、学者和广大读者不吝赐教、指正，以便在本书修订时加以补充、更正和完善。 王知津2015年3月12日于南开大学