数据工程

本书既考虑了数据工程技术在基础、经典和前沿三方面内容的系统性，也考虑了数据工程学科在数据、知识和服务三方面内容的完整性，介绍每部分内容的代表性技术；在每个知识点的阐述中，注重思路和技术框架的介绍、技术内涵和理念的传递，旨在为读者进一步学习和研究与数据相关的学科的方法和技术提供一些参考。

《数据工程--处理分析与服务》以“数据—知识—服务”为主线，以数据处理、分析和服务的代表性方法与技术为重点，包括数据处理篇、数据分析篇和数据服务篇三个部分。数据处理篇介绍结构化、非结构化和半结构化数据的存储、查询和优化方法；数据分析篇介绍数据挖掘、知识发现和数据仓库的经典算法；数据服务篇介绍web服务和数据密集型计算技术。本书既考虑了数据工程技术在基础、经典和前沿三方面内容的系统性，也考虑了数据工程学科在数据、知识和服务三方面内容的完整性，介绍每部分内容的代表性技术；在每个知识点的阐述中，注重思路和技术框架的介绍、技术内涵和理念的传递，旨在为读者进一步学习和研究与数据相关的学科的方法和技术提供一些参考。
本书内容的学习，需要读者具有计算机程序设计和关系数据库查询处理的基础知识，以及使用数据库管理系统的基本能力，可作为数据库相关学科研究和开发人员的参考书，也可作为计算机科学与技术学科各专业研究生、高年级本科生相关课程的教材。

数据处理篇
第1章 关系数据库查询优化3
1.1 数据库设计4
1.1.1 数据库设计概述4
1.1.2 ER模型5
1.1.3 关系模型13
1.1.4 从ER模型到关系模型19
1.1.5 规范化简介24
1.2 面向复杂应用的数据查询26
1.2.1 连接查询、嵌套查询和集合查询26
1.2.2 视图、存储过程和触发器29
1.3 查询优化33
1.3.1 基于索引的查询优化33
1.3.2 基于数据库模式反规范化和视图物化的查询优化52
1.3.3 基于数据查询语句重写的查询优化58

第2章 信息检索65
2.1 信息检索概述66
2.1.1 信息检索的概念和基本原理66
2.1.2 信息检索的相关学科和研究内容68
2.1.3 信息检索的发展史70
2.2 信息检索模型71
2.2.1 信息检索系统的形式表示71
2.2.2 布尔模型72
2.2.3 向量空间模型73
2.2.4 经典概率模型76
2.3 文本信息检索78
2.3.1 词汇的频率与数量分布规律79
2.3.2 文本信息预处理80
2.3.3 文本信息的倒排索引81
2.3.4 布尔检索85
2.3.5 相关反馈和提问式扩展86
2.3.6 Lucene：一个开源的全文信息检索引擎88
2.4 Web信息检索89
2.4.1 Web信息搜索的概念90
2.4.2 Web搜索引擎的工作原理91
2.4.3 Web搜索引擎的关键技术92
2.5 信息检索评价指标98
2.5.1 信息检索评价的基本步骤99
2.5.2 单个查询的评价指标100
2.5.3 多个查询的评价指标102
2.5.4 面向用户的评价指标102
2.5.5 搜索引擎性能评价指标103
2.5.6 TREC评测104

第3章 XML数据管理107
3.1 XML语法107
3.1.1 XML简介107
3.1.2 XML文档结构109
3.1.3 XPath和XQuery查询语言118
3.2 XML数据模型125
3.2.1 半结构化数据125
3.2.2 XML数据模型127
3.3 XML数据处理132
3.3.1 XML解析132
3.3.2 XML数据库系统概述135
3.3.3 XML存储137
3.3.4 XML数据索引146
3.3.5 XML查询处理152
3.4 XML数据库性能评测156
3.4.1 性能基准156
3.4.2 评测数据集158数据分析篇

第4章 数据挖掘163
4.1 数据挖掘概述164
4.1.1 数据挖掘的内涵和任务164
4.1.2 数据挖掘的过程166
4.2 数据清理169
4.2.1 数据质量管理的基本思想169
4.2.2 数据清理流程171
4.2.3 数据清理方法172
4.3 数据分析178
4.3.1 数据分类分析178
4.3.2 数据聚类分析189
4.3.3 算法评价201

第5章 数据仓库205
5.1 数据仓库概述206
5.1.1 数据仓库的基本概念206
5.1.2 从操作型系统到信息型系统207
5.2 数据仓库体系结构208
5.2.1 一般的两层体系结构208
5.2.2 独立数据集市的数据仓库体系结构209
5.2.3 依赖数据集市和操作型数据存储体系结构——三层结构210
5.2.4 逻辑数据集市和实时数据仓库体系结构211
5.3 联机分析处理213
5.3.1 OLAP的概念和基本操作213
5.3.2 OLAP的体系结构217数据服务篇

第6章 Web服务231
6.1 Web服务的基本概念232
6.1.1 企业应用集成与电子商务232
6.1.2 Web服务技术架构235
6.2 Web服务的标准协议241
6.2.1 WSDL241
6.2.2 SOAP246
6.2.3 UDDI254
6.3 Web服务质量263
6.3.1 Web服务质量属性264
6.3.2 Web服务质量度量266
6.3.3 Web服务质量保证概述272
6.4 Web服务发现与组合274
6.4.1 基于类型的Web服务发现与组合274
6.4.2 基于QoS的Web服务发现与组合276
6.4.3 基于工作流的Web服务发现与组合277
6.4.4 基于AI规划的Web服务发现与组合282
6.4.5 Web服务组合标准规范284
6.5 Web服务安全289
6.5.1 Web服务安全问题289
6.5.2 Web服务安全标准和模型291
6.5.3 Web服务安全支撑技术303

第7章 数据密集型计算307
7.1 数据密集型计算的基本概念308
7.1.1 背景与挑战308
7.1.2 数据密集型计算的含义312
7.2 数据密集型计算的支撑技术312
7.2.1 Google数据密集型计算技术312
7.2.2 Yahoo!数据密集型计算技术323
7.3 海量数据管理332
7.3.1 支持海量数据管理的计算平台333
7.3.2 海量数据处理337
7.3.3 海量数据分析346

参考文献365