数据处理与知识发现

   本书系统地介绍了数据预处理、数据仓库和数据挖掘的原理、方法及应用技术，以及采用Mahout对相应的挖掘算法进行实际练习。本书共有11章，分为两大部分。~7章为理论部分。章为绪论，介绍了数据挖掘与知识发现领域中的一些基本理论、研究方法等，也简单介绍了Hadoop生态系统中的Mahout；第2~7章按知识发现的过程，介绍数据预处理的方法和技术、数据仓库的构建与OLAP技术、数据挖掘原理及算法(包括关联规则挖掘、聚类分析方法、分类规则挖掘)、常见的数据挖掘工具与产品。第8~11章为实验部分，采用Mahout对数据挖掘各类算法进行实际练习。本书应用性较强，与实践相结合，以小数据集为例详细介绍各种挖掘算法，使读者更易掌握挖掘算法的基本原理及过程；使用广泛的大数据平台——Hadoop生态系统中的Mahout对各种挖掘算法进行实际练习，实战性强，也符合目前数据处理与挖掘的发展趋势。本书既便于教师课堂讲授，又便于自学者阅读，可作为高等院校高年级学生“数据挖掘技术”“数据仓库与数据挖掘”“数据处理与智能决策”等课程的教材。

   前言

上篇理论部分

第1章绪论2

1.1KDD与数据挖掘2

1.1.1KDD的定义2

1.1.2KDD过程与数据挖掘3

1.2数据挖掘的对象4

1.3数据挖掘的任务8

1.4Mahout简介12

1.4.1Mahout12

1.4.2Mahout算法库13

1.4.3Mahout应用16

1.5小结17

1.6习题17

第2章数据预处理18

2.1数据概述18

2.1.1属性与度量19

2.1.2数据集的类型23

2.2数据预处理27

2.2.1数据预处理概述28

2.2.2数据清理30

2.2.3数据集成34

2.2.4数据变换38

2.2.5数据归约40

2.2.6离散化与概念分层48

2.3小结52

2.4习题53

第3章数据仓库55

3.1数据仓库概述55

3.1.1从数据库到数据仓库55

3.1.2数据仓库56

3.1.3数据仓库系统结构59

3.1.4数据仓库中的名词59

3.2数据仓库的ETL60

3.2.1ETL的基本概念60

3.2.2ETL的工具60

3.3元数据与外部数据62

3.3.1元数据的定义62

3.3.2元数据的存储与管理63

3.3.3外部数据64

3.4数据仓库模型及数据仓库的建立65

3.4.1多维数据模型65

3.4.2多维数据模型的建立67

3.5联机分析处理OLAP技术73

3.5.1OLAP概述73

3.5.2OLAP与数据仓库75

3.5.3OLAP的模型77

3.5.4OLAP的基本操作79

3.6数据仓库实例80

3.6.1数据仓库的创建81

3.6.2数据的提取?转换和加载83

3.7小结83

3.8习题83

第4章关联规则挖掘84

4.1问题定义85

4.1.1购物篮分析85

4.1.2基本术语85

4.2频繁项集的产生87

4.2.1先验原理88

4.2.2Apriori算法的频繁项集产生90

4.3规则产生94

4.3.1基于置信度的剪枝94

4.3.2Apriori算法中规则的产生94

4.4FP-growth算法95

4.5多层关联规则和多维关联规则99

4.5.1多层关联规则99

4.5.2多维关联规则102

4.6非二元属性的关联规则103

4.7关联规则的评估104

4.8序列模式挖掘算法106

4.8.1序列模式的概念106

4.8.2Apriori类算法———AprioriAll算法109

4.9小结114

4.10习题115

第5章聚类分析方法118

5.1聚类分析概述118

5.1.1聚类的定义118

5.1.2聚类算法的要求119

5.1.3聚类算法的分类120

5.1.4相似性的测度121

5.2基于划分的聚类算法126

5.2.1基于质心的(Centroid-based)划分方法———基本K-means聚类算法126

5.2.2K-means聚类算法的拓展128

5.2.3基于中心的(Medoid-based)划分方法———PAM算法130

5.3层次聚类算法133

5.3.1AGNES算法136

5.3.3改进算法———BIRCH算法137

5.3.4改进算法———CURE算法141

5.4基于密度的聚类算法143

5.5聚类算法评价147

5.6离群点挖掘149

5.6.1相关问题概述149

5.6.2基于距离的方法150

5.6.3基于相对密度的方法154

5.7小结158

5.8习题158

第6章分类规则挖掘160

6.1分类问题概述160

6.2最近邻分类法162

6.2.1KNN算法原理162

6.2.2KNN算法的特点及改进165

6.2.3基于应用平台的KNN算法应用实例166

6.3决策树分类方法167

6.3.1决策树概述167

6.3.2信息论171

6.3.3ID3算法172

6.3.4算法改进:C4.5算法176

6.4贝叶斯分类方法180

6.4.1贝叶斯定理181

6.4.2朴素贝叶斯分类器183

6.4.3朴素贝叶斯分类方法的改进185

6.5神经网络算法188

6.5.1前馈神经网络概述188

6.5.2学习前馈神经网络189

6.5.3BP神经网络模型与学习算法191

6.6回归分析193

6.7小结196

6.8习题197

第7章数据挖掘工具与产品198

7.1评价数据挖掘产品的标准198

7.2数据挖掘工具简介200

7.3数据挖掘的可视化203

7.3.1数据挖掘可视化的过程与方法203

7.3.2数据挖掘可视化的分类204

7.3.3数据挖掘可视化的工具206

7.4Weka207

7.4.1Weka Explorer208

7.4.2Weka Experimenter216

7.4.3Knowledge Flow219

7.5小结221

7.6习题221

下篇实验部分

第8章Mahout入门224

8.1Mahout安装前的准备224

8.1.1安装JDK224

8.1.2安装Hadoop227

8.2Mahout的安装237

8.3测试安装238

8.4小结239

第9章使用Mahout实践关联规则算法240

9.1FP树关联规则算法240

9.1.1Mahout中Parallel Frequent Pattern Mining算法的实现原理240

……