SPSS Modeler+Weka数据挖掘从入门到实战

  

本书是一本面向商业数据挖掘建模分析人员的教材，从具体的商业数据分析案例入手，帮助读者掌握数据挖掘的目的、方法、工具与分析步骤。本书所采用的分析工具为目前颇受好评的IBMSPSSModeler及开源软件Weka。IBM SPSS Modeler有很好的用户接口，也有不错的分析功能，但缺乏比较前沿的分析模块，以及很难与现有的信息系统结合，而Weka恰能弥补其缺憾。同时，这两个软件都不需要编程，适合初学者。本书具体内容由四位活跃在数据挖掘教学和项目开发一线的人员完成，内容侧重软件的实际操作。力图将复杂的技术以浅显的方式进行解释，尽量避免涉及过多的数学内容。

  

篇理论篇
章数据挖掘简介1
1.1数据挖掘的起源、定义及目标2
1.2数据挖掘的发展历程2
1.3SPSSModeler和Weka基础操作4
1.3.1SPSSModeler软件简介4
1.3.2建立一个SPSSModeler项目5
1.3.3Weka软件环境简介8
1.3.4Weka简单操作实例9
第2章数据挖掘方法论15
2.1数据挖掘方法论16
2.1.1CRISP-DM.16
2.1.2SEMMA16
2.2数据库中的知识挖掘步骤17
2.2.1字段选择17
2.2.2数据清洗18
2.2.3字段扩充18
2.2.4数据编码19
2.2.5数据挖掘20
2.2.6结果呈现21
2.3案例：运用SPSSModeler和Weka做客户的信用风险评分模型22
2.3.1案例说明.22
2.3.2案例实操.23
2.3.3运用SPSSModeler进行初步的数据挖掘28
2.3.4运用Weka进行数据汇入34
2.3.5Weka自有数据存储格式arff简介36
第3章基本的数据挖掘技术38
3.1描述性统计39
3.1.1案例：通过数据判断客户是否需要新增电话线路39
3.1.2案例：运用描述性统计分析杂志社的客户特征40
3.2可视化技术42
3.3KNN原理及实例44
3.3.1KNN（K最近邻）算法44
3.3.2使用KNN算法计算距离45
3.3.3案例：使用KNN算法向用户推荐电影49
3.4案例：运用Weka的KNN算法对诊断结果进行预测52
3.4.1案例说明52
3.4.2运用Weka中的IBk模型进行预测53
3.5案例：运用SPSSModeler的KNN算法预测客户是否接受人寿保险推销58
3.5.1案例说明58
3.5.2案例实操59
第4章数据挖掘进阶技术68
4.1数据挖掘的功能分类69
4.1.1描述型数据挖掘（无监督数据挖掘）69
4.1.2预测型数据挖掘（有监督数据挖掘）70
4.2数据挖掘的绩效增益72
4.2.1数据挖掘模型评估指标：正确率、响应率、查全率、F值72
4.2.2数据挖掘模型评估指标：GainChart74
4.2.3数据挖掘模型评估指标：LiftChart75
4.2.4数据挖掘模型评估指标：ProfitChart76
4.3数据挖掘网站77
4.3.1KDnuggets77
4.3.2Kaggle80
4.4案例：评估新产品的促销活动效果82
4.4.1案例说明.83
4.4.2数据及字段描述83
4.4.3效能评估方式85
4.4.4比赛结果排名85
第2篇准备篇
第5章数据预处理87
5.1字段选择88
5.1.1数据整合88
5.1.2数据过滤88
5.1.3案例：运用SPSSModeler过滤数据89
5.2数据清洗92
5.2.1错误值的检测及处理92
5.2.2案例：运用SPSSModeler进行错误值的检测及处理92
5.2.3离群值的检测及处理96
5.2.4案例：运用SPSSModeler进行离群值的检测及处理96
5.2.5缺失值的检测及处理100
5.2.6案例：运用SPSSModeler进行缺失值的检测及处理101
5.3字段扩充110
5.3.1案例说明110
5.3.2案例：运用SPSSModeler进行字段扩充及评估对效能的提升111
5.4数据编码118
5.4.1数据转换118
5.4.2数据精简128
5.4.3数据集的切割129
第6章关键变量挖掘技术137
6.1无效变量138
6.2统计方式的变量选择138
6.2.1卡方检验138
6.2.2方差分析（ANOVA检验）及t检验138
6.2.3案例：运用SPSSModeler进行关键变量挖掘139
6.3模型方式的变量选择141
6.3.1决策树141
6.3.2Logistic回归141
第7章贝叶斯网络143
7.1朴素贝叶斯144
7.1.1独立性假设145
7.1.2概率的离散化147
7.2什么是贝叶斯网络147
第8章线性回归150
8.1简单线性回归151
8.2多元回归152
8.3相关系数152
8.4回归分析案例153
8.5线性回归模型评估156
8.5.1线性回归模型评估指标：MAE、MSE和RMSE156
8.5.2线性回归模型评估指标：R2156
8.6案例：运用SPSSModeler建立线性回归模型157
8.6.1案例说明157
8.6.2案例实操157
第9章决策树161
9.1ID3决策树模型162
9.2ID3算法165
9.2.1ID3算法的字段选择方式165
9.2.2使用决策树进行分类168
9.2.3决策树与决策规则之间的关系168
9.2.4ID3算法的缺点169
9.3C5.0算法170
9.3.1C5.0算法的字段选择方式170
9.3.2C5.0算法的数值型字段处理方式170
9.3.3C5.0算法的剪枝方法172
9.4CART算法173
9.4.1分类树与回归树174
9.4.2CART分类树的字段选择方式174
9.4.3CART分类树的剪枝作法177
9.5CHAID算法177
9.6案例：运用SPSSModeler和Weka建立决策树模型177
9.6.1案例说明177
9.6.2案例实操178
9.6.3运用SPSSModeler建立交互式分类树模型179
9.6.4运用Weka建立交互式分类树模型180
9.7CART回归树算法186
9.7.1CART回归树的字段选择方式186
9.7.2利用模型树提升CART回归树的效率187
9.8案例：运用SPSSModeler和Weka建立回归树模型188
9.8.1案例说明188
9.8.2案例实操188
9.8.3使用Weka对比“剪枝”前后的模型189
0章神经网络194
10.1BP神经网络模型195
10.1.1BP神经网络模型的概念195
10.1.2BP神经网络模型的架构方式195
10.2神经元的组成198
10.3神经网络模型如何传递信息199
10.4修正神经网络模型的权重值及常数项200
10.5BP神经网络模型与Logistic回归、线性回归及非线性回归之间的关系201
10.6案例：运用SPSSModeler建立类神经网络模型202
1章Logistic回归208
11.1Logistic回归与BP神经网络的关系210
11.2Logistic回归的字段选择方式211
11.2.1前向法211
11.2.2后向法212
11.2.3逐步法212
11.3案例：运用SPSSModeler建立Logistic回归模型213
11.3.1案例说明213
11.3.2案例实操213
2章支持向量机215
12.1数据是线性可分的支持向量机217
12.2数据是线性不可分的支持向量机219
12.3案例：运用SPSSModeler建立SVM模型221
第3篇关系篇
3章聚类分析230
13.1相似性度量232
13.1.1二元变量的相似性度量232
13.1.2类别型变量的相似性度量234
13.1.3数值型变量的相似性度量234
13.2聚类算法234
13.2.1互斥聚类与非互斥聚类算法234
13.2.2分层聚类算法235
13.2.3分割式聚类算法236
13.3分层聚类算法236
13.3.1单一连接法236
13.3.2接近连接法237
13.3.3平均连接法238
13.3.4中心法238
13.3.5Ward＇s法（华德法）239
13.4分割式聚类算法240
13.4.1K-Means算法240
13.4.2K-Medoids算法243
13.4.3SOM算法243
13.4.4两步法243
13.5集群判断244
13.5.1集群判断方法：R2244
13.5.2集群判断方法：半径R2245
13.5.3集群判断方法：均方根标准差（RMSSTD）245
13.6案例：运用SPSSModeler建立聚类模型246
13.6.1案例说明246
13.6.2案例实操246
4章关联规则252
14.1关联规则的概念253
14.2关联规则的评估指标253
14.2.1支持度253
14.2.2置信度254
14.3Apriori算法254
14.3.1暴力法的问题254
14.3.2Apriori算法的理论基础255
14.4Apriori算法实例说明255
14.4.1候选项目组合的产生255
14.4.2候选项目组合的删除256
14.5再谈评估指标256
14.5.1支持度与置信度的问题256
14.5.2提升度指标257
14.6关联规则的延伸257
14.6.1虚拟商品的加入257
14.6.2负向关联规则257
14.7案例：运用SPSSModeler建立关联规则模型258
14.7.1案例说明258
14.7.2案例实操258
5章序列模型263
15.1序列模型的概念264
15.2案例：运用SPSSModeler建立序列模型266
15.2.1案例说明266
15.2.2案例实操266