大数据分析与数据挖掘

简祯富 现职 台湾新竹“清华大学”清华讲座教授：工业工程与工 程管理学系／EMBA／MBA 台湾“科技部” “IC产业同盟”计划暨“清华一台积电 卓越制造中心”主持人 学历与训练 哈佛大学商学院PCMPCL结业 威斯康星大学麦迪逊分校决策科学与作业研究博士 新竹“清华大学”工业工程系暨电机工程系双学位(斐 陶斐荣誉会员)

第1篇 大数据分析与数据挖掘导论 第1章 大数据分析与数据挖掘概论 1.1 前言 1.2 大数据分析的应用 1.3 数据挖掘与数字决策 1.4 数据挖掘和大数据分析架构与步骤 1.4.1 问题定义与架构 1.4.2 数据准备 1.4.3 建立挖掘模式 1.4.4 结果解释与评估 1.5 数据挖掘的问题类型 1.5.1 分类 1.5.2 预测 1.5.3 聚类 1.5.4 关联规则 1.6 数据挖掘模式 1.7 结论 1.8 本书架构 问题与讨论 第2章 数据与数据准备 2.1 数据取得 2.2 大数据分析的基础：Hadoop 2.2.1 Hadoop架构 2.2.2 Hadoop分布式文件系统 2.2.3 MapReduce 2.3 数据类型 2.4 数据尺度 2.5 数据检查 2.6 数据探索与可视化 2.7 数据整合与清理 2.8 数据转换 2.8.1 数据数值转换 2.8.2 数据属性转换 2.9 数据归约 2.9.1 数据维度归约 2.9.2 数据数值归约 2.10 数据分割 2.11 应用实例——半导体厂制造技术员人力资源管理质量提升 2.11.1 案例背景 2.11.2 数据准备 2.12 结论 问题与讨论 第2篇 数据挖掘方法与实证 第3章 关联规则 3.1 关联规则的定义与说明 3.2 关联规则的衡量指针 3.3 关联规则的类型 3.4 关联规则算法 3.4.1 Apriori算法 3.4.2 Partition算法