大数据分析

本书以大数据分析的相关理论和方法为主线，首先介绍了大数据分析所需的预备知识和常用的降维方法，然后介绍了数据挖掘、时间序列分析、人工神经网络等大数据分析方法，最后介绍了大数据分析和大数据可视化的常用工具，并讲解了其相应的操作。 本书既可以作为高等院校和高职院校数据科学与大数据、大数据管理与应用、软件工程及相关专业的教材，也可以供系统分析师、系统架构师、软件开发工程师和项目经理以及其他学习大数据技术的读者阅读和参考。

王道平，博士，教授，博士生导师，北京科技大学经济管理学院管理科学与工程系，研究方向为供应链与物流管理、大数据技术与应用、智能管理系统等，主讲大数据概论、数据组织与分析技术、供应链与物流管理等课程，承担多项国家自然科学基金课题和省部级课题，主编出版《现代物流信息技术》、《现代物流管理》、《供应链管理》、《大数据导论》、《大数据处理》、《智能制造概论》等多部教材，其中1部教材被评为北京高校优质本科教材，2部教材被评为北京市高等教育精品教材。 宋雨情，博士，毕业于北京科技大学经管学院管理科学与工程专业，研究方向为供应链与物流管理、大数据技术与应用等，现就职于中信银行股份有限公司总行软件开发中心，从事客户经营平台项目需求开发和设计编码工作。

第1章　大数据分析概论 1 1.1　大数据分析的产生背景与 基础 5 1.1.1　大数据分析的产生背景 5 1.1.2　大数据分析的基础 6 1.2　大数据分析的概念与 基本原理 7 1.2.1　大数据分析的概念 7 1.2.2　大数据分析的基本原理 8 1.3　大数据分析的对象、过程和 价值 10 1.3.1　大数据分析的对象 10 1.3.2　大数据分析的过程 13 1.3.3　大数据分析的价值 15 本章小结 18 习题 18 第2章　大数据分析预备知识 20 2.1　模型评估与选择 21 2.1.1　经验误差与过拟合 21 2.1.2　评估方法 22 2.1.3　性能度量 25 2.2　假设检验 26 2.2.1　假设检验的基本概念 26 2.2.2　正态总体参数的假设检验 30 2.3　方差分析 34 2.3.1　问题的提出 34 2.3.2　单因子方差分析统计模型 35 2.3.3　平方和分解 36 2.3.4　检验方法 38 本章小结 41 习题 41 第3章　大数据分析常用降维方法 43 3.1　线性判别分析 44 3.1.1　线性判别分析概述 44 3.1.2　线性判别分析的计算过程 45 3.1.3　线性判别分析的优点和 缺点 46 3.1.4　线性判别分析的应用 47 3.2　主成分分析 47 3.2.1　主成分分析概述 48 3.2.2　主成分分析的计算过程 49 3.2.3　主成分分析的提取标准 51 3.2.4　主成分分析的应用 52 3.3　因子分析 55 3.3.1　因子分析概述 55 3.3.2　因子分析的模型 57 3.3.3　因子分析的计算过程 58 3.3.4　因子分析的应用 60 本章小结 65 习题 65 第4章　大数据分析常用方法 67 4.1　关联分析 68 4.1.1　关联分析的概念 68 4.1.2　Apriori算法 70 4.1.3　FP-Growth算法 72 4.1.4　关联规则的评估 75 4.2　分类分析 80 4.2.1　分类分析的概念 80 4.2.2　朴素贝叶斯分类 81 4.2.3　决策树 83 4.2.4　支持向量机 87 4.2.5　分类模型的评估 88 4.3　聚类分析 89 4.3.1　聚类分析的概念 89 4.3.2　k-means算法 92 4.3.3　k-medoids算法 93 4.3.4　DBSCAN算法 94 4.3.5　聚类结果的评估 95 本章小结 97 习题 97 第5章　时间序列分析 99 5.1　时间序列分析法概述 100 5.1.1　时间序列的概念 100 5.1.2　时间序列的分类 103 5.1.3　时间序列分析法的分类 105 5.2　确定性时间序列分析法 106 5.2.1　移动平均法 106 5.2.2　指数平滑法 110 5.2.3　季节指数法 114 5.3　随机性时间序列分析法 118 5.3.1　平稳性时间序列分析 118 5.3.2　非平稳性时间序列分析 120 5.3.3　异方差时间序列分析 123 本章小结 124 习题 125 第6章　人工神经网络 127 6.1　人工神经网络概述 129 6.1.1　人工神经网络简介 130 6.1.2　人工神经网络在大数据中的 应用 132 6.2　人工神经网络模型 132 6.2.1　多层感知器 133 6.2.2　径向基函数神经网络 134 6.2.3　Kohonen网络 135 6.3　学习规则 137 6.3.1　Hebb学习规则 138 6.3.2　Perceptron学习规则 139 6.3.3　?学习规则 139 6.3.4　LMS学习规则 140 6.3.5　Correlation学习规则 140 6.3.6　Winner-Take-All学习 规则 140 6.4　神经网络训练算法 141 6.4.1　梯度下降算法 141 6.4.2　演化算法 142 6.4.3　遗传算法 143 本章小结 146 习题 146 第7章　大数据分析工具 148 7.1　数据透视表 150 7.1.1　数据透视表的功能 150 7.1.2　数据透视表的相关操作 151 7.1.3　数据透视表分析 156 7.2　Python数据分析库 158 7.2.1　Python的安装和设置 158 7.2.2　常用的Python数据 分析库 159 7.2.3　Python在大数据分析中的 应用 161 7.3　Tableau 163 7.3.1　Tableau的系列产品 163 7.3.2　Tableau的应用优势 164 7.3.3　Tableau的数据连接 166 7.3.4　Tableau在网站内容评估中的 应用 168 本章小结 173 习题 173 第8章　大数据可视化 175 8.1　大数据可视化概述 176 8.1.1　大数据可视化的概念 176 8.1.2　大数据可视化的作用 177 8.1.3　大数据可视化的应用 178 8.2　大数据可视化的基础和 表现形式 183 8.2.1　大数据可视化的原则和 步骤 184 8.2.2　统计图表可视化方法 186 8.2.3　不同类型数据和图形的 展示 187 8.3　大数据可视化工具 194 8.3.1　Tableau的可视化功能 194 8.3.2　ECharts工具简介 199 本章小结 202 习题 203 参考文献 204