大数据导论（第2版）

本书紧跟大数据技术的最新发展、重视基础知识体系，系统地介绍了大数据技术与应用的基本概念和思维方式，详细阐述了大数据的采集、存储、处理、分析和可视化等相关内容，并结合了最新的技术应用案例，讲述了大数据在金融、互联网、生物医学等领域的应用以及大数据环境下的隐私和安全问题。 本书既可以作为高等院校大数据、计算机科学与技术、软件工程及相关专业课程的教材，也可以供系统分析师、系统架构师、软件开发工程师、项目经理及对大数据技术感兴趣的读者阅读和参考。

王道平【主编】【现当代】 ———————————————————— 王道平，博士，教授，博士生导师，北京科技大学经济管理学院管理科学系，研究方向为供应链与物流管理、大数据技术与应用、智能管理系统等，主讲大数据概论、数据组织与分析技术、供应链与物流管理等课程，承担多项国家自然科学基金课题和省部级课题，主编出版《现代物流信息技术》、《现代物流管理》、《供应链管理》、《大数据导论》、《大数据处理》、《智能制造概论》等多部教材，其中1部教材被评为北京高校优质本科教材，2部教材被评为北京市高等教育精品教材。 崔鸿飞【主编】【现当代】 ———————————————————— 崔鸿飞，女，2016年毕业于清华大学自动化系，并在清华大学计算机系从事博士后研究，2019年6月起就职于北京科技大学经济管理学院管理科学与工程系，研究方向为商业及医疗的大数据分析处理。参加了多项国家自然科学基金课题，在国际期刊上发表学术论文10余篇。 葛根哈斯【主编】【现当代】 ———————————————————— 葛根哈斯，女，蒙古族，1988年出生，毕业于北京科技大学经济管理学院管理科学与工程专业，获博士学位，现为内蒙古财经大学统计学院讲师，主要研究方向为大数据分析，供应链与物流管理等。公开发表论文十余篇。

目　　录 第1章　大数据概述 1 1.1　大数据的背景 1 1.1.1　互联网的四次浪潮 2 1.1.2　大数据的变革思维 2 1.2　大数据简介 3 1.2.1　大数据的概念 3 1.2.2　大数据的特征 4 1.2.3　大数据的结构类型 5 1.2.4　大数据的关键技术 6 1.2.5　大数据的核心产业链 7 1.3　大数据的发展和应用 9 1.3.1　大数据的发展态势 9 1.3.2　我国大数据发展面临的问题与 挑战 11 1.3.3　大数据的应用 13 小结 14 习题 14 第2章　大数据的采集和预处理 16 2.1　大数据的采集 16 2.1.1　大数据的采集来源 17 2.1.2　大数据的采集方法 18 2.1.3　大数据的采集平台 20 2.2　大数据的预处理技术 22 2.2.1　数据清洗 22 2.2.2　数据集成 23 2.2.3　数据变换 24 2.2.4　数据归约 24 2.3　数据仓库与ETL工具 26 2.3.1　数据仓库的组成 26 2.3.2　数据仓库的数据模型 28 2.3.3　常用的ETL工具 30 小结 33 习题 33 第3章　大数据存储 35 3.1　传统存储 36 3.1.1　硬盘 36 3.1.2　直连式存储 37 3.1.3　网络存储 39 3.2　分布式存储 42 3.2.1　存储结构 42 3.2.2　系统架构 43 3.2.3　典型系统 44 3.3　云存储 46 3.3.1　云存储的结构模型 46 3.3.2　云存储的分类 47 3.3.3　云存储的优势和劣势 48 3.3.4　云存储的发展趋势 49 小结 51 习题 51 第4章　大数据处理与计算 53 4.1　Hadoop处理框架 54 4.1.1　HDFS 54 4.1.2　MapReduce 55 4.1.3　YARN 58 4.1.4　ZooKeeper 60 4.2　Spark处理框架 62 4.2.1　Scala 62 4.2.2　Spark SQL 64 4.2.3　Spark Streaming 66 4.3　Storm开源流计算框架 67 4.3.1　Storm的基本概念 67 4.3.2　Spout和Bolt 69 4.3.3　Topology 69 小结 71 习题 71 第5章　大数据分析 73 5.1　大数据分析的类型 73 5.1.1　描述性分析 74 5.1.2　探索性分析 75 5.1.3　验证性分析 75 5.2　大数据分析的方法 76 5.2.1　回归分析 76 5.2.2　关联分析 77 5.2.3　分类 82 5.2.4　聚类 84 5.3　大数据分析的工具 87 5.3.1　Excel 87 5.3.2　R 88 5.3.3　RapidMiner 89 5.3.4　KNIME 90 5.3.5　Weka 91 小结 93 习题 94 第6章　大数据可视化 96 6.1　大数据可视化概述 97 6.1.1　大数据可视化的概念 97 6.1.2　可视化的起源 97 6.1.3　大数据可视化的作用 98 6.2　大数据可视化的技术 99 6.2.1　基于图形的可视化技术 99 6.2.2　基于平行坐标法的 可视化技术 106 6.2.3　其他大数据可视化技术 107 6.3　大数据可视化的工具 107 6.3.1　入门级工具 107 6.3.2　信息图表工具 108 6.3.3　地图工具 108 6.3.4　时间线工具 108 6.3.5　高级分析工具 109 6.4　大数据可视化的发展 109 6.4.1　大数据可视化面临的挑战 109 6.4.2　大数据可视化的发展方向 110 6.4.3　大数据可视化未来的应用 111 小结 112 习题 113 第7章　大数据应用 115 7.1　大数据在金融领域的应用 115 7.1.1　大数据与客户管理 116 7.1.2　大数据与风险管控 119 7.1.3　大数据与运营优化 121 7.2　大数据在互联网领域的应用 122 7.2.1　大数据与电子商务 122 7.2.2　大数据与社交媒体 126 7.2.3　大数据与零售行业 128 7.3　大数据在生物医学领域的应用 129 7.3.1　大数据与流行病预测 129 7.3.2　大数据与智慧医疗 132 7.3.3　大数据与生物信息学 134 7.4　大数据在其他领域的应用 135 7.4.1　大数据与智慧物流 136 7.4.2　大数据与汽车行业 137 7.4.3　大数据与公共管理 141 7.4.4　大数据与教育行业 145 小结 147 习题 148 第8章　大数据隐私与安全 150 8.1　大数据面临的隐私与安全问题 151 8.1.1　大数据隐私与安全的定义 151 8.1.2　影响大数据隐私与安全的 主要因素 152 8.1.3　大数据隐私与安全问题的 分类 153 8.2　大数据隐私与安全的防护策略 156 8.2.1　存储安全策略 157 8.2.2　应用安全策略 158 8.2.3　管理安全策略 159 8.3　大数据隐私与安全的防护技术 162 8.3.1　数据采集与存储安全技术 162 8.3.2　数据挖掘安全技术 166 8.3.3　数据发布安全技术 167 8.3.4　防范APT技术 168 小结 172 习题 173 参考文献 175