大数据技术与应用导论

本着“以小见大、实践为先”的理念，在工业大数据的背景下，本书阐述了数据的“前世今生”与内涵、外延，深入浅出地梳理了数据处理的各个阶段及典型框架，内容包括大数据采集、大数据预处理、大数据存储、大数据分析与可视化等，同时还介绍了大数据技术的典型应用。 本书注重学科基础上的知识体系与实践能力，适合作为数据科学相关专业学生的导论教材，也可作为信息类其他专业学生的通识教材，以培养学生的数据思维意识。

目    录前  言第1章  认识大数据 11.1 信息爆炸 11.1.1 大数据时代 11.1.2 数据、信息与知识 21.1.3 数据的来源 31.2 大数据的概念与特征 41.2.1 大数据的概念 41.2.2 大数据的特征 41.2.3 大数据的类型 51.3 大数据的技术架构及处理技术 61.3.1 大数据的技术架构 61.3.2 大数据的处理技术 71.4 大数据处理的集成平台 71.5 工业大数据 81.5.1 工业大数据及其特征 81.5.2 工业大数据技术及应用 91.5.3 工业大数据面临的挑战 10本章小结 12阅读材料：啤酒与尿布 12习题 12第2章  大数据学科与职业 132.1 大数据学科 132.2 大数据专业人才培养方案 142.3 大数据职业道德 16本章小结 18阅读材料：道格 切特 18习题 19第3章  大数据生态系统 203.1 大数据生态系统概述 203.2 并行与分布式处理 213.2.1 并行处理 213.2.2 分布式处理 223.3 Hadoop 223.3.1 Hadoop概述 223.3.2 Hadoop生态圈 253.4 Spark 253.4.1 Spark概述 253.4.2 Spark生态圈 263.5 Storm 263.5.1 Storm概述 273.5.2 Storm集群架构与工作流程 27本章小结 28阅读材料：南森 马茨 28习题 29第4章  大数据采集与预处理 304.1 大数据采集与预处理概述 304.1.1 大数据采集技术 304.1.2 大数据预处理技术 324.2 大数据采集方法及工具 334.2.1 网络数据采集方法 334.2.2 系统日志采集方法 364.2.3 科研数据采集方法 404.2.4 关系型数据库数据采集方法 424.3 大数据预处理方法及工具 434.3.1 数据清洗 434.3.2 数据集成 454.3.3 数据归约 464.3.4 数据变换 49本章小结 53阅读材料：园中有金 53习题 53第5章  大数据存储 545.1 集中式存储与分布式存储 545.2 非结构化数据库 555.2.1 NewSQL 565.2.2 云数据库 565.2.3 HBase 575.2.4 MongoDB 585.3 数据仓库与OLAP 595.3.1 概述 595.3.2 基本架构 605.3.3 典型应用 62本章小结 62阅读材料：盘古系统 63习题 63第6章  大数据分析 646.1 大数据分析与商业智能 646.1.1 大数据与大数据分析 656.1.2 大数据分析的种类 666.2 大数据统计分析 676.2.1 分类问题 686.2.2 回归问题 726.2.3 聚类问题 746.2.4 人工神经网络 756.2.5 数据建模 806.3 大数据分析的应用与挑战 806.3.1 Web挖掘 816.3.2 文本挖掘 846.3.3 社会网络分析 876.3.4 智能制造中的数据分析 89本章小结 89阅读材料：贝叶斯 89习题 90第7章  大数据可视化 917.1 数据可视化概述 917.1.1 数据可视化的特点 917.1.2 数据可视化的典型应用 927.2 数据可视化的常用工具 927.2.1 Tableau 927.2.2 Matplotlib 937.2.3 ECharts 94本章小结 95阅读材料：马克 扎克伯格 95习题 96第8章  大数据技术的典型应用 978.1 案例一：大型工业设备实时监 测系统 978.1.1 集群部署与配置 978.1.2 数据表结构 1018.2 案例二：基于MapReduce的 薪资核算 102参考文献 107