数据科学与大数据技术导论

\\\"大数据技术凝集了多学科的研究成果，是一门多学科的交叉融合技术。随着科学技术的发展，大数据技术发展更为迅速，应用更为深入与广泛，并凸显其巨大潜力和应用价值。 “数据科学与大数据技术导论”是数据科学与大数据技术专业的第一门专业基础课程。这门课程可以引导数据科学与大数据技术专业的学生走进大数据技术的大门。 本书主要介绍数据科学与大数据技术的基本知识。全书共分11章，包括数据科学与大数据技术概述、Hadoop大数据处理平台、大数据采集与存储管理、大数据抽取、大数据清洗、数据转换、大数据约简、大数据集成、大数据分析、大数据挖掘、数据可视化与可视分析等内容。 本书语言精练，内容完整，案例丰富，可作为高等院校“数据科学与大数据技术导论”课程的教材，也可作为学习数据科学与大数据技术人员的参考书。\\\"

教授，博士生导师 。研究领域为分布计算、计算智能、大数据技术等。中国石油大学（北京）计算机科学与技术系创始系主任。获北京市教学名师奖。中国工程教育认证专家。

第1章 数据科学与大数据技术概述 知识结构 1.1 数据科学简介 1.1.1 数据科学的产生与发展 1.1.2 数据科学的定义与方法 1.1.3 数据科学的知识体系 1.1.4 数据科学、数据技术与数据工程 1.2 大数据的生态环境与概念 1.2.1 大数据的生态环境 1.2.2 大数据的概念 1.3 大数据处理周期 1.3.1 大数据处理的全过程 1.3.2 大数据技术的特征 1.4 大数据处理模式 1.4.1 离线处理模式 1.4.2 在线处理模式 1.4.3 交互处理模式 1.5 科学研究第四范式 1.5.1 科学研究范式产生与发展 1.5.2 数据密集型科学研究第四范式 1.6 大数据应用 1.6.1 大数据应用趋势 1.6.2 大数据应用评价与应用实例 本章小结 第2章 Hadoop大数据处理平台 知识结构 2.1 MapReduce分布编程模型 2.1.1 MapReduce计算过程 2.1.2 基于MapReduce的计算举例 2.2 基于Hadoop的分布计算 2.2.1 作业服务器 2.2.2 计算流程 2.2.3 MapReduce程序的执行过程 2.3 MapReduce程序设计分析 2.3.1 MapReduce模型编程方法 2.3.2 单词计数程序设计 2.4 YARN大数据处理平台 2.4.1 Hadoop 1.0版本的缺点 2.4.2 轻量级弹性计算平台 2.4.3 基本概念与术语 2.4.4 MapReduce框架 2.4.5 编程模型 2.4.6 YARN基本架构与工作流程 2.5 Spark大数据处理框架 2.5.1 Spark的主要特点 2.5.2 软件栈 2.5.3 核心概念 2.5.4 RDD 本章小结 第3章 大数据采集与存储管理