大数据导论

全书共 9 章分 4 个内容来设计：大数据基础，数据采集、存储与管理，大数据处理与分析，大数据安全与应用。第 1 章介绍大数据的基本概念、发展历程，我国大数据的基本情况等。第 2 章介绍大数据思维的模式特征，以及这些思维模式在科学研究、产品开发、社会治理及创新思维等方面的应用；第 3 章介绍大数据项目中的数据采集与获取技术；第 4 章主要讲述数据存储介质及模式、分布式文件系统及主流技术 HDFS、非关系型数据库、云数据库等；第 5 章主要讲述大数据处理框架的分类、Hadoop 集群项目上 MapReduce 和 Spark 两个代表性的分布式计算架构；第 6 章主要讲述大数据分析的基本方法、数据特征工程和可视化方法，重点介绍回归分析、决策树和深度学习及其应用；第 7 章主要讲述大数据所存在的安全隐患，介绍大数据安全、大数据隐私保护、大数据在安全领域的应用、我国大数据的法律法规等；第 8 章介绍大数据与云计算、物联网、人工智能及其相关关系；第 9 章通过一些典型案例分析讲述大数据技术在各行业中的应用。

   本书从概念、思维、存储和处理、分析与应用等方面系统介绍了大数据的相关知识，主要内容包括：大数据的基本概念，大数据思维，大数据采集与获取技术，大数据批处理、流式处理和交互式处理框架，Hadoop项目结构与技术分布，分布式并行编程MapReduce模型，Spark技术架构和基本流程，数据特征工程及数据可视化等内容，通过大数据与人工智能技术助力新冠疫情防控、非法集资预警、大型活动安全预警、智慧法院数据融合分析与集成应用等案例，再现场景、数据、数据分析特征选择及分析技术应用的过程，有助于读者对大数据技术、分析及应用有更深刻的体会和了解。
本书可作为高等院校计算机、大数据等相关专业的大数据课程导论教材，也可供相关技术人员参考。

方建文，男，所长/教授，衢州学院电气与信息工程学院，获得浙江大学 计算机科学与技术专业 工学博士

第1章大数据概述
1.1数据
1.1.1数据的概念
1.1.2大数据的概念
1.2大数据发展的技术背景
1.2.1互联网技术的发展
1.2.2存储技术的发展
1.2.3计算能力的发展
1.3大数据的主要来源
1.3.1互联网大数据
1.3.2传统行业大数据
1.3.3音频、视频和数据
1.3.4移动设备的实时记录与跟踪
1.4大数据的特征
1.4.1规模性
1.4.2多样性
1.4.3高速性
1.4.4价值密度低
1.5大数据的应用
1.5.1大数据的应用环境
1.5.2大数据的应用领域
1.6中国的大数据产业链
1.7我国大数据的发展态势
1.8大数据与数字经济
第2章大数据思维
2.1大数据的思维特点
2.1.1大数据的总体思维
2.1.2大数据的非准确思维
2.1.3大数据的非因果性思维
2.1.4以数据为中心
2.1.5大数据的运营思维
2.1.6数据的收集
2.1.7数据的分类
2.2大数据的应用思维
2.3大数据的价值思维
2.3.1识别与串联价值
2.3.2描述价值
2.3.3时间价值
2.3.4组合价值
2.3.5预测价值
2.4大数据的分析思维
2.5大数据分析的特点
第3章大数据采集与获取技术
3.1数据源分布
3.2内部数据
3.2.1政府内部数据
3.2.2各利益主体自营数据
3.2.3物联网数据
3.2.4互联网数据
3.3内部数据获取方法
3.3.1内部数据的ETL技术
3.3.2常用ETL工具说明
3.4外部数据及获取方法
3.4.1网络数据源的特性与价值
3.4.2网络爬虫
3.4.3网络爬虫应用注意事项
3.5深网的数据及获取的方法
3.5.1深网的含义
3.5.2深网数据的特点
3.5.3深网数据的获取方法
第4章大数据存储与管理技术
4.1数据存储的基本概念
4.1.1存储容量
4.1.2存储性能
4.1.3存储可靠性和可用性
4.1.4存储成本
4.2常用的数据存储介质
4.2.1机械硬盘
4.2.2固态硬盘
4.2.3可记录光盘
4.2.4U盘
4.2.5闪存卡
4.2.6数据存储介质的选择原则
4.3数据存储模式
4.3.1DAS
4.3.2NAS
4.3.3SAN
4.3.4存储模型选择
4.4大数据管理技术
4.1.1文件系统
4.4.2分布式文件系统
4.4.3数据库
4.4.4键-值数据库
4.4.5分布式数据库
4.4.6关系型数据库
4.4.7数据仓库
4.4.8文档数据库
4.4.9图形数据库
4.4.10云存储
第5章大数据处理技术
5.1大数据处理框架分类
5.1.1批处理框架
5.1.2流式处理框架
5.1.3交互式处理框架
5.2Hadoop
5.2.1Hadoop项目结构及技术分布
5.2.2MapReduce模型
5.3Spark
5.3.1技术架构
5.3.2基本流程
……