大数据技术概论

本书从初学者易于理解的角度，以通俗易懂的语言、丰富的实例、简洁的图表、传统和现代数据特征的对比，将大数据这一计算机前沿科学如数家珍地娓娓道来。既介绍了大数据和相关的基础知识，又与具体应用有机结合起来，并借助可视化图表的画面感立体地为读者剖析了大数据的技术和原理，很好便于自学。本书内容包括大数据概论、大数据采集及预处理、大数据分析、大数据可视化、Hadoop概论、HDFS和Common概论、MapReduce概论、NoSQL技术介绍、Spark概论、云计算与大数据、大数据相关案例等内容。本书既可以作为想了解大数据技术和应用的初学者的教材，也适合作为培训中心、IT人员、企业策划和管理人员的参考书。

娄岩，曾旅居北美16载，2013年海归，现在中国某大学任教。自2008年底，以平凡往事为笔名，开始文学创作，在海外多个中文门户网站发表作品，并迅速成为海外华人中很受欢迎、拥有优选读者群的多产作家和诗人。其长篇小说《教授女儿的婚事》及两部《平凡往事文集》曾在美国出版发行。

第1章大数据概论
1.1大数据技术概述
1.1.1大数据的基本概念
1.1.2IT产业的发展简史
1.1.3大数据的来源
1.1.4大数据产生的三个发展阶段
1.1.5大数据的特点
1.1.6大数据处理流程
1.1.7大数据的数据格式特性
1.1.8大数据的特征
1.1.9大数据的应用领域
1.2大数据技术架构
1.3大数据的整体技术和关键技术
1.4大数据分析的五种典型工具简介
1.5大数据未来发展趋势
1.5.1数据资源化
1.5.2数据科学和数据联盟的成立
1.5.3大数据隐私和安全问题
1.5.4开源软件成为推动大数据发展的动力
1.5.5大数据在多方位改善我们的生活
本章小结
第2章大数据采集及预处理
2.1大数据采集
2.1.1大数据采集概述
2.1.2大数据采集的数据来源
2.1.3大数据采集的技术方法
2.2大数据的预处理
2.3大数据采集及预处理的工具
本章小结
第3章大数据分析概述
3.1大数据分析简介
3.1.1什么是大数据分析
3.1.2大数据分析的基本方法
3.1.3大数据处理流程
3.2大数据分析的主要技术
3.2.1深度学习
3.2.2知识计算
3.2.3可视化
3.3大数据分析处理系统简介
3.3.1批量数据及处理系统
3.3.2流式数据及处理系统
3.3.3交互式数据及处理系统
3.3.4图数据及处理系统
3.4大数据分析的应用
本章小结
第4章大数据可视化
4.1大数据可视化概述
4.1.1大数据可视化与数据可视化
4.1.2大数据可视化的过程
4.2大数据可视化工具
4.2.1常见大数据可视化工具简介
4.2.2Tableau数据可视化入门
本章小结
第5章Hadoop概论
5.1Hadoop简介
5.1.1Hadoop的发展简史
5.1.2Hadoop应用现状和发展趋势
5.2Hadoop的架构与组成
5.2.1Hadoop架构
5.2.2Hadoop组成模块介绍
5.3Hadoop的应用
5.3.1Hadoop平台搭建
5.3.2Hadoop的开发方式
5.3.3Hadoop应用分析
本章小结
第6章HDFS和Common概论
6.1HDFS概述
6.1.1HDFS相关概念
6.1.2HDFS特点
6.1.3HDFS体系结构
6.1.4HDFS工作原理
6.1.5HDFS相关技术
6.1.6HDFS源代码结构
6.1.7HDFS接口
6.2Common概述
本章小结
第7章MapReduce概论
7.1MapReduce简介
7.1.1如何理解MapReduce
7.1.2MapReduce功能和技术特征
7.2MapReduce的Map和Reduce任务
7.2.1Map与Reduce
7.2.2Map任务原理
7.2.3Reduce任务原理
7.3MapReduce架构和工作流程
7.3.1MapReduce的架构
7.3.2MapReduce工作流程
7.4MapReduce编程源码范例
7.5MapReduce接口
本章小结
第8章NoSQL技术介绍
8.1NoSQL基础知识
8.1.1NoSQL的产生
8.1.2NoSQL的特点
8.1.3NoSQL的技术基础
8.2NoSQL的种类
8.2.1键值存储
8.2.2列存储
8.2.3面向文档存储
8.2.4图形存储
8.3典型的NoSQL工具
8.3.1Redis
8.3.2Bigtable
8.3.3CouchDB
8.3.4Neo4j
本章小结
第9章Spark概论
9.1Spark概述
9.1.1Spark简介
9.1.2Spark发展
9.1.3Scala语言
9.2Spark与Hadoop
9.2.1Hadoop的局限与不足
9.2.2Spark的优点
9.2.3Spark速度比Hadoop快的原因分解
9.3Spark大数据处理架构及其生态系统
9.3.1底层的Cluster Manager和Data Manager
9.3.2中间层的Spark Runtime
9.3.3高层的应用模块
9.4Spark的应用
9.4.1Spark的应用场景
9.4.2应用Spark的成功案例
本章小结
第10章云计算与大数据
10.1云计算概论
10.1.1云计算定义
10.1.2云计算与大数据的关系
10.1.3云计算基本特征
10.1.4云计算服务模式
10.2云计算核心技术
10.2.1虚拟化技术
10.2.2虚拟化软件及应用
10.2.3资源池化技术
10.2.4云计算部署模式
10.3云计算仿真
10.4云计算的安全
10.4.1云计算安全现状
10.4.2云计算安全服务体系
10.5云计算应用案例
本章小结
第11章大数据解决方案及相关案例
11.1大数据解决方案基础
11.2Intel大数据
11.2.1Intel大数据解决方案
11.2.2Intel大数据相关案例——中国移动广东公司详单、账单查询系统
11.3百度大数据
11.3.1百度大数据引擎
11.3.2百度大数据十平台
11.3.3相关应用
11.3.4百度预测的使用方法
11.4腾讯大数据
11.4.1腾讯大数据解决方案
11.4.2相关实例——广点通
本章小结
参考文献