海量数据处理与大数据技术实战

本书以实战案例为主，全面阐述了大数据开发 领域中常用的技术原理和框架，以及框架对应的实 战案例。全书共分为四大篇章：大数据基础篇、大 数据离线批处理技术篇、大数据在线实时处理技术 篇、大数据处理实战案例篇。大数据基础篇主要介 绍了大数据的基础知识、Hadoop和Storm的基础知 识及其发展现状和应用前景；大数据离线批处理技 术篇主要介绍了Hadoop、Hive和Sqoop的基本原理 、环境搭建和项目案例；大数据在线实时处理技术 篇主要介绍了Flume、Kafka、Storm的基本原理、 环境搭建和项目案例；大数据处理实战案例篇详细 介绍了基于海量日志数据的分析统计系统的实现过 程，期间对各种大数据框架进行了整合，此案例项 目稍加修改，便可应用于实际开发项目中。 本书内容由浅入深、从原理到实战，适合在校 大学生、专业培训机构的学员、想转行从事大数据 开发的人员、需要系统学习大数据技术的开发人员 、大数据从业者、大数据运维工程师、希望提高大 数据开发实战水平的人员、大数据开发经理、大数 据架构师、需要时常查阅大数据常用框架技术和开 发案例的人员阅读。

第1篇　大数据基础篇 第1章 大数据处理概论 1.1 大数据的定义 1.2 大数据的结构类型 1.3 大数据处理平台的基础架构 1.4 大数据处理中的存储技术 1.4.1 提升大数据存储的容量 1.4.2 提升大数据存储的吞吐量 1.4.3 提升大数据存储的扩展 1.5 大数据处理中的计算技术 1.5.1 多处理技术 1.5.2 并行计算 1.5.3 高并发计算 1.5.4 离线批处理计算 1.5.5 在线实时计算 1.6 大数据处理中的容错性 1.6.1 数据存储的容错性 1.6.2 数据计算的容错性 1.7 大数据处理中的安全性 1.7.1 数据存储的安全性 1.7.2 数据计算的安全性 1.8 大数据行业应用案例 1.8.1 淘宝的千人千面系统 1.8.2 滴滴出行的车辆调度系统 1.9 本章总结 第2章 离线批处理技术——Hadoop 2.1 Google核心云计算技术 2.1.1 MapReduce编程模型 2.1.2 分布式文件系统 2.1.3 分布式结构化数据存储 　　　BigTable 2.2 Hadoop云计算技术 2.2.1 Hadoop概述 2.2.2 Hadoop核心组件 2.2.3 Hadoop生态圈 2.2.4 Hadoop物理架构 2.2.5 Hadoop的原理和运行机制 2.2.6 Hadoop相关技术与概述 2.2.7 Hadoop的局限性 2.3 本章总结 第3章 在线实时处理技术——Storm 3.1 Storm的定义 3.2 Storm的诞生 3.2.1 诞生背景 3.2.2 Twitter使用Storm 3.3 Storm的发展 3.4 Storm的基本组件 3.4.1 Storm核心组件 3.4.2 Storm集群组成 3.4.3 Storm分组策略