离线和实时大数据开发实战

阿里巴巴大数据开发专家撰写，源于十余年工作 实践，只讲实用有效的“招式”。庖丁解牛式式讲解 离线和实时开发平台架构、原理、开发示例，涵盖查 询与优化、建模、数仓开发、流计算开发等核心技术 。 朱松岭著的《离线和实时大数据开发实战》包含 三篇，共计12章内容。 第一篇——数据大图和数据平台大图(第1～2章) ，主要站在数据处理和数据处理平台的角度，对数据 、数据技术、数据相关从业者与角色、离线与实时数 据平台架构等，给出整体性介绍。 第二篇——离线数据处理(第3～7章)，离线数据 是目前整个数据开发的根本和主战场，本篇详细介绍 了离线数据处理的各种技术：Hadoop：MapReduce、 HDFS和Hive的架构、关键原理与使用，以及Hive优化 实践、数据建模设计与改良、虚构的某全国连锁零售 超市的数据仓库／数据湖实践。 第三篇——实时数据处理(第8～12章)，主要介 绍了实时数据处理的各项技术，包含Storm、spark Streaming、Flink、Beam以及流计算SQL等，结合案 例讲解实时开发原理、实践、性能优化、数据倾斜和 反压机制等。

前言 第一篇 数据大图和数据平台大图 第1章 数据大图 1.1 数据流程 1.1.1 数据产生 1.1.2 数据采集和传输 1.1.3 数据存储处理 1.1.4 数据应用 1.2 数据技术 1.2.1 数据采集传输主要技术 1.2.2 数据处理主要技术 1.2.3 数据存储主要技术 1.2.4 数据应用主要技术 1.3 数据相关从业者和角色 1.3.1 数据平台开发、运维工程师 1.3.2 数据开发、运维工程师 1.3.3 数据分析工程师 1.3.4 算法工程师 1.3.5 业务人员 1.4 本章小结 第2章 数据平台大图 2.1 离线数据平台的架构、技术和设计 2.1.1 离线数据平台的整体架构 2.1.2 数据仓库技术 2.1.3 数据仓库建模技术 2.1.4 数据仓库逻辑架构设计 2.2 实时数据平台的架构、技术和设计 2.2.1 实时数据平台的整体架构 2.2.2 流计算技术 2.2.3 主要流计算开源框架 2.3 数据管理 2.3.1 数据探查 2.3.2 数据集成 2.3.3 数据质量 2.3.4 数据屏蔽 2.4 本章小结 第二篇 离线数据开发：大数据开发的主战场 第3章 Hadoop原理实践 3.1 开启大数据时代的H 3.2 HDFS和MapReduce优缺点分析 3.2.1 3.2.2 MapR 3.3 HDFS和MapReduce基本架构 3.4 MapReduce内部原理实践 3.4.1 MapReduce逻辑开发 3.4.2 MapReduce任务提交详解 3.4.3 MapReduce内部执行原理详解 3.5 本章小结 第4章 Hive原理实践 4.1 离线大数据处理的主要技术? 4.1.1 Hive出现背景