Flume日志收集与MapReduce模式

本书分为上下两篇，其中上篇介绍了HDFS以及流式数据/日志的问题，同时还谈到了Flume是如何解决这些问题的。本书展示了Flume的架构，包括将数据移动到数据库中以及从数据库中获取数据、NoSQL数据存储和性能调优。对于各个架构组件（源、通道、接收器、通道处理器、接收器组等），都提供了详尽的各种实现以及配置选项，你可以借此根据自己的需要来定制Flume。同时，还介绍了如何编写自定义的实现，这将有助于你的学习与实现。下篇简洁明快地介绍了Hadoop以及如何使用MapReduce进行编程，旨在帮助读者快速起步并对使用Hadoop进行编程有个总体的认识，通过本书的学习，你将具备坚实的基础并可以解决遇到的各种MapReduce问题。

史蒂夫·霍夫曼，具有30年的软件开发经验，拥有伊利诺伊大学香槟分校计算机工程学士学位以及德保罗大学计算机科学硕士学位。他目前是Orbitz Worldwide的首席工程师。
斯里纳特·佩雷拉，WS02公司的高级软件架构师，他与CTO合作负责WS02平台的整体架构。此外，他还是Lanka软件基金会的研究科学家，并且担任莫勒图沃大学计算机科学与工程学院的客座讲师。他是Apache Axis2开源项目的联合创始人，从2002年开始就参与Apache Web Service项目，是Apache Axis2件基金会的成员以及Apache Web Service项目的PMC。他也是Apache开源的Axis、Axis2以及Geronimo项目的提交者。
张龙，InfoQ中文站编辑，9年技术开发、管理与培训经验，多本技术图书译者。喜好用简单技术解决复杂问题，跑步与足球爱好者，目前从事法律互联网相关工作，希望能用互联网思维与技术改变法律这一传统行业。

译者序
前言
上篇Flume日志收集
第1章概览与架构
1.1Flume0.9
1.2Flume1.X（Flume-NG）
1.3HDFS与流式数据/日志的问题
1.4源、通道与接收器
1.5Flume事件
1.5.1拦截器、通道选择器与选择处理器
1.5.2分层数据收集（多数据流与代理）
1.6小结
第2章Flume快速起步
2.1下载Flume
2.2Flume配置文件概览
2.3从“HelloWorld”开始
2.4小结
第3章通道
3.1内存通道
3.2文件通道
3.3小结
第4章接收器与接收处理器
4.1HDFS接收器
4.1.1路径与文件名
4.1.2文件转储
4.2压缩编解码器
4.3事件序列化器
4.3.1文本输出
4.3.2带有头信息的文本
4.3.3ApacheAvro
4.3.4文件类型
4.3.5超时设置与线程池
4.4接收器组
4.4.1负载均衡
4.4.2故障恢复
4.5小结
第5章源与通道选择器
5.1使用tail的问题
5.2exec源
5.3假脱机目录源
5.4syslog源
5.4.1syslogUDP源
5.4.2syslogTCP源
5.4.3多端口syslogTCP源
5.5通道选择器
5.5.1复制
5.5.2多路复用
5.6小结
第6章拦截器、ETL与路由
6.1拦截器
6.1.1Timestamp
6.1.2Host
6.1.3Static
6.1.4正则表达式过滤
6.1.5正则表达式抽取
6.1.6自定义拦截器
6.2数据流分层
6.2.1Avro源/接收器
6.2.2命令行Avro
6.2.3Log4J追加器
6.2.4负载均衡Log4J追加器
6.3路由
6.4小结
第7章监控Flume
7.1监控代理进程
7.1.1Monit
7.1.2Nagios
7.2监控性能度量情况
7.2.1Ganglia
7.2.2内部HTTP服务器
7.2.3自定义监控钩子
7.3小结
第8章万法皆空——实时分布式数据收集的现状
8.1传输时间与日志事件
8.2万恶的时区
8.3容量规划
8.4多数据中心的注意事项
8.5合规性与数据失效
8.6小结
下篇MapReduce模式
第9章使用Java编写一个单词统计应用（初级）
9.1准备工作
9.2操作步骤
9.3示例说明
第10章使用MapReduce编写一个单词统计应用并运行（初级）
10.1准备工作
10.2操作步骤
10.3示例说明
10.4补充说明
第11章在分布式环境中安装Hadoop并运行单词统计应用（初级）
11.1准备工作
11.2操作步骤
11.3示例说明
第12章编写格式化器（中级）
12.1准备工作
12.2操作步骤
12.3示例说明
12.4补充说明
第13章分析——使用MapReduce绘制频度分布（中级）
13.1准备工作
13.2操作步骤
13.3示例说明
13.4补充说明
第14章关系操作——使用MapReduce连接两个数据集（高级）
14.1准备工作
14.2操作步骤
14.3示例说明
14.4补充说明
第15章使用MapReduce实现集合操作（中级）
15.1准备工作
15.2操作步骤
15.3示例说明
15.4补充说明
第16章使用MapReduce实现交叉相关（中级）
16.1准备工作
16.2操作步骤
16.3示例说明
16.4补充说明
第17章使用MapReduce实现简单搜索（中级）
17.1准备工作
17.2操作步骤
17.3示例说明
17.4补充说明
第18章使用MapReduce实现简单的图操作（高级）
18.1准备工作
18.2操作步骤
18.3示例说明
18.4补充说明
第19章使用MapReduce实现Kmeans（高级）
19.1准备工作
19.2操作步骤
19.3示例说明
19.4补充说明

Preface?前    言Hadoop是个非常优秀的开源工具，可以将海量的非结构化数据转换为易于管理的内容，从而更好地洞察客户需求。它很便宜（几乎是免费的），只要数据中心有空间和电源，它就能够水平扩展，并且可以处理传统数据仓库难以解决的问题。需要注意的是，你得将数据填入Hadoop集群中，否则你所得到的只不过是昂贵的热量产生器而已。你很快就会发现，一旦对Hadoop的使用经过 “试验性”阶段后，你就需要工具来自动化地将数据填充到集群中。过去，你需要自己找到该问题的解决方案，但现在则不必如此！Flume一开始是Cloudera的项目，当时它们的集成工程师需要一次又一次地为客户编写工具来实现数据的自动化导入。时至今日，Flume已经成为Apache软件基金会的项目，并且处于活跃开发状态中，很多用户已经将其用于产品环境多年。 本书将会通过Flume的架构概览与快速起步指南帮助你迅速掌握Flume。接下来将会深入介绍Flume众多更加有用的组件的细节信息，包括用于即时数据记录持久化的重要的文件通道、用于缓存并将数据写到HDFS中的HDFS接收器，以及Hadoop分布式文件系统。由于Flume内置很多模块，因此上手Flume时你所需要的唯一工具就是一个用于编写配置文件的文本编辑器而已。 通过阅读上篇，你将掌握构建高可用、容错、流式数据管道（用于填充Hadoop集群）所需的一切知识。 虽然网上关于Hadoop的资料已经汗牛充栋，但大多数都止步于表面或是仅针对某个具体问题给出解决方案。下篇则对Hadoop以及MapReduce编程进行了简明介绍，旨在让你快速起步并对Hadoop编程有个总体印象，打好基础才能深入探索每一类MapReduce问题。 本书主要内容第1章介绍了Flume及其将会解决的问题空间（特别是与Hadoop相关的部分），架构概览介绍了将会在后续章节中讨论的各个组件。 第2章帮助你尽快上手Flume，包括下载Flume、创建“Hello World”配置并运行。 第3章介绍了大多数人都会用到的两个主要通道以及每个通道可用的配置选项。 第4章详细介绍了如何使用HDFS Flume输出，包括压缩选项以及数据格式化选项。此外还介绍了故障恢复选项以创建更为健壮的数据管道。 第5章介绍了几种Flume输入机制及其配置选项。此外，还介绍了如何根据数据内容在不同的通道间切换，这样就可以创建复杂的数据流了。 第6章介绍了如何即时转换数据以及如何从负载中抽取信息来与通道选择器搭配以进行路由判定。还介绍了如何通过Avro序列化对Flume代理进行分层，如何将Flume命令行作为独立的Avro客户端进行测试以及手工导入数据。 第7章介绍了内外部用于监控Flume的各种方式，包括Monit、Nagios、Ganglia以及自定义钩子。 第8章超越了Flume配置与使用本身，对实时分布式数据收集的各个方面进行了讨论。 第9章介绍了如何使用Java（不使用MapReduce）编写一个单词统计应用。我们会将其与MapReduce模型进行比对。 第10章介绍了如何使用MapReduce编写单词统计应用以及如何使用Hadoop本地模式运行。 第11章介绍了如何在分布式环境中安装Hadoop并运行之前的Wordcount job。 第12章介绍了如何编写一个Hadoop数据格式化器来读取Amazon数据格式以作为记录而非逐行读取数据。 第13章介绍了如何通过MapReduce处理Amazon数据，生成直方图数据以及使用gnuplot来绘制结果。 第14章介绍了如何通过MapReduce连接两个数据集。 第15章介绍了如何处理Amazon数据以及通过MapReduce实现差集。此外还介绍了如何通过类似的方法实现其他的集合操作。 第16章介绍了如何通过MapReduce统计两个条目同时出现的次数（交叉相关）。 第17章介绍了如何处理Amazon数据以及通过反向索引实现简单的搜索。 第18章介绍了如何通过MapReduce实现图的遍历。 第19章介绍了如何通过Kmeans算法建立数据集的集群。集群会将数据划分为各个小组，这样每个分组中的条目都是类似的，根据不同的距离度量方法，不同分组中的条目是不同的。 学习本书的前提你需要一台安装有Java虚拟机的Linux或Mac电脑，并安装有JDK 1.6，因为Flume是用Java编写的。如果电脑上没有安装Java，那么可以从http://java.com/下载。 还需要网络连接，这样才能下载Flume并运行快速入门示例。 上篇主要讲解了Apache Flume 1.3.0，此外还对Cloudera的Flume CDH4进行了介绍。 本书面向的读者本书面向需要将来自各种系统的数据自动化地移动到Hadoop集群中的人。如果需要定期将数据加载到Hadoop中，那么本书就是为你准备的，它将使你从手工工作中解脱出来，也无需再继续维护一些自己编写的工具。 阅读本书只需要对基本的Hadoop HDFS知识有一定了解。我们提供了一些自定义的实现，如果需要可以使用。对于这种级别的实现，你需要了解如何使用Java进行编程。 最后，你需要使用一款自己喜欢的文本编辑器，因为本书的大部分内容都涉及如何通过代理的文本配置文件来配置各种Flume组件。