Elasticsearch集成Hadoop最佳实践

ElasticSearch是一个开源 的分布式搜索引擎，具有高 可靠性，支持非常多的企业 级搜索用例。Elasticsearch Hadoop作为一个完美的工 具，用来连接Elasticsearch 和Hadoop的生态系统。通 过Kibana技术， Elasticsearch Hadoop很容 易从Hadoop生态系统中获 得大数据分析的结果。 由尔玛·舒克拉著的 《Elasticsearch集成Hadoop 最佳实践》全面介绍 Elasticsearch Hadoop技术 用于大数据分析以及数据可 视化的方法。内容共分7章 ，包括Hadoop、 Elasticsearch、Marvel和 Kibana安装；通过编写 MapReduce作业，把 Hadoop数据导入 Elasticsearch；全面分析 Elasticsearch本质，如全文 本搜索分析、查询、筛选器 和聚合；使用Kibana创建各 种可视化和交互式仪表板， 并使用Storm和 Elasticsearch分类现实世界 的流数据以及相关的其他主 题。 本书适合从事大数据分 析人员、大数据应用开发的 人员参考，也适合高等院校 及培训机构相关专业的师生 教学参考。

尔玛·舒克拉（Vishal Shukla）是Brevitaz系统的CEO，一名真诚的技术传道者。他是一位充满激情的软件科学家，同时也是一名大数据专家。Vishal在设计模块化企业系统方面拥有丰富的经验，自从大学时代到编写本书时已经过去了11年，Vishal都一直很喜欢基于JVM的代码开发。他也信奉设计思想和可持续软件开发，在各个行业都拥有丰富的企业系统架构经验。他还热衷于大数据工程、分析及机器学习等技术。 Vishal创办了Brevitaz系统，该公司为全球客户提供大规模可扩展可持续的大数据方案及面向分析的企业应用开发。依靠专业的大数据架构及大数据技术能力，Brevitaz团队对用户原有系统重新设计开发，将其改造成可扩展的最先进的系统。为了给用户提供高质量的产品，Brevitaz把Scrum、测试驱动开发、持续集成及持续交付等敏捷实践吸纳进自己的文化中。

第1章 环境部署 1.1 安装部署Hadoop集群 Java安装和配置 用户添加和配置 SSH认证配置 Hadoop下载 环境变量配置 Hadoop配置 配置core-site.xml 配置hdfs-site.xml 配置yarn-site.xml 配置mapred-site.xml 格式化HDFS 启动Hadoop进程 1.2 安装Elasticsearch及相关插件 下载Elasticsearch 配置Elasticsearch 安装Head插件 安装Marvel插件 启动Elasticsearch 1.3 运行WordCount示例 下载编译示例程序 将示例文件上传到HDFS 运行第一个作业 1.4 使用Head和Marvel浏览数据 使用Head浏览数据 初识Marvel 使用Sense浏览数据 小结 第2章 初识ES-Hadoop 2.1 理解WordCount程序 理解Mapper 理解Reducer 理解Driver 使用旧的API——org.apache.hadoop.mapred 2.2 实际案例——网络数据监控 获取并理解数据 明确问题 解决方案 解决方案1——预聚合结果 解决方案2——直接查询聚合结果 2.3 开发MapReduce作业 编写Mapper类 编写Driver 编译作业 上传数据到HDFS 运行作业 查看TOP N结果 2.4 将数据从Elasticsearch写回HDFS 了解Twitter数据集 导入Elasticsearch 创建MapReduce作业 编写Tweets2HdfsMapper 运行示例 确认输出 小结 第3章 深入理解Elasticsearch 第4章 利用Kibana进行大数据可视化 第5章 实时分析 第6章 ES-Hadoop配置 第7章 与Hadoop生态系统集成 附录 配置