大数据平台搭建与运维

本书以任务为载体，以实施过程为主线，将知识点穿插到任务实施过程中，知识 体系的构建循序渐进、由易到难、由浅入深，符合普遍认知规律。 本书以Hadoop 大数据平台为重点，主要内容包括预备知识、准备Hadoop 环境、 搭建Hadoop 大数据平台、使用Java 语言编写MapReduce 程序、使用Python 语言编 写MapReduce 程序、Hadoop 系统的常见故障及应对和Hadoop 系统运维。 本书适合作为各类职业院校大数据技术与应用等相关专业的教材，也可以作为大 数据爱好者的自学参考用书。 为便于教学，本书配有电子资源，选择本书作为授课教材的教师可登录机械工 业出版社教育服务网（www.cmpedu.com）免费注册后进行下载或联系编辑（010- 88379194）咨询。本书还配有二维码，读者可直接扫描二维码观看微课视频，方便教学。

项目1　预备知识................................................1 任务1　VirtualBox虚拟机安装与配置........................................................2 任务2　在VirtualBox中安装Ubuntu虚拟机...............................................7 任务3　安装和配置远程连接工具Xshell...................................................15 任务4　安装和配置远程连接工具Xftp......................................................21 任务5　Linux基础知识............................................................................25 项目2　准备Hadoop环境..................................31 任务1　配置JDK....................................................................................32 任务2　配置SSH免密码登录...................................................................35 任务3　Hadoop文件和目录结构.............................................................39 项目3　搭建Hadoop大数据平台.........................45 任务1　配置单机模式Hadoop................................................................46 任务2　配置伪分布模式Hadoop.............................................................50 任务3　配置集群模式Hadoop.................................................................62 任务4　安装ZooKeeper组件..................................................................75 任务5　配置高可用模式Hadoop.............................................................82 任务6　HDFS........................................................................................92 任务7　Hadoop调优..............................................................................97 任务8　安装Hive数据仓库....................................................................102 任务9　搭建Spark计算平台..................................................................109 项目4　使用Java语言编写MapReduce程序.........123 任务1　安装与配置Maven本地仓库......................................................124 任务2　配置IDEA编程环境...................................................................130 任务3　编写第一个Java应用程序.........................................................137 任务4　编写Hadoop经典程序WordCount............................................146 任务5　分析通信基站数据.....................................................................154 项目5　使用Python语言编写MapReduce程序....159 任务1　WordCount案例......................................................................160 任务2　母婴产品销售数据分析..............................................................169 任务3　通信基站数据分析.....................................................................176 项目6　Hadoop系统的常见故障及应对...............185 任务1　Hadoop系统日志结构及分析....................................................186 任务2　NameNode单节点故障的风险预防...........................................189 任务3　硬件故障及应对........................................................................197 任务4　Hadoop系统的隐私安全...........................................................198 任务5　Hadoop系统的未来..................................................................199 项目7　Hadoop系统运维................................201 任务1　用Ambari搭建Hadoop及生态组件............................................202 任务2　动态增加和删除Hadoop节点....................................................221 任务3　从SecondaryNameNode恢复NameNode..............................226 任务4　Zabbix安装与配置....................................................................231 任务5　Ansible基础.............................................................................241 任务6　使用Ansible部署Hadoop集群..................................................249 任务7　Docker安装与应用...................................................................252 任务8　使用Docker部署Hadoop集群...................................................257 参考文献......................................................263