大数据运维图解教程

本书的目的是培养高层次的大数据运维人才，高层次的大数据运维需要考虑大数据平台架构的设计，大数据平台的自动化、智能化管理等。本书讲解了大数据平台 运维过程中的各个主要阶段及其任务，主要包括安装部署、优化监控、架构原理、生态系统、运维工具等。本书内容全面，涵盖了 Hadoop 生态绝大部分组件的运维，兼顾基础理论与运维实践经验。本书特色是将知识点凝练到图形中，通过视觉记忆，看图联想，理解知识点的含义和知识点之间的联系，以达到长时记忆、学以致用的目的。通过 800 多道习题，加强系统性和实践指导性。本书按照国家“1+X”大数据平台运维职业技能等级标准编写，可作为“1+X”职业技能等级证书配套教材，可作为《大数据导论》《大数据运维》的课程教材，同时也适合有意向从事大数据应用工作的广大学习者和爱好者阅读。

大数据平台运维是大数据应用人才培养的基本技能之一。本书讲解了大数据平台运维过程中的各个主要阶段及其任务，主要包括安装部署、优化监控、架构原理、生态系统、运维工具等。本书内容全面，涵盖了 Hadoop 生态绝大部分组件的运维，兼顾基础理论与运维实践经验。主要特色是将知识点凝练到图形中，通过视觉记忆，看图联想，理解知识点的含义和知识点之间的联系，以达到长时记忆、学以致用的目的。通过 800 多道习题，加强系统性和实践指导性。本书按照国家“1+X”大数据平台运维职业技能等级标准编写，可作为“1+X”职业技能等级证书配套教材，可作为《大数据导论》《大数据运维》的课程教材，同时也适合有意向从事大数据应用工作的广大学习者和爱好者阅读。

"程显毅 工学博士，南通大学教授。硅湖职业技术学院特聘教授。江苏省人工智能学会监事，江苏省微电脑学会人工智能专委会副主任委员。长期从事人工智能、自然语言理解领域的教学研究工作。发表论文100多篇，出版教材6部、专著5部。 孙丽丽 硕士，硅湖职业技术学院计算机科学与技术学院副教授。江苏省高校“青蓝工程”优秀青年骨干教师培养对象，黑龙江省计算机科学与技术专业学科评估专家，黑龙江省计算机指导委员会委员，哈尔滨市优秀教师，师德优秀优选个人，国家职业技能鉴定中心高级考评员，黑龙江省网络与通信委员会委员，省重点专业计算机网络技术负责人。 宋伟 高级工程师， 硕士，南通市226工程培养对象，江苏省计算机学会委员，全国高等院校计算机基础教育研究会青少年编程教育专业委员会委员，无损检测学会TC56分委员会委员，南通理工学院软件系主任，主要研究方向为无损检测成像算法与软件技术。"

第1章 大数据运维概述
1.1 从大数据说起
1.1.1 大数据产生、影响及挑战
1.1.2 大数据概念、特征及价值
1.1.3 大数据技术、产业及应用
1.2 大数据技术生态
1.2.1 分布式集群概述
1.2.2 Hadoop生态系统
1.3 大数据运维
第2章 集群基础环境搭建与运维
2.1 集群规划
2.2 虚拟机与Linux
2.3 网络配置与时钟同步
2.4 免密
2.5 JDK和MySQL部署
第3章 分布式集群Hadoop运维
3.1 Hadoop平台安装与部署
3.1.1 Hadoop安装准备
3.1.2 Hadoop安装与部署
3.2 分布式存储组件HDFS
3.2.1 HDFS结构
3.2.2 HDFS读写原理
3.2.3 HDFS操作与监控
3.3 离线分布式计算引擎MapReduce
3.3.1 MapReduce结构与原理
3.3.2 MapReduce部署与优化
3.4 集群资源管理YARN
3.4.1 YARN的结构与原理
3.4.2 YARN部署、优化与监控
第4章 分布式系统协调器Zookeeper
4.1 Zookeeper结构
4.2 Zookeeper原理
4.3 Zookeeper部署与优化
第5章 数据采集组件运维
5.1 日志采集组件Flume
5.2 数据迁移组件Sqoop
5.3 发布订阅消息组件Kafka
第6章 数据处理组件运维
6.1 NoSQL数据库HBase
6.1.1 NoSQL
6.1.2 HBase架构与原理
6.1.3 HBase部署与优化
6.2 数据仓库引擎Hive
6.2.1 Hive架构与原理
6.2.2 Hive部署与优化
6.3 内存计算引擎Spark
6.3.1 Spark生态
6.3.2 Spark架构与原理
6.3.3 Spark部署与优化
第7章 大数据平台运维工具
7.1 Ambari大数据环境搭建利器
7.1.1 安装
7.1.2 使用
7.2 Hive SQL监控系统——Hive Falcon
7.2.1 安装
7.2.2 使用
7.3 统一日志监控系统EKL
7.3.1 安装
7.3.2 使用
参考文献
附录A Web监控端口
附录B 大数据平台运维任务
附录C 大数据运维三十六计