大数据运维图解教程

大数据平台运维是大数 据应用人才培养的基本技能 之一。本书讲解了大数据平 台运维过程中的各个主要阶 段及其任务，主要包括安装 部署、优化监控、架构原理 、生态系统、运维工具等。 本书内容全面，涵盖了 Hadoop生态绝大部分组件 的运维，兼顾基础理论与运 维实践经验。主要特色是将 知识点凝练到图形中，通过 视觉记忆，看图联想，理解 知识点的含义和知识点之间 的联系，以达到长时记忆、 学以致用的目的。通过800 多道习题，加强系统性和实 践指导性。本书按照国 家“1+X”大数据平台运维职 业技能等级标准编写，可作 为“1+X”职业技能等级证书 配套教材，可作为《大数据 导论》《大数据运维》的课 程教材，同时也适合有意向 从事大数据应用工作的广大 学习者和爱好者阅读。

\"程显毅 工学博士，南通大学教授。硅湖职业技术学院特聘教授。江苏省人工智能学会监事，江苏省微电脑学会人工智能专委会副主任委员。长期从事人工智能、自然语言理解领域的教学研究工作。发表论文100多篇，出版教材6部、专著5部。 孙丽丽 硕士，硅湖职业技术学院计算机科学与技术学院副教授。江苏省高校“青蓝工程”优秀青年骨干教师培养对象，黑龙江省计算机科学与技术专业学科评估专家，黑龙江省计算机指导委员会委员，哈尔滨市优秀教师，师德优秀先进个人，国家职业技能鉴定中心高级考评员，黑龙江省网络与通信委员会委员，省重点专业计算机网络技术负责人。 宋伟 高级工程师， 硕士，南通市226工程培养对象，江苏省计算机学会委员，全国高等院校计算机基础教育研究会青少年编程教育专业委员会委员，无损检测学会TC56分委员会委员，南通理工学院软件系主任，主要研究方向为无损检测成像算法与软件技术。\"

第1章 大数据运维概述 1.1 从大数据说起 1.1.1 大数据产生、影响及挑战 1.1.2 大数据概念、特征及价值 1.1.3 大数据技术、产业及应用 1.2 大数据技术生态 1.2.1 分布式集群概述 1.2.2 Hadoop生态系统 1.3 大数据运维 第2章 集群基础环境搭建与运维 2.1 集群规划 2.2 虚拟机与Linux 2.3 网络配置与时钟同步 2.4 免密 2.5 JDK和MySQL部署 第3章 分布式集群Hadoop运维 3.1 Hadoop平台安装与部署 3.1.1 Hadoop安装准备 3.1.2 Hadoop安装与部署 3.2 分布式存储组件HDFS 3.2.1 HDFS结构 3.2.2 HDFS读写原理 3.2.3 HDFS操作与监控 3.3 离线分布式计算引擎MapReduce 3.3.1 MapReduce结构与原理 3.3.2 MapReduce部署与优化 3.4 集群资源管理YARN 3.4.1 YARN的结构与原理 3.4.2 YARN部署、优化与监控 第4章 分布式系统协调器Zookeeper 4.1 Zookeeper结构 4.2 Zookeeper原理 4.3 Zookeeper部署与优化 第5章 数据采集组件运维 5.1 日志采集组件Flume 5.2 数据迁移组件Sqoop 5.3 发布订阅消息组件Kafka 第6章 数据处理组件运维 6.1 NoSQL数据库HBase 6.1.1 NoSQL 6.1.2 HBase架构与原理 6.1.3 HBase部署与优化 6.2 数据仓库引擎Hive 6.2.1 Hive架构与原理 6.2.2 Hive部署与优化 6.3 内存计算引擎Spark 6.3.1 Spark生态 6.3.2 Spark架构与原理 6.3.3 Spark部署与优化 第7章 大数据平台运维工具