大数据平台搭建与维护(微课版高等院校互联网+新形态创新系列教材)/计算机系列

本书以大数据平台项目 场景和工作任务驱动的方式 搭建逻辑架构，以大数据平 台搭建与维护具体任务活动 及工作步骤为核心构建内容 体系，全书以工作手册的形 式进行编写。本书共包括6 个项目，介绍了Linux系统 的安装与配置、Hadoop HDFS高可用集群搭建、 Hadoop YARN高可用集群 搭建与维护、HBase高可用 集群搭建与操作、Hive数据 仓库工具搭建与操作、某电 商推荐系统大数据平台搭建 案例等内容。本书注重工匠 精神的培养及工作任务实施 过程中的考核评价，每个项 目包含项目工作总结、技能 拓展训练、项目综合评价等 模块，可以更好地帮助读者 按任务活动的工作步骤顺利 实施项目，同时能拓展知识 面，提高综合能力。 本书结构新颖，内容丰 富，将新技术、新规范、新 标准融入工作手册，是一本 全面了解大数据平台搭建与 维护，实施工作步骤的工作 手册， 本书既可作为高等院校 电子与信息大类各专业大数 据平台搭建与维护技术相关 课程的教材，也可作为大数 据技术工程领域相关技术人 员的参考书。

\"汪忆，中共党员，重庆城市管理职业学院大数据与软件技术专业群教研室主任，副教授，高级工程师（双高级职称），中青年骨干教师，重庆市双高工业机器人技术专业群带头人。主要研究方向：数据科学与大数据、人工智能技术、装备制造业企业信息化、教育创新与改革；职业（执业）资格: 信息系统项目管理师（高级）、系统集成项目管理工程师（中级）。 成果及奖励：中央企业ERP系统实施科技进步一等奖1项；中央企业开发实施应收票据系统科技进步三等奖1项；指导学生获国家级一等奖2项、市级一等奖1项、二等奖1项，三等奖5项；主持省部级课题4项，主研省部级课题10余项；公开发表论文15余篇,其中SCI论文2篇；注册软件著作权9项；授权实用新型专利5项，申请发明专利3项；主编编著1部、教材2部。\"

项目1 Linux系统的安装与配置 工作任务1.1 Linux安装环境准备 任务活动1.1.1 磁盘格式化 任务活动1.1.2 检测CPU虚拟化技术 任务活动1.1.3 开启CPU虚拟化技术 工作任务1.2 VMware的安装与配置 任务活动1.2.1 安装VMware Workstation 16 任务活动1.2.2 虚拟网络的配置 任务活动1.2.3 系统服务及虚拟适配器的启停 工作任务1.3 CentOS 7的安装与克隆 任务活动1.3.1 CentOS 7的安装 任务活动1.3.2 CentOS 7的克隆 项目工作总结 技能拓展训练 项目综合评价 项目2 Hadooo HDFS高可用集群搭建 工作任务2.1 Linux服务器Hadoop集群基础环境配置 任务活动2.1.1 网卡、主机名与IP地址映射配置 任务活动2.1.2 Linux常用命令的安装 任务活动2.1.3 Linux客户端软件工具的配置 任务活动2.1.4 阿里云yum源配置 任务活动2.1.5 升级OpenSSL协议 任务活动2.1.6 SSH免密码登录配置 任务活动2.1.7 集群时间同步配置 任务活动2.1.8 JDK的安装与配置 工作任务2.2 Hadoop集群NameNode单节点的安装与配置 任务活动2.2.1 在主节点上安装与配置Hadoop 任务活动2.2.2 在从节点上安装与配置Hadoop 任务活动2.2.3 格式化Hadoop的HDFS 工作任务2.3 Hadoop集群HDFS HA的安装与配置 任务活动2.3.1 ZooKeeper的安装与配置 任务活动2.3.2 HDFS HA的安装与配置 任务活动2.3.3 NameNode与ZKFC格式化 项目工作总结 技能拓展训练 项目综合评价 项目3 Hadoop YARN高可用集群搭建与维护 工作任务3.1 Hadoop集群YARN HA的安装与配置 任务活动3.1.1 停止Hadoop集群所有组件服务进程 任务活动3.1.2 Hadoop YARN HA的安装与配置 工作任务3.2 操作HDFS的常用命令与编程方式 任务活动3.2.1 操作HDFS的常用命令 任务活动3.2.2 Eclipse集成Maven的开发环境搭建与配置 任务活动3.2.3 Java API编程方式实现HDFS文件读取 任务活动3.2.4 Java API编程方式实现HDFS文件写入 任务活动3.2.5 Java API编写MapReduce大数据计算程序 工作任务3.3 Hadoop集群异常处理与维护 任务活动3.3.1 Hadoop集群搭建异常处理 任务活动3.3.2 hadoop集群日常维护与管理 项目工作总结 技能拓展训练 项目综合评价 项目4 HBase高可用集群搭建与操作 工作任务4.1 HBase的HA搭建 任务活动4.1.1 HBase基础配置 任务活动4.1.2 搭建HBase高可用集群 工作任务4.2 HBase的常用操作 任务活动HBase shell操作 工作任务4.3 HBase常见异常处理与维护 任务活动4.3.1 HBase集群异常处理 任务活动4.3.2 HBase集群日常维护 项目工作总结 技能拓展训练 项目综合评价 项目5 Hive数据仓库工具搭建与操作 工作任务5.1 MySQL数据库安装 任务活动 MySQL数据库在线安装 工作任务5.2 Hive的安装与配置 任务活动5.2.1 Hive配置搭建 任务活动5.2.2 客户端beeline配置 工作任务5.3 Hive的常用数据操作 任务活动5.3.1 Hive基础操作 任务活动5.3.2 Hive的数据导入操作 任务活动5.3.3 导入HBase数据到Hive 工作任务5.4 Hive常见异常处理与维护 任务活动5.4.1 Hive搭建异常处理 任务活动5.4.2 Hive集群日常维护 项目工作总结 技能拓展训练 项目综合评价 项目6 某电商推荐系统大数据平台搭建案例 工作任务6.1 Spark的YARN模式集群部署 任务活动6.1.1 Spark集群部署安装 任务活动6.1.2 Spark的YARN高可用配置 工作任务6.2 MongoDB的安装与客户端连接 任务活动6.2.1 MongoDB服务端配置 任务活动6.2.2 MongoDB客户端配置 工作任务6.3 Kafka集群的安装与配置 任务活动Kafka的安装与配置 工作任务6.4 Redis的安装与客户端连接 任务活动6.4.1 Redis服务端的安装 任务活动6.4.2 Redis客户端连接 工作任务6.5 Tomcat服务器的安装与配置 任务活动 Tomcat的搭建与配置 项目工作总结 技能拓展训练 项目综合评价 参考文献