云计算和大数据技术实战

本书是云计算与大数据技术教程的项目化教材，全书共11章，设计了6项主任务、34项子任务。以搭建云计算平台流程组织实训内容，全面介绍了CentOS操作系统的安装及网络配置方法、虚拟化技术KVM的使用、MPI的安装与部署、分布式处理系统Hadoop软件的编译、安装及部署、Hbase数据库的安装与配置以及大数据流处理系统Storm的安装与部署。本书突出上机操作，图文并茂且条理分明，实验丰富，把实验内容与课程教学相结合，有利于培养学生在“做中学，学而会，会且熟”的学习能力。

第1章搭建CentOS服务器1
1.1任务一CentOS安装1
1.2任务二用户登录12
1.3本章小结15
第2章CentOS网络管理16
2.1任务一网络配置16
2.2任务二更改以太网卡名称25
2.3任务三关闭安全设置27
2.4本章小结28
第3章虚拟化技术29
3.1任务一配置虚拟化网络29
3.2任务二安装虚拟化软件包32
3.3任务三虚拟系统管理器的使用38
3.4任务四虚拟机的运行与远程访问44
3.5任务五使用virsh-install安装虚拟机52
3.6任务六使用virsh-clone克隆虚拟机54
3.7任务七virsh命令的使用56
3.8本章小结59
第4章MPI—面向计算的集群技术60
4.1任务一配置ssh实现节点间无密码访问60
4.2任务二网络文件系统NFS64
4.3任务三MPICH编译运行67
4.4本章小结73
第5章MPI分布式程序设计基础74
5.1任务一最简单的并行程序74
5.2任务二获取进程标志和机器名的并行程序的编写76
5.3任务三有消息传递功能的并行程序的编写77
5.4本章小节81
第6章Hadoop软件的编译打包82
6.1任务一安装编译环境82
6.2任务二编译Hadoop软件86
6.3本章小结88
第7章Hadoop环境的搭建与管理89
7.1任务一Hadoop的安装与配置89
7.2任务二Hadoop的管理95
7.3任务三HadoopShell命令100
7.4本章小结103
第8章Map/Reduce实例104
8.1任务一实现Map/Reduce的C语言实例104
8.2任务二安装Eclipse开发工具107
8.3任务三Map/Reduce项目110
8.4本章小结121
第9章HBase分布式数据库122
9.1任务一HBase的安装与配置122
9.2任务二HBase管理与HBaseShell126
9.3本章小结131
第10章Storm环境的搭建与管理132
10.1任务一Storm的安装与配置133
10.2任务二Storm的管理142
10.3本章小结148
第11章Storm拓扑实例149
11.1任务一实例Storm-Starter149
11.2任务二Eclipse管理Storm-Starter154
11.3任务三编写拓扑实现单词计数163
11.4任务四实现对文件单词计数173
11.5本章小结184