大数据基础编程、实验和案例教程(第2版)

"全国高校大数据教学知名教师以多年大数据教学经验为基础的倾心之作。 全国众多高校开课教材《大数据技术原理与应用》专享指定配套实验指导书。 教程官网提供全书实验代码、相关软件、授课视频等资源一站式免费下载。 高校大数据课程公共服务平台为本教程提供数字化教学资源全方位配套服务。 "

本书以大数据分析全流程为主线，介绍数据采集、数据存储与管理、数据处理与分析、数据可视化等环节典型软件的安装、使用和基础编程方法。内容涵盖操作系统（Linux和Windows）、开发工具（Eclipse），以及大数据相关技术、软件（Kafka、Hadoop（HDFS、MapReduce）、HBasej、Hive、Spark、MySQL、MongoDB、Redis、R、D3、ECharts）等。同时，本书还提供了丰富的课程实验和综合案例，以及大量免费的在线教学资源，可以较好地满足高等院校大数据教学实际需求。本书是《大数据技术原理与应用》（第3版）的“姊妹篇”，可以作为高等院校大数据、计算机、信息管理等相关专业的大数据课程辅助教材，用于指导大数据编程实践，也可供相关技术人员参考。

林子雨（1978-），男，博士，厦门大学计算机科学系助理教授，厦门大学云计算与大数据研究中心创始成员，厦门大学数据库实验室负责人，中国计算机学会数据库专委会委员，中国计算机学会信息系统专委会委员。于2001年获得福州大学水利水电专业学士学位，2005年获得厦门大学计算机专业硕士学位，2009年获得北京大学计算机专业博士学位。

第1章 大数据技术概述
1.1 大数据时代
1.2 大数据关键技术
1.3 大数据软件
1.3.1 Hadoop
1.3.2 Spark
1.3.3 NoSQL数据库
1.4 内容安排
1.5 在线资源
1.6 本章小结
第2章 Linux系统的安装和使用
2.1 Linux系统简介
2.2 Linux系统安装
2.2.1 下载安装文件
2.2.2 Linux系统的安装方式
2.2.3 安装Linux虚拟机
2.2.4 生成Linux虚拟机镜像文件
2.3 Linux系统及相关软件的基本使用方法
2.3.1 Shell
2.3.2 root用户
2.3.3 创建普通用户
2.3.4 sudo命令
2.3.5 常用的Linux系统命令
2.3.6 文件解压缩
2.3.7 常用的目录
2.3.8 目录的权限
2.3.9 更新APT
2.3.10 切换中英文输入法
2.3.11 vim编辑器的使用方法
2.3.12 在Windows系统中使用SSH方式登录Linux系统
2.3.13 在Linux系统中安装Eclipse
2.3.14 其他使用技巧
2.4 关于本书内容的一些约定
2.5 本章小结
第3章 Hadoop的安装和使用
3.1 Hadoop简介
3.2 安装Hadoop前的准备工作
3.2.1 创建hadoop用户
3.2.2 更新APT
3.2.3 安装SSH
3.2.4 安装Java环境
3.3 安装Hadoop
3.3.1 下载安装文件
3.3.2 单机模式配置
3.3.3 伪分布式模式配置
3.3.4 分布式模式配置
3.4 本章小结
第4章 HDFS操作方法和基础编程
4.1 HDFS操作常用的Shell命令
4.1.1 查看命令的用法
4.1.2 HDFS操作
4.2 利用HDFS的Web管理界面
4.3 HDFS编程实践
4.3.1 在Eclipse中创建项目
4.3.2 为项目添加需要用到的JAR包
4.3.3 编写Java应用程序
4.3.4 编译运行程序
4.3.5 应用程序的部署
4.4 本章小结
第5章 HBase的安装和基础编程
5.1 安装HBase
5.1.1 下载安装文件
5.1.2 配置环境变量
5.1.3 添加用户权限
5.1.4 查看HBase版本信息
5.2 HBase的配置
5.2.1 单机模式配置
5.2.2 伪分布式模式配置
5.3 HBase常用的Shell命令
5.3.1 在HBase中创建表
5.3.2 添加数据
5.3.3 查看数据
5.3.4 删除数据
5.3.5 删除表
5.3.6 查询历史数据
5.3.7 退出HBase数据库
5.4 HBase编程实践
5.4.1 在Eclipse中创建项目
5.4.2 为项目添加需要用到的JAR包
5.4.3 编写Java应用程序
5.4.4 编译运行程序
5.5 本章小结
第6章 典型NoSQL数据库的安装和使用
6.1 Redis的安装和使用
6.1.1 Redis简介
6.1.2 安装Redis
6.1.3 Redis实例演示
6.2 MongoDB的安装和使用
6.2.1 MongDB简介
6.2.2 安装MongoDB
6.2.3 使用Shell命令操作MongoDB
6.2.4 Java API编程实例
6.3 本章小结
第7章 MapReduce基础编程
7.1 词频统计任务要求
7.2 MapReduce程序编写方法
7.2.1 编写Map处理逻辑
7.2.2 编写Reduce处理逻辑
7.2.3 编写main方法
7.2.4 完整的词频统计程序
7.3 编译打包程序
7.3.1 使用命令行编译打包词频统计程序
7.3.2 使用Eclipse编译打包词频统计程序
7.4 运行程序
7.5 本章小结
第8章 数据仓库Hive的安装和使用
8.1 Hive的安装
8.1.1 下载安装文件
8.1.2 配置环境变量
8.1.3 修改配置文件
8.1.4 安装并配置MySQL
8.2 Hive的数据类型
8.3 Hive基本操作
8.3.1 创建数据库、表、视图
8.3.2 删除数据库、表、视图
8.3.3 修改数据库、表、视图
8.3.4 查看数据库、表、视图
8.3.5 描述数据库、表、视图
8.3.6 向表中装载数据
8.3.7 查询表中数据
8.3.8 向表中插入数据或从表中导出数据
8.4 Hive应用实例：WordCount
8.5 Hive编程的优势
8.6 本章小结
第9章 Spark的安装和基础编程
9.1 基础环境
9.2 安装Spark
9.2.1 下载安装文件
9.2.2 配置相关文件
9.3 使用 Spark Shell编写代码
9.3.1 启动Spark Shell
9.3.2 读取文件
9.3.3 编写词频统计程序
9.4 编写Spark独立应用程序
9.4.1 用Scala语言编写Spark独立应用程序
9.4.2 用Java语言编写Spark独立应用程序
9.5 本章小结
第10章 Flink的安装和基础编程
10.1 安装Flink
10.2 编程实现WordCount程序
10.2.1 安装Maven
10.2.2 编写代码
10.2.3 使用Maven打包Java程序
10.2.4 通过flink run命令运行程序
10.3 本章小结
第11章 典型可视化工具的使用方法
11.1 D3可视化库的使用方法
11.1.1 D3可视化库的安装
11.1.2 基本操作
11.2 使用ECharts制作图表
11.2.1 ECharts简介
……