大数据实训案例--电影推荐系统(Scala版)/大数据创新人才培养系列

本书详细介绍了一个大数据应用案例——电影推 荐系统，案例涉及数据预处理、数据存储与管理、数 据分析和数据可视化等流程，涵盖Linux、MySQL Hadoop、Spark、IntelliJ IDEA、Kettle、Node.js 等系统和软件的安装与使用方法。本案例采用Scala语 言编写Spark程序。 本书适用于高等学校大数据实训课程的教学，书 中的具体案例有助于学生综合运用大数据课程知识以 及各种工具软件，实现数据分析全流程操作。 本书提供了丰富的免费在线教学资源，可以较好 地满足高等学校大数据实训课程环节对相关大数据教 学资源的需求。 本书作为大数据实训课程教材，与大数据入门教 材《大数据技术原理与应用（第2版）》以及大数据进 阶教材《Spark编程基础（Scala版）》一起，初步构 成了完整的大数据教材体系，可以作为高等学校计算 机、软件工程、信息管理、数据科学与大数据技术等 相关专业的大数据实训课程教材，也可供相关技术人 员参考使用。

林子雨（1978－），男，博士，厦门大学计算机科学系助理教授，厦门大学云计算与大数据研究中心创始成员，厦门大学数据库实验室负责人，中国计算机学会数据库专委会委员，中国计算机学会信息系统专委会委员。于2001年获得福州大学水利水电专业学士学位，2005年获得厦门大学计算机专业硕士学位，2009年获得北京大学计算机专业博士学位。中国高校首个“数字教师”提出者和建设者（http://www.cs.xmu.edu.cn/linziyu），2009年至今，“数字教师”大平台累计向网络免费发布超过100万字高价值的教学和科研资料，累计网络访问量超过100万次。 主要研究方向为数据库、数据仓库、数据挖掘、大数据和云计算，发表期刊和会议学术论文多篇，并作为课题组负责人承担了国家自然科学基金和福建省自然科学基金项目。曾作为志愿者翻译了Google Spanner、BigTable和《Architecture of a Database System》等大量英文学术资料，与广大网友分享，深受欢迎。2013年在厦门大学开设大数据课程，并因在教学领域的突出贡献和学生的认可，成为2013年度厦门大学教学类奖教金获得者。

第1章 案例概述 1.1 案例目的 1.2 适用对象 1.3 时间安排 1.4 预备知识 1.5 硬件要求 1.6 软件工具 1.7 数据集 1.8 案例任务 1.9 实验步骤 1.10 在线资源 1.10.1 在线资源一览表 1.10.2 下载专区 1.10.3 先修课程 1.10.4 大数据课程公共服务平台 1.11 本章小结 第2章 大数据实验环境搭建 2.1 Linux系统及相关软件使用方法 2.1.1 Shell 2.1.2 root用户 2.1.3 创建普通用户 2.1.4 sudo命令 2.1.5 常用的Linux系统命令 2.1.6 文件解压缩 2.1.7 常用的目录 2.1.8 目录的权限 2.1.9 更新APT 2.1.10 切换中英文输入法 2.1.11 vim编辑器的安装和使用方法 2.2 JDK的安装 2.3 Scala的安装 2.4 Hadoop的安装和基本使用方法 2.4.1 安装Hadoop前的准备工作 2.4.2 安装Hadoop 2.4.3 HDFS操作常用Shell命令 2.5 Spark的安装和基本使用方法 2.5.1 下载安装文件 2.5.2 配置相关文件 2.5.3 Spark和Hadoop的交互 2.5.4 在spark-shell中运行代码 2.6 MySQL数据库的安装和基本使用方法 2.6.1 安装MySQL 2.6.2 MySQL常用操作 2.7 本章小结 第3章 IntelliJ IDEA开发工具的安装和使用方法 3.1 下载和安装IDEA 3.2 下载Scala插件安装包 3.3 启动IDEA 3.4 为IDEA安装Scala插件 3.5 配置项目的JDK