Spark大数据处理技术

本书通过两个基本项目介绍了Scala语言的基本语法、函数式编程、高阶函数、模式匹配等相关知识和技术；通过12个实训项目，介绍了Spark的技术栈，内容涵盖Spark Core、Spark SQL、Spark结构化流和Spark机器学习库等相关模块和技术。每个项目相对独立、完整，分为若干个任务，围绕具体的任务来介绍相关的理论知识，并进行应用分析，有利于读者更好地理解、掌握课程知识。考虑到职业教育的特点以及大数据发展的趋势，本书的理论知识以实用、够用为主，不追求面面俱到，同时又保持一定的技术先进性和前瞻性。本书适合作为高职高专院校计算机及相关专业的教材或参考书，也可作为程序员、数据分析师、相关专业学生以及想进入大数据处理技术行业的读者学习的参考用书。本书配有电子课件、源代码等教学资源。教师可登录机械工业出版社教育服务网（www.cmpedu.com）注册后免费下载或联系编辑（010-88379807）咨询。

前 言学习单元 1........................................................1项目1  搭建Scala开发环境......................................................................3项目2  实现一个简单的商品管理系统（CMS）.......................................11单元小结.................................................................................................44学习单元 2.....................................................47项目1  搭建Spark standalone集群.......................................................49项目2  部署和运行Spark作业................................................................55项目3  安装和使用基于Web的notebook开发工具..................................61项目4  安装和使用IntelliJ IDEA集成开发环境.........................................66单元小结.................................................................................................81学习单元 3.....................................................83项目1  电商网站用户行为分析................................................................85项目2  分析电影评分数据集...................................................................96单元小结...............................................................................................102学习单元 4...................................................105项目1  分析电影数据集........................................................................107项目2  分析银行客户数据.....................................................................121单元小结...............................................................................................127学习单元 5...................................................129项目1  实时检测与分析物联网设备故障................................................131项目2  股票仪表板实现........................................................................140单元小结...............................................................................................149学习单元 6....................................................151项目1  数据探索  ...............................................................................153项目2  数据准备  ...............................................................................165单元小结...............................................................................................179参考文献......................................................180