Spark SQL大数据实例开发教程/大数据科学丛书

Spark SQL是Spark生态环境中核心和基础的组件 ，是掌握Spark的关键所在。本书完全从企业级开发 的角度出发，结合多个企业级应用案例，深入剖析 Spark SQL。王家林、段智华编著的《Spark SQL大数 据实例开发教程/大数据科学丛书》共分为8章，包括 ：认识Spark SQL、DataFrame原理与常用操作、 Spark SQL操作多种数据源、Parquet列式存储、 Spark SQL内置函数与窗口函数、Spark SQL UDF与 UDAF、Thrift Server、Spark SQL综合应用案例。 本书可以使读者对Spark SQL有深入彻底的理解 ，本书适合于Spark学习爱好者，是学习Spark SQL的 入门和提高教材，也是Spark开发工程师开发过程中 查阅Spark SQL的案头手册。

前言 第1章 认识Spark SQL 1.1 Spark SQL概述 1.1.1 Spark SQL与DataFrame 1.1.2 DataFrame与RDD的差异 1.1.3 Spark SQL的发展历程 1.2 从零起步掌握Hive 1.2.1 Hive的本质是什么 1.2.2 Hive安装和配置 1.2.3 使用Hive分析搜索数据 1.3 Spark SQL on Hive安装与配置 1.3.1 安装Spark SQL 1.3.2 安装MySQL 1.3.3 启动Hive Metastore 1.4 Spark SQL初试 1.4.1 通过Spark-shell来使用Spark SQL 1.4.2 Spark SQL的命令终端 1.4.3 Spark 的Web UI 1.5 本章小结 第2章 DataFrame原理与常用操作 2.1 DataFrame编程模型 2.2 DataFrame基本操作实战 2.2.1 数据准备 2.2.2 启动交互式界面 2.2.3 数据处理与分析 2.3 通过RDD来构建DataFrame 2.4 缓存表（列式存储） 2.5 DataFrame API应用示例 2.6 本章小结 第3章 Spark SQL操作多种数据源 3.1 通用的加载/保存功能 3.1.1 Spark SQL加载数据 3.1.2 Spark SQL保存数据 3.1.3 综合案例——电商热销商品排名 3.2 Spark SQL操作Hive示例 3.3 Spark SQL操作JSON数据集示例 3.4 Spark SQL操作HBase示例 3.5 Spark SQL操作MySQL示例 3.5.1 安装并启动MySQL 3.5.2 准备数据表 3.5.3 操作MySQL表 3.6 Spark SQL操作MongoDB示例 3.6.1 安装配置MongoDB 3.6.2 启动MongoDB 3.6.3 准备数据 3.6.4 Spark SQL操作MongoDB 3.7 本章小结 第4章 Parquet列式存储 4.1 Parquet概述 4.1.1 Parquet的基本概念 4.1.2 Parquet数据列式存储格式应用举例 4.2 Parquet的Block配置及数据分片 4.2.1 Parquet的Block的配置 4.2.2 Parquet内部的数据分片 4.3 Parquet序列化 4.3.1 Spark 实施序列化的目的 4.3.2 Parquet两种序列化方式 4.4 本章小结 第5章 Spark SQL内置函数与窗口函数 5.1 Spark SQL内置函数 5.1.1 Spark SQL内置函数概述 5.1.2 Spark SQL内置函数应用实例 5.2 Spark SQL窗口函数 5.2.1 Spark SQL窗口函数概述 5.2.2 Spark SQL窗口函数分数查询统计案例 5.2.3 Spark SQL窗口函数NBA常规赛数据统计案例 5.3 本章小结 第6章 Spark SQLUDF与UDAF 6.1 UDF概述 6.2 UDF示例 6.2.1 Hobby_count函数 6.2.2 Combine函数 6.2.3 Str2Int函数 6.2.4 Wsternstate函数 6.2.5 ManyCustomers函数 6.2.6 StateRegion函数 6.2.7 DiscountRatio函数 6.2.8 MakeStruct函数 6.2.9 MyDateFilter函数 6.2.1 0MakeDT函数 6.3 UDAF概述 6.4 UDAF示例 6.4.1 ScalaAggregateFunction函数 6.4.2 GeometricMean函数 6.4.3 CustomMean函数 6.4.4 BelowThreshold函数 6.4.5 YearCompare函数 6.4.6 WordCount函数 6.5 本章小结 第7章 Thrift Server 7.1 Thrift概述 7.1.1 Thrift的基本概念 7.1.2 Thrift的工作机制 7.1.3 Thrift的运行机制 7.1.4 一个简单的Thrift实例 7.2 Thrift Server的启动过程 7.2.1 Thrift Sever启动详解 7.2.2 HiveThriftServer2类的解析 7.3 Beeline操作 7.3.1 Beeline连接方式 7.3.2 在Beeline中进行SQL查询操作 7.3.3 通过Web控制台查看用户进行的操作 7.4 Thrift Server应用示例 7.4.1 示例源代码 7.4.2 关键代码行解析 7.4.3 测试运行 7.4.4 运行结果解析 7.4.5 Spark Web控制台查看运行日志 7.5 本章小结 第8章 Spark SQL综合应用案例 8.1 综合案例实战——电商网站日志多维度数据分析 8.1.1 数据准备 8.1.2 数据说明 8.1.3 数据创建 8.1.4 数据导入 8.1.5 数据测试和处理 8.2 综合案例实战——电商网站搜索排名统计 8.2.1 案例概述 8.2.2 数据准备 8.2.3 实现用户每天搜索前3名的商品排名统计 8.3 本章小结