数据科学并行计算

本书通俗地讲解数据科学与并行计算的基本概念、方法和原理，系统地介绍基于典型大数据场景的并行计算解决思路，同时涵盖常用的数据并行计算工具的操作实践，使读者知其然更知其所以然。
本书的特色在于：注重对大数据科学方法核心应用的讲解，突出以并行计算思维解决大数据场景问题的案例教学。基于典型大数据场景案例数据集，循序渐进地引导读者利用Parallel、Sparklyr、Dask和PySpark等主流并行计算工具实现数据的清洗、转换、描述和建模分析。帮助读者系统全面地构建数据科学的基本知识体系，领会数据并行计算方法的精髓，掌握不同编程语言和并行计算工具针对不同规模数据集的优缺点，能够利用并行计算工具解决实际的数据分析问题。

白琰冰，中国人民大学统计学院数据科学与大数据统计系讲师，硕士生导师，中国人民大学杰出青年学者，北京大数据协会理事会理事。主要开设课程包括大数据分布式计算、并行计算与软件设计、统计学。

第一部分数据科学并行计算基础
第1章并行计算基础知识
1．1什么是并行计算
1．2并行计算的起源
1．2．1为什么要进行并行计算
1．2．2如何解决大规模数据对计算能力的需求问题
1．3有关并行计算的基本概念
1．3．1并发计算、分布式计算的概念
1．3．2核、集群、中央处理器的概念
1．3．3集群计算、对等计算、网格计算、云计算和普适计算的概念
1．3．4并行计算中的常用术语
1．4并行计算的性能评价方法
1．5并行计算的数据分解方法及计算模型
1．5．1分解问题为独立块
1．5．2并行计算模型
习题
第2章大数据基础知识
2．1大数据简介
2．1．1什么是大数据
2．1．2大数据的3个V
2．1．3大数据相关概念和术语
2．1．4大数据处理系统
2．1．5Spark框架的特性
2．1．6Spark生态
2．1．7Spark部署方式
2．2Hadoop和Spark基础知识
2．2．1什么是Hadoop
2．2．2Spark产生的背景
2．2．3Spark的优点
2．2．4Spark的三大概念
2．2．5为什么要选择Spark
2．3在阿里云服务器安装和配置Hadoop和Spark
2．3．1Hadoop的安装和配置
2．3．2Spark的安装和配置
2．4Linux基础知识
2．4．1LinuxShell介绍
2．4．2Linux常用目录介绍
2．4．3Linux常用命令
2．4．4vim基本操作
习题
第二部分R语言并行计算
第3章R语言并行计算核心方法
3．1并行计算的R包
3．2parallel包并行计算
3．2．1parallel包的基础知识
3．2．2parallel包的核心功能
3．2．3初始化节点
3．2．4数据分块
3．3foreach包和future包并行计算
3．3．1foreach包
3．3．2foreach包和parallel包的后端
3．3．3future包和future．apply包
3．3．4调度和负载平衡
3．4随机数和结果可重复性
3．4．1结果是可重复的吗
3．4．2并行计算中的RNG
3．4．3foreach包和future．apply包中的结果可重复性
3．4．4小结
习题
第4章使用R中的sparklyr包操作
4．1sparklyr基础知识
4．1．1什么是sparklyr
4．1．2sparklyr的安装与工作流程
4．2Spark中的数据
4．2．1向Spark传输数据
4．2．2tibble与DataFrame
4．2．3展示Spark中的数据集
4．2．4compute()与collect()
4．3sparklyr的dplyr接口
4．3．1dplyr接口简介
4．3．2选择目标列
4．3．3筛选行
4．3．4对行排序
4．3．5转换或添加列
4．3．6计算汇总函数
4．3．7其他常用功能
4．4sparklyr的特征转换接口
4．4．1dplyr接口的局限
4．4．2MLib接口
4．4．3SparkDataFrame接口
4．5案例：使用MLib接口进行机器学习
4．5．1MLib中的机器学习函数
4．5．2机器学习案例
习题
第5章R中的可扩展数据处理
5．1R中的可扩展数据处理简介
5．1．1什么是可伸缩的数据处理
5．1．2使用bigmemory项目处理“核外”对象
5．1．3big．matrix的复制
5．2使用大内存处理和分析数据
5．2．1bigmemory软件包套件
5．2．2拆分、计算和合并
5．2．3使用Tidyverse可视化结果
5．2．4bigmemory的局限性
5．3使用iotools处理大型文件
5．3．1数据的分块处理
5．3．2初识iotools：导入数据
5．3．3chunk．apply的巧妙运用
5．4案例：抵押贷款数据的基础分析
5．4．1不同人种的抵押贷款的数量
5．4．2数据缺失与其他变量的关系
5．4．3不同人种贷款数量的变化趋势
5．4．4乡村与城镇的贷款变化趋势
5．4．5收入与联邦担保贷款
5．4．6小结
习题
第三部分Python语言并行计算
第6章使用Python进行Dask并行编程
6．1Dask基础知识
6．1．1Dask简介
6．1．2Dask的主要优点
6．1．3安装Dask
6．2Dask对不同数据结构的操作
6．2．1Dask对Array的操作
6．2．2Dask对DataFrame的操作
6．2．3Dask对Bag的操作
6．3在大数据集上训练
6．3．1安装Python包
6．3．2导入包
6．3．3创建随机数据集
6．3．4生成数据集
6．3．5K-means计算
6．3．6使用Dask可视化示例
6．4并行及分布式机器学习
6．4．1生成随机数据
6．4．2支持向量机
6．5分布式部署示例
6．5．1Dask分布式简介
6．5．2启动主节点
6．5．3启动工作节点
6．5．4运行Dask分布式示例
习题
第7章PySpark基础操作
7．1PySpark简介
7．1．1PySpark相关概念
7．1．2PySpark初步操作
7．1．3Python中的匿名函数
7．2PySparkRDD相关编程
7．2．1什么是RDD
7．2．2创建RDD的方法
7．2．3RDD的转换操作
7．2．4RDD的执行操作
7．2．5创建RDD对的方法
7．2．6RDD对的执行操作
7．3PySpark的DataFrame
7．3．1PySpark数据流简介
7．3．2SparkSession――DataFrameAPI的入口点
7．3．3在PySpark中创建数据流
7．3．4DataFrame的转换操作
7．3．5DataFrame的执行操作
7．3．6有条件的DataFrame转换操作
7．3．7在DataFrame中实现用户自定义函数
7．3．8与ArrayType列进行交互
7．4提升DataFrame操作的性能
7．4．1提高数据导入的性能
7．4．2集群尺寸建议
7．4．3查看Spark执行计划
7．4．4shuffling
7．5在PySpark中使用SQL查询
7．5．1DataFrameAPIvs．SQL查询
7．5．2执行SQL语句
7．5．3DataFrame连接操作
7．6案例：房屋售价探索性分析
7．6．1读入并检查数据
7．6．2房屋售价的描述统计量
7．6．3使用可视化方式查看数据
习题
第8章PySpark特征工程
8．1数据科学思维简介
8．2数据清洗
8．2．1什么是数据清洗
8．2．2使用Spark进行数据清洗的优势
8．2．3使用SparkSchema验证数据集
8．2．4使用数据管道进行转换操作
8．2．5验证数据的质量
8．2．6使用数据框进行分析
8．3单特征预处理
8．3．1数据标准化
8．3．2缺失值处理
8．3．3提取日期特征
8．3．4二值化和桶化
8．3．5OneHot编码
8．4多特征预处理
8．4．1特征生成
8．4．2特征提取
8．4．3文本数据特征提取
8．5案例：航班数据预处理
8．5．1读取数据
8．5．2删除飞机编号字段
8．5．3删除delay字段的缺失值
8．5．4创建衍生字段
8．5．5将输入字段合并为一个向量
8．5．6对航空公司字段进行OneHot编码
习题
第9章PySpark机器学习
9．1机器学习与Spark
9．2使用SparkML中的分类模型
9．2．1数据集划分
9．2．2决策树
9．2．3逻辑回归
9．2．4分类模型评价
9．2．5使用集成模型进行分类
9．3使用SparkML中的回归模型
9．3．1线性回归模型
9．3．2随机森林回归
9．3．3回归模型评价
9．3．4通过离散化改进模型性能
9．3．5使用正则化方法防止过拟合
9．4使用SparkMLlib进行机器学习
9．4．1PySparkMLlib概述
9．4．2协同过滤
9．4．3分类
9．4．4聚类
9．5模型选择
9．5．1管道
9．5．2交叉验证
9．5．3网格寻优
习题