数据科学并行计算/数据科学与大数据技术丛书

本书通俗地讲解数据科 学与并行计算的基本概念 、方法和原理，系统地介 绍基于典型大数据场景的 并行计算解决思路，同时 涵盖常用的数据并行计算 工具的操作实践，使读者 知其然更知其所以然。 本书的特色在于：注重 对大数据科学方法核心应 用的讲解，突出以并行计 算思维解决大数据场景问 题的案例教学。基于典型 大数据场景案例数据集， 循序渐进地引导读者利用 Parallel、Sparklyr、Dask 和PySpark等主流并行计算 工具实现数据的清洗、转 换、描述和建模分析。帮 助读者系统全面地构建数 据科学的基本知识体系， 领会数据并行计算方法的 精髓，掌握不同编程语言 和并行计算工具针对不同 规模数据集的优缺点，能 够利用并行计算工具解决 实际的数据分析问题。

第一部分 数据科学并行计算基础 第1章 并行计算基础知识 1.1 什么是并行计算 1.2 并行计算的起源 1.2.1 为什么要进行并行计算 1.2.2 如何解决大规模数据对计算能力的需求问题 1.3 有关并行计算的基本概念 1.3.1 并发计算、分布式计算的概念 1.3.2 核、集群、中央处理器的概念 1.3.3 集群计算、对等计算、网格计算、云计算和普适计算的概念 1.3.4 并行计算中的常用术语 1.4 并行计算的性能评价方法 1.5 并行计算的数据分解方法及计算模型 1.5.1 分解问题为独立块 1.5.2 并行计算模型 习题 第2章 大数据基础知识 2.1 大数据简介 2.1.1 什么是大数据 2.1.2 大数据的3 个V 2.1.3 大数据相关概念和术语 2.1.4 大数据处理系统 2.1.5 Spark 框架的特性 2.1.6 Spark 生态 2.1.7 Spark 部署方式 2.2 Hadoop 和Spark 基础知识 2.2.1 什么是Hadoop 2.2.2 Spark 产生的背景 2.2.3 Spark 的优点 2.2.4 Spark 的三大概念 2.2.5 为什么要选择Spark 2.3 在阿里云服务器安装和配置Hadoop 和Spark 2.3.1 Hadoop 的安装和配置 2.3.2 Spark 的安装和配置 2.4 Linux 基础知识 2.4.1 Linux Shell 介绍 2.4.2 Linux 常用目录介绍 2.4.3 Linux 常用命令 2.4.4 vim 基本操作 习题 第二部分 R 语言并行计算 第3章 R 语言并行计算核心方法 3.1 并行计算的R 包 3.2 parallel 包并行计算 3.2.1 parallel 包的基础知识 3.2.2 parallel 包的核心功能 3.2.3 初始化节点 3.2.4 数据分块 3.3 foreach 包和future 包并行计算 3.3.1 foreach 包 3.3.2 foreach 包和parallel 包的后端 3.3.3 future 包和future.apply 包 3.3.4 调度和负载平衡 3.4 随机数和结果可重复性 3.4.1 结果是可重复的吗 3.4.2 并行计算中的RNG 3.4.3 foreach 包和future.apply 包中的结果可重复性 3.4.4 小结 习题 第4章 使用R 中的sparklyr 包操作 4.1 sparklyr 基础知识 4.1.1 什么是sparklyr 4.1.2 sparklyr 的安装与工作流程 4.2 Spark 中的数据 4.2.1 向Spark 传输数据 4.2.2 tibble 与Data Frame 4.2.3 展示Spark 中的数据集 4.2.4 compute() 与collect() 4.3 sparklyr 的dplyr 接口 4.3.1 dplyr 接口简介 4.3.2 选择目标列 4.3.3 筛选行 4.3.4 对行排序 4.3.5 转换或添加列 4.3.6 计算汇总函数 4.3.7 其他常用功能 4.4 sparklyr 的特征转换接口 4.4.1 dplyr 接口的局限 4.4.2 MLib 接口 4.4.3 Spark DataFrame 接口 4.5 案例：使用MLib 接口进行机器学习 4.5.1 MLib 中的机器学习函数 4.5.2 机器学习案例 习题 第5章 R 中的可扩展数据处理 5.1 R 中的可扩展数据处理简介 5.1.1 什么是可伸缩的数据处理 5.1.2 使用bigmemory 项目处理“核外”对象 5.1.3 big.matrix 的复制 5.2 使用大内存处理和分析数据 5.2.1 bigmemory 软件包套件 5.2.2 拆分、计算和合并 5.2.3 使用Tidyverse 可视化结果 5.2.4 bigmemory 的局限性 5.3 使用iotools 处理大型文件 5.3.1 数据的分块处理 …… 第三部分 Python语言并行计算