Hadoop/Spark大数据机器学习

人类已进入大数据时代。大数据是指具有海量（volume）、多模态（variety）、变化速度快（velocity）、蕴含价值高（value）和不准确性高（veracity）“5V”特征的数据。大数据给传统的机器学习带来巨大的挑战，已引起学术界和工业界的高度关注。Hadoop和Spark正是在这种背景下产生的两个大数据开源平台。本书重点介绍基于这两种大数据开源平台的机器学习，包括机器学习概述、大数据与大数据处理系统、Hadoop分布式文件系统HDFS、Hadoop并行编程框架MapReduce、Hadoop大数据机器学习和Spark大数据机器学习。本书可作为计算机科学与技术、软件工程、数据科学与大数据技术等专业研究生和高年级本科生的大数据处理或大数据机器学习课程的教材，也可供从事相关研究工作的科研人员参考。

《信息科学技术学术著作丛书》序
前言
第1章机器学习概述
1.1分类与聚类
1.1.1分类
1.1.2聚类
1.2K-近邻算法与模糊K-近邻算法
1.2.1K-近邻算法
1.2.2模糊K-近邻算法
1.3K-均值算法与模糊K-均值算法
1.3.1K-均值算法
1.3.2模糊K-均值算法
1.4决策树算法
1.4.1离散值决策树算法
1.4.2连续值决策树算法
1.5神经网络
1.5.1神经元模型
1.5.2梯度下降算法
1.5.3多层感知器模型
1.6极限学习机
1.7支持向量机
1.7.1线性可分支持向量机
1.7.2近似线性可分支持向量机
1.7.3线性不可分支持向量机
1.8主动学习
第2章大数据与大数据处理系统
2.1大数据及其特征
2.2Linux操作系统简介
2.2.1Linux版本
2.2.2Linux的文件与目录
2.2.3Linux用户与用户组
2.2.4Linux系统软件包管理
2.2.5Linux操作系统的安装
2.3大数据处理系统Hadoop
2.3.1什么是Hadoop
2.3.2Hadoop的特性
2.3.3Hadoop的体系结构
2.3.4Hadoop的运行机制
2.3.5Hadoop1.0和Hadoop2.0的区别
2.3.6Hadoop的安装及大数据处理环境的架构
2.4大数据处理系统Spark
2.4.1什么是Spark
2.4.2Spark的运行架构
2.4.3Spark的工作机制
第3章Hadoop分布式文件系统HDFS
3.1HDFS概述
3.1.1HDFS的优势
3.1.2HDFS的局限性
3.2HDFS的系统结构
3.3HDFS的数据存储
3.3.1数据块的存放策略
3.3.2数据的读取策略
3.3.3文件系统元数据的持久性
3.3.4HDFS的鲁棒性
3.4访问HDFS
3.4.1通过文件系统Shell访问HDFS
3.4.2通过文件系统JavaAPI访问HDFS
3.5HDFS读写数据的过程
3.5.1HDFS读数据的过程
3.5.2HDFS写数据的过程
第4章Hadoop并行编程框架MapReduce
4.1MapReduce概述
4.2MapReduce的大数据处理过程
4.2.1Map阶段
4.2.2Shu2e阶段
4.2.3Reduce阶段
4.3一个例子:流量统计
4.4MapReduce的系统结构
4.5MapReduce的作业处理过程
4.6MapReduce算法设计
4.6.1大数据决策树算法设计
4.6.2大数据极限学习机算法设计
第5章Hadoop大数据机器学习
5.1基于Hadoop的大数据K-近邻算法
5.1.1大数据K-近邻算法的基本思想
5.1.2大数据K-近邻算法的MapReduce编程实现
5.2基于Hadoop的大数据极限学习机
5.2.1大数据极限学习机的基本思想
5.2.2大数据极限学习机的MapReduce编程实现
5.3基于Hadoop的大数据主动学习
5.3.1大数据主动学习的基本思想
5.3.2大数据主动学习的MapReduce编程实现
第6章Spark大数据机器学习
6.1SparkMLlib
6.1.1MLlib决策树算法
6.1.2MLlib决策森林算法
6.1.3MLlibK-means算法
6.1.4主成分分析
6.2基于Spark的大数据K-近邻算法
6.3基于Spark的大数据主动学习
参考文献