大数据与人工智能导论 第2版

对如何快速把握大数据与人工智能的精髓、避免陷入过多的数学细节推导的问题，以及人工智能算法和大数据平台技术的结合问题，本书作者做出了不懈探索。 1.选材上，不仅分别单独讲授人工智能和大数据，还突出两者相结合的内容。 2.内容上，突出浅显易懂，繁杂的数学推导适当做减法，宏观的介绍和实战技能适当做加法。 3.结构上，由浅入深，由宏观到比微观，由基础知识到新技术，由理论到实践。 本书主要突出优点如下： 1.知识点覆盖全。本书共七章，对大数据与人工智能领域的常用基础技术、算法、模型均有介绍，保障读者知识体系的完整性。 2.知识点覆盖新。本书紧跟本领域近期新研究成果。尤其重点介绍了深度学习基础知识及其应用。深度学习是当前人工智能领域的潮流和趋势。另外，本书新版所增加的强化学习是机器学习新兴起的一个类别，在许多领域都具有重要作用，具有研究价值。 3.知识点难易程度严格控制。有利于读者构建完整、清晰的知识体系，抓住主干，避免钻进个别牛角尖。 4.理论与实战相结合。本书不仅介绍了理论知识，还注重问题建模、数据分析、算法实现、模型应用等实战技能。 5.知识脉络构建有特色。本书认为，当前人工智能取得重要进展的最根本原因是大数据，绝不能把两者割裂开来。

本书主要涉及数据工程与人工智能算法原理、大数据平台技术、人工智能算法在大数据平台上的实现等，共7章。第1章介绍大数据与人工智能的历史、应用；第2章介绍数据工程；第3章介绍大数据平台；第4章介绍人工智能基础算法的原理；第5章以第4章为基础，介绍深度学习相关内容；第6章介绍当前热门的强化学习技术；第7章为数据分析与深度学习项目实践。本书可作为希望快速了解和入门大数据与人工智能领域知识的本科生、研究生的参考书，也可供互联网领域中对人工智能算法感兴趣的工程技术人员参考使用。

第1章绪论1
1．1日益增长的数据1
1．1．1大数据基本概念1
1．1．2大数据发展历程2
1．1．3大数据的特征3
1．1．4大数据的基本认识3
1．2人工智能4
1．2．1认识人工智能4
1．2．2人工智能的派别与发展史4
1．2．3人工智能的现状与应用5
1．2．4当人工智能遇上大数据7
1．3大数据与人工智能的机遇与挑战7
1．3．1大数据与人工智能面临的难题7
1．3．2大数据与人工智能的前景8
第2章数据工程10
2．1数据的多样性10
2．1．1数据格式的多样性10
2．1．2数据来源的多样性11
2．1．3数据用途的多样性11
2．2数据工程的一般流程12
2．3数据的获取13
2．3．1数据来源14
2．3．2数据采集方法14
2．3．3大数据采集平台15
2．4数据的存储与数据仓库16
2．4．1数据存储16
2．4．2数据仓库16
2．5数据的预处理技术17
2．5．1数据预处理的目的17
2．5．2数据清理18
2．5．3数据集成19
2．5．4数据变换19
2．5．5数据归约19
2．6模型的构建与评估20
2．6．1模型的构建20
2．6．2评价指标20
2．7数据的可视化22
2．7．1可视化的发展22
2．7．2可视化工具23
第3章大数据框架28
3．1Hadoop简介28
3．1．1Hadoop的由来28
3．1．2MapReduce和HDFS28
3．2Hadoop大数据处理框架30
3．2．1HDFS组件与运行机制30
3．2．2MapReduce组件与运行机制33
3．2．3YARN框架和运行机制34
3．2．4Hadoop相关技术35
3．2．5Hadoop的安装36
3．3MapReduce编程39
3．3．1MapReduce综述39
3．3．2Map阶段40
3．3．3Shuffle阶段40
3．3．4Reduce阶段41
3．4Spark简介41
3．4．1Spark概述41
3．4．2Spark基本概念42
3．4．3Spark生态系统42
3．4．4Spark组件与运行机制44
3．4．5Spark的安装44
3．5Storm简介47
3．5．1Storm概述47
3．5．2Storm组件和运行机制48
3．5．3Storm的应用50
3．5．4Storm的安装50
3．6Flink简介53
3．6．1Flink概述53
3．6．2Flink组件和运行机制54
3．6．3Flink的应用55
3．6．4Flink的安装和实例讲解56
第4章机器学习算法58
4．1机器学习绪论58
4．1．1机器学习基本概念58
4．1．2评价标准59
4．1．3机器模型的数学基础61
4．2决策树理论64
4．2．1决策树模型65
4．2．2决策树的训练67
4．2．3本节小结72
4．3朴素贝叶斯理论72
4．4线性回归75
4．5逻辑斯蒂回归77
4．5．1二分类逻辑回归模型77
4．5．2二分类逻辑斯蒂回归的训练79
4．5．3Softmax分类器81
4．5．4逻辑斯蒂回归和softmax的应用81
4．5．5本节小结82
4．6支持向量机82
4．6．1间隔83
4．6．2支持向量机的原始形式84
4．6．3支持向量机的对偶形式85
4．6．4特征空间的隐式映射：核函数87
4．6．5支持向量机拓展88
4．6．6支持向量机的应用89
4．7集成学习89
4．7．1基础概念89
4．7．2Boosting91
4．7．3Bagging94
4．7．4Stacking95
4．8神经网络95
4．8．1生物神经元和人工神经元95
4．8．2感知机97
4．8．3BP神经网络98
4．8．4Sklearn中的神经网络100
4．8．5本节小结101
4．9聚类101
4．9．1聚类思想101
4．9．2性能计算和距离计算101
4．9．3原型聚类102
4．9．4密度聚类103
4．9．5层次聚类104
4．9．6Sklearn中的聚类105
4．9．7本节小结105
4．10降维与特征选择105
4．10．1维数爆炸与降维105
4．10．2降维技术106
4．10．3特征选择技术108
4．10．4Sklearn中的降维108
4．10．5本节小结108
第5章深度学习简介110
5．1从神经网络到深度神经网络110
5．1．1深度学习应用110
5．1．2深度神经网络的困难111
5．2卷积神经网络112
5．2．1卷积神经网络的生物学基础112
5．2．2卷积神经网络结构113
5．3循环神经网络116
5．3．1循环神经网络简介116
5．3．2循环神经网络结构116
5．4生成对抗网络118
5．4．1生成对抗网络简介118
5．4．2生成对抗网络结构119
第6章强化学习简介124
6．1有限马尔可夫决策过程125
6．1．1目标和奖励125
6．1．2回报和分幕126
6．1．3策略和值函数127
6．1．4很优策略和很优状态值函数127
6．2动态规划129
6．2．1策略评估129
6．2．2策略改进132
6．2．3策略迭代133
6．2．4价值迭代134
6．3时序差分学习135
6．3．1时序差分预测136
6．3．2TD(0)学习136
6．3．3Sarsa算法137
6．3．4Q学习算法138
6．4策略梯度方法139
6．4．1策略梯度定理140
6．4．2蒙特卡罗策略梯度141
6．4．3“Actor-Critic”方法142
6．5深度强化学习143
6．5．1深度Q-learning143
6．5．2深度确定性策略梯度146
第7章数据分析实例149
7．1基本数据分析149
7．1．1数据介绍149
7．1．2数据导入与数据初识149
7．1．3分类152
7．1．4回归153
7．1．5降维154
7．2深度学习项目实战155
7．2．1Tensorflow与Keras安装部署155
7．2．2使用卷积神经网络进行手写数字识别156
7．2．3使用LSTM进行文本情感分类158
参考文献162
附录A矩阵基础163
附录B梯度下降166
附录C拉格朗日对偶性169
附录DPython语法知识172
附录EJava语法基础介绍184