机器学习基础与实战

全书共10章，第1章介绍了机器学习算法的基本概念、分类及本书开发环境的搭建。第2章介绍了机器学习算法中经常用到的NumPy相关知识及绘图工具包Matplotlib。从第3章开始介绍机器学习算法，第3章介绍了最简单也是最常用的线性回归算法。第4章介绍了搜索算法，包括梯度下降算法、随机梯度下降算法、小批量梯度下降算法、牛顿迭代算法及坐标下降算法。第5章介绍了二分类的Logistic回归算法和多元回归算法SoftMax，以及评价分类结果优劣的各种指标。第6章介绍了支持向量机算法及支持向量机的核函数方法。第7章介绍了朴素贝叶斯算法。第8章介绍了决策树优化算法及由多棵决策树构成的随机森林算法等集成学习算法。第9章介绍了聚类算法，包括K均值算法、合并聚类算法、DBSCAN算法等。第10章介绍了降维算法，主要包括主成分分析法和主成分分析的核方法。每章都包含大量的实战案例，既有自行实现的算法，也有直接调用Sklearn工具库实现的算法。本书配备思考与练习，全书所有的示例程序都提供完整的源代码，读者可登录华信教育资源网或GitHub网站免费下载。本书适合作为人工智能、大数据等专业的学生教材，对于人工智能相关培训机构、人工智能爱好者，也有一定的参考价值。

陈鑫，博士，毕业于中山大学，广东机电职业技术学院计算机与设计学院专职教师。中国计算机学会会员，著作方向为人工智能，曾出版《C++ 程序设计实践案例教程》。主持基于深度学习的人脸识别考勤系统的设计与研究项目，参与国家重点基础研究发展计划（973 计划）项目课题、广东省自然科学基金重大基础研究培育项目、中山大学高校基本科研业务费2017 年度重大项目和前沿新兴交叉学科培育资助计划等重大项目。

第1章机器学习算法概述1
1.1机器学习1
1.2机器学习分类2
1.2.1监督学习2
1.2.2无监督学习2
1.2.3强化学习3
1.3机器学习中的基本概念3
1.4机器学习环境搭建4
1.4.1Python安装4
1.4.2PyCharm及相关包的下载安装6
1.4.3JupyterLab9
1.5本章小结12
思考与练习12
第2章?NumPy和Matplotlib入门13
2.1NumPy数组基础13
2.1.1创建NumPy数组14
2.1.2NumPy数组的索引与切片16
2.1.3NumPy数组的变形18
2.1.4NumPy合并与分割20
2.1.5NumPy的通用函数25
2.1.6NumPy数组的聚合运算27
2.1.7NumPy数组的广播28
2.1.8NumPy数组比较、掩码和布尔逻辑30
2.1.9NumPy花哨的索引30
2.1.10NumPy的矩阵运算32
2.2Matplotlib数据可视化36
2.2.1线形图36
2.2.2散点图39
2.2.3直方图和柱状图41
2.2.4等高线图43
2.2.5多子图46
2.2.6三维图像50
2.3本章小结53
思考与练习53
第3章?线性回归算法54
3.1简单线性回归54
3.2正规方程算法（最小二乘法）55
3.3多项式回归61
3.4线性回归的正则化算法64
3.5Sklearn的线性回归66
3.6本章小结69
思考与练习69
第4章?机器学习中的搜索算法70
4.1梯度下降算法70
4.1.1梯度下降算法概述70
4.1.2模拟实现梯度下降算法71
4.1.3线性回归中的梯度下降算法73
4.2随机梯度下降算法75
4.2.1回归问题中的随机梯度下降算法76
4.2.2梯度下降算法与随机梯度下降算法的效果对比78
4.3小批量梯度下降算法81
4.4牛顿迭代算法85
4.4.1模拟实现牛顿迭代算法85
4.4.2线性回归问题中的牛顿迭代算法87
4.5坐标下降算法88
4.6Sklearn的随机梯度下降算法90
4.7本章小结96
思考与练习96
第5章?Logistic回归算法97
5.1Logistic回归的基本概念97
5.1.1Sigmoid()函数97
5.1.2Logistic模型98
5.2Logistic回归算法的应用99
5.3评价分类结果103
5.3.1准确率（Accuracy）103
5.3.2准确率(Precision)和召回率(Recall)104
5.3.3ROC曲线和AUC度量115
5.4多元回归算法SoftMax118
5.4.1SoftMax回归基本概念119
5.4.2SoftMax回归优化算法120
5.5Sklearn的Logistic回归算法126
5.6本章小结130
思考与练习130
第6章?支持向量机算法132
6.1支持向量机的基本概念132
6.1.1感知机132
6.1.2支持向量机137
6.1.3支持向量机的对偶138
6.2支持向量机优化算法139
6.3核方法144
6.4软间隔支持向量机153
6.4.1软间隔支持向量机的概念153
6.4.2Hinge损失函数与软间隔支持向量机156
6.5Sklearn的SVM库159
6.5.1SklearnSVM算法库使用概述159
6.5.2SVM核函数概述159
6.5.3SVM分类算法的使用160
6.5.4SVM算法的调参要点162
6.6本章小结174
思考与练习174
第7章?朴素贝叶斯算法175
7.1朴素贝叶斯175
7.1.1数学基础175
7.1.2朴素贝叶斯的种类176
7.2朴素贝叶斯算法分类177
7.2.1基于极大似然估计的朴素贝叶斯算法178
7.2.2基于贝叶斯估计的朴素贝叶斯算法180
7.3Sklearn的朴素贝叶斯算法183
7.3.1Sklearn的高斯朴素贝叶斯实现183
7.3.2Sklearn的多项式朴素贝叶斯实现184
7.3.3Sklearn的伯努利朴素贝叶斯实现186
7.4本章小结188
思考与练习188
第8章?决策树算法189
8.1决策树的基本概念189
8.2决策树优化算法194
8.2.1决策树回归问题的CART算法195
8.2.2决策树分类问题的CART算法196
8.3CART算法的实现198
8.3.1决策树CART算法实现198
8.3.2决策树回归算法实现201
8.3.3决策树分类算法实现204
8.4Sklearn的决策树207
8.5集成学习算法214
8.5.1装袋评估算法215
8.5.2随机森林算法218
8.5.3AdaBoost提升221
8.5.4梯度提升决策树227
8.6本章小结232
思考与练习232
第9章?聚类算法233
9.1K均值算法233
9.2合并聚类算法238
9.3DBSCAN算法246
9.4Sklearn的聚类算法252
9.4.1K均值算法（Kmeans）252
9.4.2近邻传播算法（AffinityPropagation）258
9.4.3均值漂移算法（Mean-shift）261
9.4.4合并聚类算法（AgglomerativeClustering）263
9.4.5带噪声的基于密度的空间聚类算法（DBSCAN）268
9.5本章小结272
思考与练习272
第10章?降维算法273
10.1主成分分析法273
10.1.1算法思想273
10.1.2主成分分析法的实现276
10.2主成分分析的核方法278
10.3Sklearn的主成分分析法281
10.3.1Sklearn的PCA算法281
10.3.2Sklearn的带核PCA算法284
10.4本章小结290
思考与练习290