机器学习基础

1.以操作实践为学习的切入点，而不是直接切入理论讲解。 2.以任务为驱动，贯穿知识内容。 3.充分考虑学习者的认知曲线，由浅入深，边讲边练边切入理论知识。 4.通过项目实训训练技能的综合使用能力。

近年来人工智能技术蓬勃发展，人工智能正在改变我们的生活。为了让读者在不需要掌握太多数学和计算机科学知识的情况下，能够快速上手，使用Python语言实现常用的机器学习算法，并解决一些实际的问题，我们策划并出版本书。本书共14章，内容涵盖基本的机器学习概念和环境搭建，目前各个领域中的热门算法，以及数据预处理、模型评估和文本数据分析等。希望本书可以让读者轻松入门，在动手实践的过程中找到乐趣。本书可以作为各大院校人工智能相关专业的教材，也可以作为培训机构的教材，还适合人工智能技术爱好者自学使用。

肖睿，课工场创始人，北京大学教育学博士，北京大学软件学院特约讲师，北京大学学习科学实验室特约顾问。作为北大青鸟Aptech的联合创始人，历任学术总监、研究院院长、公司副总裁等核心岗位，拥有20多年的IT职业教育产品管理和企业管理经验。于2015年创办课工场，兼任总经理，旨在为大学生提供更可靠的IT就业教育及服务。

第1章 机器学习概述21
技能目标21
本章任务21
任务1.1：了解机器学习的基本概念22
1.1.1什么是机器学习22
1.1.2机器学习的起源与发展23
任务1.2：了解机器学习的应用场景25
1.2.1机器学习技术在日常生活中的应用25
1.2.2机器学习技术在不同行业中的应用28
任务1.3：了解机器学习的学习路径30
1.3.1学习机器学习的先决条件30
1.3.2开启你的“海绵模式”32
1.3.3开始动手实践33
任务1.4：掌握机器学习的先导知识概念34
本章小结36
本章习题
第2章 机器学习工具安装与使用38
技能目标38
本章任务38
任务2.1：Anaconda的安装与使用39
2.1.1下载安装Anaconda39
2.1.2Jupyter Notebook的使用41
任务2.2：pandas和可视化工具的基本使用45
2.2.1pandas的基本使用45
2.2.2数据可视化工具的基本使用48
任务2.3：掌握scikit-learn的基本操作51
2.3.1.使用scikit-learn加载并检查数据51
2.3.2.使用scikit-learn训练模型并评估54
2.3.3.保存和载入训练好的模型文件56
本章小结57
本章习题
第3章 线性模型59
技能目标59
本章任务59
任务3.1：掌握线性模型的基本概念和线性回归的使用60
3.1.1线性模型的基本概念60
3.1.2线性回归模型的使用62
任务3.2：掌握岭回归的原理及使用66
3.2.1岭回归的原理67
3.2.2岭回归的使用69
任务3.3：掌握套索回归的原理及使用73
3.3.1套索回归的原理73
3.3.2套索回归的参数调节74
任务3.4：了解逻辑回归与线性支持向量机76
3.4.1逻辑回归与线性支持向量机简介77
3.4.2训练逻辑回归模型并预测77
3.4.3训练线性支持向量机模型并预测79
本章小结80
本章习题
第4章 决策树和随机森林81
技能目标81
本章任务81
任务4.1：初步掌握决策树算法82
4.1.1什么是决策树算法82
4.1.2决策树的基本使用方法83
4.1.3决策树中的max_depth参数85
4.1.4决策树的模型展现91
4.1.5决策树的优势与不足92
任务4.2：初步掌握随机森林算法93
4.2.1什么是随机森林算法93
4.2.2随机森林算法中的参数解释94
4.2.3随机森林与决策树模型的差异95
4.2.4随机森林的优势与不足96
任务4.3：使用决策树与随机森林实战练习97
4.3.1下载数据集并载入97
4.3.2了解数据集的特征98
4.3.3使用数据集训练决策树与随机森林99
本章小结102
本章习题
第5章 支持向量机103
技能目标103
本章任务103
任务5.1：理解支持向量机的基本原理104
5.1.1“线性不可分”的数据集104
5.1.2将数据投射到高维空间105
5.1.3“不线性”的支持向量机106
任务5.2：理解支持向量机的核函数和gamma参数108
5.2.1支持向量机的RBF内核108
5.2.2不同内核的支持向量机对比110
5.2.3gamma参数对模型的影响112
5.2.4支持向量机中的C参数114
5.2.5支持向量机的优势与不足116
任务5.3：使用支持向量机算法进行实战练习116
5.3.1数据集准备与初步了解116
5.3.2探索性数据分析119
5.3.3初步训练支持向量机模型121
5.3.4对数据进行预处理并重新训练模型123
本章小结127
本章习题
第6章 朴素贝叶斯128
技能目标128
本章任务128
任务6.1：了解朴素贝叶斯的基本原理和使用128
6.1.1朴素贝叶斯算法的基本原理129
6.1.2朴素贝叶斯用法示例130
任务6.2：了解不同朴素贝叶斯变体的差异131
6.2.1伯努利朴素贝叶斯的不足132
6.2.2用高斯朴素贝叶斯替代伯努利朴素贝叶斯133
6.2.3多项式朴素贝叶斯简介134
任务6.3：掌握朴素贝叶斯的实际应用135
6.3.1获取数据集并检查135
6.3.2数据预处理与模型训练136
6.3.3样本数量对朴素贝叶斯模型的影响138
本章小结140
本章习题
第7章 K最近邻算法141
技能目标141
本章任务141
任务7.1：了解K最近邻算法142
7.1.1K最近邻算法的简介及原理142
任务7.2：掌握K最近邻算法在分类任务中的应用144
7.2.1K最近邻算法在二元分类任务中的应用145
7.2.2K最近邻算法处理多元分类任务148
任务7.3：掌握K最近邻算法在回归分析中的应用151
7.3.1掌握K最近邻算法在回归分析中的应用151
任务7.4：使用K最近邻算法实战练习155
7.4.1对数据集进行分析155
7.4.2生成训练集和验证集158
7.4.3使用K最近邻算法进行建模并调优160
7.4.4使用模型对新样本进行预测164
本章小结166
本章习题
第8章 神经网络167
技能目标167
本章任务167
任务8.1：了解神经网络的起源与发展168
8.1.1了解神经网络的起源169
8.1.2了解神经网络的发展170
任务8.2：掌握神经网络的原理172
8.2.1了解神经网络的原理172
任务8.3：掌握神经网络中的激活函数175
8.3.1了解激活函数175
8.3.2使用激活函数176
任务8.4：掌握神经网络中的参数调节178
8.4.1分析数据集并展现178
8.4.2参数调节182
任务8.5：使用神经网络解决实际问题187
8.5.1分析fashion-mnist数据集187
8.5.2训练MLP神经网络190
8.5.3使用模型进行图片识别190
本章小结192
本章习题
第9章 聚类194
技能目标194
本章任务194
任务9.1：了解聚类算法的原理与用途195
9.1.1了解聚类算法的原理195
9.1.2了解聚类算法的用途197
17/305任务9.2：掌握K均值算法的原理和使用198
9.2.1了解K均值算法的原理199
9.2.2使用K均值算法进行简单聚类分析200
任务9.3：掌握DBSCAN算法的原理和使用203
9.3.1了解DBSCAN算法的原理203
9.3.2使用DBSCAN算法进行简单聚类分析205
任务9.4：使用聚类算法解决实际问题211
9.4.1对数据集进行分析212
9.4.2使用K均值算法进行聚类分析214
本章小结221
本章习题
第10章 数据降维、特征提取与流形学习222
技能目标222
本章任务222
任务10.1：使用PCA主成分分析进行数据降维223
10.1.1PCA主成分分析介绍223
10.1.2使用PCA降维以便进行可视化226
10.1.3PCA主成分与原始特征的关系227
任务10.2：使用PCA中的数据白化功能进行特征提取229
10.2.1使用人脸识别数据集进行实验229
10.2.2使用PCA进行特征提取232
10.2.3特征提取对于模型准确率的影响234
任务10.3：使用t-SNE对数据降维并进行可视化235
10.3.1t-SNE简介235
10.3.2使用PCA降维作为Baseline236
10.3.3使用t-SNE降维并进行可视化239
本章小结241
本章习题
第11章 模型选择、优化及评估242
技能目标242
本章任务242
任务11.1：掌握交叉验证方法对模型进行评估243
11.1.1交叉验证法简介243
11.1.2K-折叠交叉验证法243
11.1.3随机拆分和留一交叉验证法246
任务11.2：掌握网格搜索法寻找模型的很优参数248
11.2.1了解及使用简单网格搜索248
11.2.2与交叉验证结合的网格搜索250
任务11.3：掌握模型的不同评价标准253
11.3.1分类模型的评价标准253
11.3.2使用R平方分数评估回归模型255
本章小结258
本章习题
第12章 数据预处理与特征选择259
技能目标259
本章任务259
任务12.1：掌握常用的数据标准化方法260
12.1.1使用StandardScaler进行数据预处理260
12.1.2使用MinMaxScaler进行数据标准化处理262
12.1.3使用Normalizer进行数据标准化处理264
12.1.4使用RobustScaler进行数据标准化处理265
任务12.2：掌握常用的数据表达方法267
12.2.1虚拟变量267
12.2.2数据分箱269
任务12.3：掌握常用的特征选择方法274
12.3.1单变量统计274
12.3.2基于模型的特征选择278
12.3.3迭代特征选择279
本章小结280
本章习题
第13章 处理文本数据282
技能目标282
本章任务282
任务13.1：掌握文本数据的特征提取、汉语分词和词包模型283
13.1.1基于计数向量器的文本特征提取283
13.1.2对汉语文本进行分词处理285
13.1.3使用词包模型将文本转换为数组286
任务13.2：文本数据的进一步优化处理287
13.2.1默认参数下词包模型的问题287
13.2.2调整n_Gram参数重新建立模型288
任务13.3：使用真实数据进行实战练习290
13.3.1载入数据集并查看特征290
13.3.2文本数据预处理291
13.3.3使用“朴素贝叶斯”算法训练模型294
13.3.4使用模型判断消费者评论295
本章小结296
本章习题
第14章 未来职业发展前景与方向298
技能目标298
本章任务298
任务：了解数据科学家的职业发展298
14.1.1数据科学家的养成298
14.1.2在实践中提高技能301
14.1.3未来的学习方向303
本章小结305
本章习题