机器学习算法与实现——Python编程与应用实例

无本书配套有完整的在线讲义、在线视频、作业和练习项目，每章的习题、练习、报告等都配有对应的二维码，读者可直接访问在线教程，选择适合自己的资料。

机器学习是人工智能的重要方向之一，对提升各行业的智能化程度正在起越来越大的作用。本书通过凝练机器学习的核心思想与方法，综合介绍了Python、常用库和相关工具，以及机器学习的原理与实现，囊括了机器学习与行业相结合的实例，可让没有深厚计算机、编程背景的读者在有限的时间内掌握机器学习的相关知识和应用工具。本书各部分的比例适当，在讲授基本Python编程、库函数的基础上，由浅入深地介绍了机器学习的思想、方法和实现。理论讲授部分从基本的最小二乘法开始，逐步深入地介绍了如何使用迭代求解的方法实现逻辑斯蒂回归、感知机、神经网络、深度神经网络。本书配套有完整的在线讲义、在线视频、作业和练习项目，每章的习题、练习、报告等都配有对应的二维码，读者可直接访问在线教程，选择适合自己的资料。本书可作为计算机、智能科学与技术、航空航天、电子信息、自动化等专业硕士研究生和本科生的教材，也可供相关技术人员参考。

布树辉，西北工业大学教授，博士生导师。中国航空学会航电与空管分会委员，国际数字地球学会中国国家委员会虚拟地理环境专业委员会委员，陕西省组合与智能导航重点实验室委员，陕西省自动化学会智能机器人专业委员会委员。出版教材和专著3部，发表学术论文100多篇。近年来完成国家、省部级研究项目19项，获省部级奖励6项，并于2021年获得吴文俊人工智能科学技术发明一等奖。主要研究方向包括自主无人机与机器人、图形与图像处理、机器学习及其应用等。在同时定位与构图、环境理解等方面取得了较为突出的成果，所研究的无人机实时地图重建与分析系统在国际上有较大的影响力。

第1章绪论1
1.1机器学习的发展历程2
1.2机器学习的基本术语2
1.2.1特征3
1.2.2样本3
1.2.3模型3
1.2.4回归、分类与聚类4
1.2.5泛化与过拟合4
1.3机器学习的基本分类5
1.3.1监督学习5
1.3.2无监督学习5
1.3.3半监督学习5
1.3.4深度学习6
1.3.5强化学习8
1.3.6机器学习与人工智能8
1.4机器学习的应用9
1.4.1图像识别与处理9
1.4.2语音识别与自然语言处理10
1.4.3环境感知与智能决策11
1.4.4融合物理信息的工程设计12
1.5机器学习应用的步骤13
1.5.1应用场景分析14
1.5.2数据处理14
1.5.3特征工程14
1.5.4算法模型训练与评估15
1.5.5应用服务15
1.6机器学习的评估方法15
1.6.1数据集划分方法15
1.6.2性能度量16
1.7如何学习机器学习17
1.7.1由浅入深17
1.7.2行成于思17
第2章Python语言18
2.1为什么选择Python18
2.2安装Python的环境19
2.2.1Windows下的安装19
2.2.2Linux下的安装19
2.2.3设置软件源20
2.2.4安装常用Python库20
2.2.5安装PyTorch20
2.2.6Conda使用技巧21
2.3JupyterNotebook21
2.3.1JupyterNotebook的主页面22
2.3.2JupyterNotebook的快捷键24
2.3.3Magic关键字25
2.4Python基础25
2.4.1变量26
2.4.2运算符27
2.4.3内置函数28
2.5print()函数29
2.6数据结构30
2.6.1列表31
2.6.2元组38
2.6.3集合40
2.6.4字符串42
2.6.5字典46
2.7控制流语句48
2.7.1判断语句48
2.7.2循环语句50
2.8函数55
2.8.1函数的参数55
2.8.2返回语句56
2.8.3默认参数58
2.8.4任意数量的参数58
2.8.5全局变量和局部变量59
2.8.6lambda函数60
2.9类和对象60
2.9.1成员函数与变量61
2.9.2继承64
2.10小结66
2.11练习题66
2.12在线练习题67
第3章Python常用库68
3.1NumPy数值计算库68
3.1.1创建NumPy数组69
3.1.2访问数组元素73
3.1.3文件读写77
3.1.4线性代数函数79
3.1.5数据统计80
3.1.6数组的操作83
3.2Matplotlib绘图库87
3.2.1多子图绘制88
3.2.2图像处理89
3.3小结89
3.4练习题89
3.5在线练习题90
第4章k最近邻算法91
4.1k最近邻原理91
4.1.1特征距离计算92
4.1.2算法步骤92
4.2机器学习的思维模型93
4.3数据生成93
4.4程序实现95
4.5将kNN算法封装为类97
4.6基于sklearn的分类实现98
4.7小结100
4.8练习题100
4.9在线练习题100
第5章k均值聚类算法101
5.1无监督学习思想101
5.2k均值聚类原理102
5.3k均值聚类算法103
5.4算法操作过程演示103
5.5k均值聚类算法编程实现105
5.6使用sklearn进行聚类109
5.7评估聚类性能110
5.7.1调整兰德指数110
5.7.2轮廓系数111
5.8k均值图像压缩112
5.9小结114
5.10练习题115
5.11在线练习题115
第6章逻辑斯蒂回归116
6.1最小二乘法116
6.1.1数据生成116
6.1.2最小二乘法的数学原理117
6.1.3最小二乘法的程序实现118
6.2梯度下降法119
6.2.1梯度下降法的原理119
6.2.2梯度下降法的实现121
6.2.3迭代可视化123
6.2.4梯度下降法的优化124
6.3多元线性回归125
6.3.1导弹弹道预测算法125
6.3.2建模与编程求解126
6.4使用sklearn库进行拟合127
6.5逻辑斯蒂回归的原理128
6.5.1数学模型129
6.5.2算法流程131
6.6逻辑斯蒂回归的实现131
6.6.1逻辑斯蒂回归示例程序132
6.6.2使用sklearn解决逻辑斯蒂
回归问题134
6.6.3多类识别问题136
6.7小结140
6.8练习题140
6.9在线练习题140
第7章神经网络141
7.1感知机141
7.1.1感知机模型142
7.1.2感知机学习策略143
7.1.3感知机学习算法143
7.1.4示例程序144
7.2多层神经网络147
7.2.1神经元147
7.2.2神经网络架构148
7.2.3神经网络正向计算148
7.2.4神经网络矩阵表示149
7.2.5神经网络训练151
7.2.6激活函数155
7.2.7神经网络训练算法设计157
7.2.8示例程序158
7.2.9使用类的方法封装多层神经网络161
7.3softmax函数与交叉熵代价函数165
7.3.1softmax函数165
7.3.2交叉熵代价函数167
7.4小结169
7.5练习题169
7.6在线练习题170
第8章PyTorch171
8.1张量171
8.1.1Tensor的生成171
8.1.2Tensor的操作173
8.1.3Tensor的维度操作173
8.1.4Tensor的变形175
8.1.5inplace操作175
8.2自动求导176
8.2.1简单情况下的自动求导177
8.2.2复杂情况下的自动求导178
8.2.3多次自动求导180
8.3神经网络模型180
8.3.1逻辑斯蒂回归与神经网络180
8.3.2序列化模型185
8.3.3模块化网络定义187
8.3.4模型参数保存189
8.4神经网络的定义与训练191
8.4.1MNIST数据集191
8.4.2CIFAR-10数据集192
8.4.3多分类神经网络192
8.4.4参数初始化198
8.4.5模型优化求解202
8.5综合示例代码212
8.6小结214
8.7练习题215
8.8在线练习题215
第9章深度学习216
9.1卷积神经网络216
9.1.1卷积网络的基础217
9.1.2卷积计算与模块220
9.1.3数据预处理与批量归一化223
9.1.4网络正则化229
9.1.5学习率衰减231
9.2典型的深度神经网络235
9.2.1LeNet5235
9.2.2AlexNet240
9.2.3VGG245
9.2.4GoogLeNet250
9.2.5ResNet254
9.2.6DenseNet260
9.3小结265
9.4练习题265
9.5在线练习题265
第10章目标检测266
10.1目标检测的任务266
10.2目标检测的发展历程267
10.3目标检测评估方法269
10.3.1交并比269
10.3.2精度270
10.3.3平均精度271
10.3.4平均精度均值271
10.4目标检测的原理271
10.4.1YOLO-v1271
10.4.2YOLO-v2280
10.4.3YOLO-v3280
10.4.4YOLO-v4281
10.4.5YOLO-v5281
10.5YOLO-v4原理与实现283
10.5.1主干特征提取网络283
10.5.2特征金字塔287
10.5.3利用特征进行预测289
10.5.4预测结果的解码290
10.5.5在原始图像上进行绘制295
10.6YOLO-v4的技巧及损失函数分析295
10.6.1Mosaic数据增强295
10.6.2CIoU299
10.6.3损失函数300
10.7训练自己的YOLO-v4模型307
10.7.1数据集的准备307
10.7.2数据集处理307
10.7.3网络训练308
10.7.4训练结果预测310
10.8小结310
10.9练习题310
10.10在线练习题310
第11章深度强化学习311
11.1强化学习311
11.1.1强化学习的基本概念312
11.1.2马尔可夫决策过程313
11.1.3Q学习算法315
11.1.4示例程序317
11.2深度强化学习320
11.3倒立摆的控制示例321
11.3.1仿真环境322
11.3.2第三方库322
11.3.3经验回放内存323
11.3.4Q网络324
11.3.5输入数据截取324
11.3.6超参数和工具函数325
11.3.7网络训练327
11.4小结329
11.5练习题330
11.6在线练习题330
参考文献331
术语表333