机器学习原理与应用

本书是机器学习的入门教材，讲述机器学习的主流算法原理及其应用。全书着重对线性回归、Logistic回归、朴素贝叶斯、K近邻、决策树、支持向量机、K均值聚类、混合高斯模型、人工神经网络、深度学习、集成学习等经典机器学习算法的原理进行深入、系统地阐述，同时结合在线教学分析、鸢尾花识别、睡眠障碍预测等生活实例介绍其具体应用方法。 本书使用 Python 作为编程语言，强调简单、快速地建立模型，解决实际问题。本书的算法原理推导深入浅出、简洁明了，同时配有详细的应用讲解，可让初学者真正理解算法，学会使用算法。

王伟，博士（中科院），副教授、校聘教授，周口市大数据相关项目咨询评审专家，主要从事计算机视觉、模式识别、机器学习等研究与教学工作。2015年入职周口师范学院，在ISPRS（国际顶级期刊）、Neurocomputing、The Visual Computer、中国科学、自动化学报、电子学报等国内外知名期刊或中文一级期刊发表学术论文10余篇、申报与获批发明专利4项、获批软件著作权8项、主持省部级及产学研项目14项（累积到帐经费187万）、荣获河南省教育厅优秀科技论文奖一等奖2项、二等奖1项；指导学生获批国家级大学生创新创业项目2项、河南省大学生创新创业项目3项、校级大学生科研创新项目3项、校级实验室开放课题1项，荣获第六届河南省物联网设计大赛特等奖1项、“挑战杯”河南省大学生课外学术科技作品竞赛二等奖1项、发表中文核心论文1篇；曾获周口师范学院优秀教师、优秀共产党员、优秀毕业论文指导教师、优秀实习指导教师等荣誉。

第 1章 概述 1 1.1 定义 1 1.2 发展历程与趋势 2 1.2.1 发展历程 2 1.2.2 发展趋势 2 1.3 基本原理与术语 3 1.3.1 基本原理 3 1.3.2 关键术语 4 1.4 数学本质 6 1.4.1 模型定义 7 1.4.2 模型求解 7 1.5 PYTHON语言基础 8 1.5.1 概述 8 1.5.2 基本语法 8 1.5.3 数据类型 10 1.5.4 运算符与表达式 14 1.5.5 程序控制结构 17 1.5.6 函数 19 1.5.7 面向对象 22 1.5.8 文件 25 1.6 常用库 26 1.6.1 科学计算库（Numpy） 27 1.6.2 机器学习库（Scikit-learn） 31 1.6.3 绘图库（Matplotlib） 32 1.6.4 图像处理库（PIL与Torchvision） 38 第 2章 特征工程 44 2.1 基本原理 44 2.2 特征预处理 45 2.2.1 异常值检测 45 2.2.2 数据采样 46 2.2.3 规范化 46 2.2.4 离散化 48 2.2.5 特征编码 48 2.3 特征选择 50 2.3.1 特征过滤（Filter） 50 2.3.2 特征包装（Wrapper） 54 2.3.3 特征嵌入（Embedded） 55 2.4 特征提取 57 2.4.1 主成分分析 57 2.4.2 线性判别分析 62 第3章 线性回归 71 3.1 基本原理 71 3.1.1 基本概念 71 3.1.2 数学模型与求解 72 3.2 应用实例 74 3.2.1 体重预测 74 3.2.2 糖尿病预测 76 3.2.3 房价预测 78 第4章 LOGISTIC回归 82 4.1基本原理 82 4.1.1 基本概念 82 4.1.2 数学模型与求解 82 4.2 应用实例 84 4.2.1 分类可视化 84 4.2.2 鸢尾花识别 86 4.2.3 乳腺癌预测 89 第5章 朴素贝叶斯 93 5.1 基本原理 93 5.1.1 基本概念 93 5.1.2 主要类型 95 5.2 应用实例 95 5.2.1 高斯朴素贝叶斯 97 5.2.2 多项式朴素贝叶斯 99 5.2.3 伯努利朴素贝叶斯 102 5.2.4 补集朴素贝叶斯 103 第6章 K近邻 107 6.1 基本原理 107 6.1.1 基本概念 107 6.1.2 KD树 107 6.1.3 常见问题 108 6.2 应用实例 111 6.2.1 参数分析 111 6.2.2 约会预测 113 6.2.3 KD树应用 116 第7章 决策树 120 7.1 基本原理 120 7.1.1 ID3算法 120 7.1.2 C4.5算法 123 7.1.3 CART算法 123 7.2 应用实例 123 7.2.1 红酒分类 124 7.2.2 薪水预测 127 第8章 支持向量机 132 8.1 基本原理 132 8.1.1 数学模型 132 8.1.2 核函数 133 8.2 应用实例 135 8.2.1 参数分析 135 8.2.3 在线教学分析 137 8.2.3 幸福指数预测 141 第9章 K均值聚类 145 9.1 基本原理 145 9.1.1 基本概念 145 9.1.2 评价标准 146 9.1.3 扩展类型 146 9.2 应用实例 147 9.2.1 参数分析 148 9.2.2 文本聚类 149 9.2.3 睡眠障碍预测 152 9.2.4 图像颜色聚类 155 第 10章 高斯混合模型 158 10.1 基本原理 158 10.1.1 基本概念 158 10.1.2 数学模型 159 10.2 应用实例 161 10.2.1 数据聚类 161 10.2.2 图像生成 164 第 11章 人工神经网络 167 11.1 基本原理 167 11.1.1 基本概念 167 11.1.2 数学模型 168 11.2 应用实例 169 11.2.1 学生表现预测 170 11.2.2 心脏病预测 173 11.2.3 曲线拟合 177 第 12章 深度学习 179 12.1 基本原理 179 12.1.1 基本概念 179 12.1.2 PyTorch框架 180 12.2 应用实例 188 12.2.1 回归分析 188 12.2.2 Logistic回归 193 12.2.3 自动编码解码器 199 12.2.4 卷积神经网络 202 12.2.5 生成式对抗网络 206 12.2.6 残差神经网络 210 12.2.7 孪生神经网络 213 第 13章 集成学习 220 13.1 基本原理 220 13.1.1 基本概念 220 13.1.2 基础方法 221 13.1.3 集成框架 222 13.2 应用实例 226 13.2.1 基础方法 227 13.2.2 AdaBoost 231 13.2.3 梯度提升树 235 13.2.4 XGBoost 240 13.2.5 随机森林 244 13.2.6 Stacking分类与回归 249 参考文献 254