机器学习入门：数学原理解析及算法实践

本书面向初学者，比较全面的介绍了机器学习的基本方法，循序渐进的阐述了其中的数学原理，让读者能够知其然，然后知其所以然。书中结合应用场景，列举了大量编程实例帮助读者开展动手实践，理论与实践相辅相成，对算法原理产生更加直观和感性的认识。作者希望能够通过本书帮助读者揭开人工智能领域的神秘面纱，走进人工智能和机器学习的大门，了解其中的奥秘，甚至成为该领域的学习者、研究者和实践者。

序言 <br/>前言 <br/>第一部分 <br/>第 1 章 专家系统 2 <br/>1.1 早期的专家系统 2 <br/>1.2 正向推理 4 <br/>1.3 逆向推理 5 <br/>1.4 谓词逻辑 6 <br/>1.5 专家系统的贡献和困难 7 <br/>1.6 动手实践 9 <br/>1.6.1 简化的专家系统 10 <br/>1.6.2 正向推理 10 <br/>1.6.3 逆向推理 11 <br/>参考文献 13 <br/>第 2 章 决策树 14 <br/>2.1 分类问题 15 <br/>2.2 构造决策树 16 <br/>2.3 ID3 算法 17 <br/>2.4 信息熵 19 <br/>2.5 基尼不纯度 21 <br/>2.6 动手实践 22 <br/>2.6.1 计算信息熵 22 <br/>2.6.2 构造决策树 23 <br/>2.6.3 使用 scikit-learn软件包 27 <br/>参考文献 30 <br/>第 3 章 神经元和感知机 31 <br/>3.1 生物神经元 31 <br/>3.2 早期感知机模型 33 <br/>3.3 现代的模型 34 <br/>3.4 学习模型参数 36 <br/>3.4.1 梯度下降法 36 <br/>3.4.2 Delta 法则 37 <br/>3.5 动手实践 38 <br/>3.5.1 实现感知机模型 38 <br/>3.5.2 识别手写数字 43<br/>参考文献 48 <br/>第 4 章 线性回归 49 <br/>4.1 线性回归概述 49 <br/>4.2 最小二乘法 51 <br/>4.3 矩阵形式 52 <br/>4.4 一般性的回归问题 54 <br/>4.5 动手实践 54 <br/>4.5.1 实现一维线性回归 54 <br/>4.5.2 实现最小二乘法 56 <br/>4.5.3 使用 numpy 软件包 59 <br/>第 5 章 逻辑斯蒂回归和分类器 64 <br/>5.1 分类问题 64 <br/>5.2 最大似然估计 66 <br/>5.3 交叉熵损失函数 67 <br/>5.4 多类别分类 68 <br/>5.4.1 多类别逻辑斯蒂回归 69 <br/>5.4.2 归一化指数函数 70 <br/>5.4.3 交叉熵误差和均方误差的比较 72 <br/>5.5 分类器的决策边界 73 <br/>5.6 支持向量机 75 <br/>5.6.1 支持向量 77 <br/>5.6.2 拉格朗日乘子法 78 <br/>5.6.3 非线性分类与核函数 80 <br/>5.7 动手实践 82 <br/>5.7.1 使用逻辑斯蒂回归 82 <br/>5.7.2 观察分类边界 83 <br/>5.7.3 使用支持向量机 85 <br/>参考文献 87 <br/>第二部分 <br/>第 6 章 人工神经网络 90 <br/>6.1 异或问题和多层感知机 90 <br/>6.2 反向传播算法 92 <br/>6.3 深度神经网络 94 <br/>6.3.1 生物神经机制的启示 94 <br/>6.3.2 解决深度神经网络面临的问题 95 <br/>6.4 卷积和池化 98 <br/>6.4.1 神经连接的局部性 98 <br/>6.4.2 平移不变性 99 <br/>6.4.3 卷积处理图像的效果 99 <br/>6.4.4 简单细胞和复杂细胞的仿生学 102 <br/>6.5 循环神经网络 103 <br/>6.6 使用 PyTorch 软件包 104 <br/>6.7 动手实践 106 <br/>6.7.1 识别手写数字 106<br/>6.7.2 准备训练数据 109 <br/>6.7.3 训练神经网络模型 110 <br/>6.8 物体检测 113 <br/>6.8.1 YOLO 模型 114 <br/>6.8.2 YOLO 模型的损失函数 115 <br/>6.8.3 缩微 YOLO 模型的网络结构 116 <br/>6.8.4 实现缩微 YOLO 模型 118 <br/>6.8.5 加载模型权值数据 123 <br/>6.8.6 处理真实图像 125 <br/>6.8.7 观察物体检测结果 128 <br/>参考文献 129 <br/>第 7 章 集成学习 131 <br/>7.1 随机森林 131 <br/>7.2 自适应增强算法AdaBoost 133 <br/>7.2.1 弱分类器的迭代组合 134 <br/>7.2.2 AdaBoost 算法的正确性 136 <br/>7.3 梯度提升算法 139 <br/>7.3.1 回顾梯度下降法 139 <br/>7.3.2 梯度提升算法的一般描述 140 <br/>7.3.3 均方误差的梯度提升算法 142 <br/>7.4 偏差和方差 143 <br/>7.5 动手实践 146 <br/>7.5.1 使用 pandas 软件包处理数据 146 <br/>7.5.2 使用集成学习算法 149 <br/>参考文献 152 <br/>第 8 章 聚类分析 153 <br/>8.1 有监督学习和无监督学习 153 <br/>8.2 K 均值聚类 154 <br/>8.3 距离的度量 156 <br/>8.4 期望最大化算法 157 <br/>8.5 高斯混合模型 158 <br/>8.6 DBSCAN 算法 160 <br/>8.7 SOM 神经网络 162 <br/>8.8 动手实践 164 <br/>8.8.1 实现 K 均值聚类算法 164 <br/>8.8.2 图像色彩聚类 166 <br/>8.8.3 使用 scikit-learn软件包 167 <br/>参考文献 168 <br/>第 9 章 强化学习 169 <br/>9.1 马尔可夫决策过程 169<br/>9.2 值函数 171 <br/>9.3 蒙特卡洛法 173 <br/>9.4 时间差分法 175 <br/>9.5 深度值网络 DQN 177 <br/>9.6 动手实践 178 <br/>9.6.1 扫地机器人示例 179 <br/>9.6.2 描述机器人与环境的交互 179 <br/>9.6.3 实现值函数的神经网络模型 183 <br/>9.6.4 实现回放记忆 184 <br/>9.6.5 实现基于时间差分法的训练过程 185 <br/>9.6.6 扫地机器人对房间的探索过程 189 <br/>参考文献 190 <br/>第 10 章 自然语言处理 191 <br/>10.1 隐马尔可夫模型 192 <br/>10.2 维特比算法 194 <br/>10.3 词向量的表示方法 195 <br/>10.3.1 独热表示 196 <br/>10.3.2 词嵌入 196 <br/>10.3.3 统计语言模型 197 <br/>10.4 循环神经网络 199 <br/>10.4.1 长短期记忆和门控循环单元 200 <br/>10.4.2 编码器–解码器模型 202 <br/>10.4.3 注意力机制 203 <br/>10.5 动手实践 206 <br/>10.5.1 英文人名翻译 206 <br/>10.5.2 实现编码器和解码器 206 <br/>10.5.3 人名翻译实验结果 209 <br/>参考文献 212