机器学习原理与实践(Python版)/人工智能科学与技术丛书

本书全面、系统地介绍 了机器学习领域中的经典方 法，并兼顾算法原理与实践 运用。本书具体内容涉及回 归分析（线性回归、多项式 回归、非线性回归、岭回归 、LASSO、弹性网络以及 RANSAC等）、分类（感知 机、逻辑回归、朴素贝叶斯 、决策树、支持向量机、人 工神经网络等）、聚类（k 均值、EM算法、密度聚类 、层次聚类以及谱聚类等） 、集成学习（随机森林、 AdaBoost、梯度提升等）、 蒙特卡洛采样（拒绝采样、 自适应拒绝采样、重要性采 样、吉布斯采样和马尔科夫 链蒙特卡洛等）、降维与流 形学习（SVD、PCA和MDS 等），以及概率图模型（例 如，贝叶斯网络和隐马尔科 夫模型）等话题。 本书是机器学习及相关 课程的教学参考书，可供高 等院校人工智能、机器学习 或数据挖掘等相关专业的师 生使用，也可供从事计算机 应用，特别是数据科学相关 专业的研发人员参考。

左飞，技术作家、译者。著作涉及图像处理、编程语言和移动通信等多个领域，并翻译出版了计算机领域的经典之作《编码》，及Jolt震撼大奖获奖作品《代码阅读》和《代码质量》等多部图书。在数据分析、信息安全和图像处理领域也有较深研究，在国际会议与核心学术期刊上发布论文多篇，并申请国家发明专利一项，多部相关著作再版多次、广受好评。现在的研究兴趣主要集中在图像处理、机器学习、数据分析技术和空间数据库算法等领域。

第1章 机器学习初探 1.1 初识机器学习 1.1.1 从小蝌蚪找妈妈谈起 1.1.2 机器学习的主要任务 1.2 工欲善其事，必先利其器 1.2.1 scikit-learn 1.2.2 NumPy 1.2.3 SciPy 1.2.4 Matplotlib 1.2.5 Pandas 1.3 最简单的机器学习模型 1.3.1 贝叶斯公式与边缘分布 1.3.2 先验概率与后验概率 1.3.3 朴素贝叶斯分类器原理 1.4 泰坦尼克之灾 1.4.1 认识问题及数据 1.4.2 数据预处理 1.4.3 特征筛选 1.4.4 分类器的构建 1.4.5 分类器的评估 第2章 一元线性回归 2.1 回归分析的性质 2.2 回归的基本概念 2.2.1 总体的回归函数 2.2.2 随机干扰的意义 2.2.3 样本的回归函数 2.3 回归模型的估计 2.3.1 普通最小二乘法原理 2.3.2 一元线性回归的应用 2.3.3 经典模型的基本假定 2.3.4 总体方差的无偏估计 2.3.5 估计参数的概率分布 2.4 正态条件下的模型检验 2.4.1 拟合优度的检验 2.4.2 整体性假定检验 2.4.3 单个参数的检验 2.5 一元线性回归模型预测 2.5.1 点预测 2.5.2 区间预测 第3章 多元线性回归 3.1 多元线性回归模型 3.2 多元回归模型估计 3.2.1 最小二乘估计量 3.2.2 多元回归的实例 3.2.3 总体参数估计量 3.3 从线代角度理解最小二乘 3.3.1 最小二乘问题的通解 3.3.2 最小二乘问题的计算 3.4 多元回归模型检验 3.4.1 线性回归的显著性 3.4.2 回归系数的显著性 3.5 多元线性回归模型预测 3.6 格兰杰因果关系检验 第4章 线性回归进阶 4.1 更多回归模型函数形式 4.1.1 双对数模型以及生产函数 4.1.2 倒数模型与菲利普斯曲线 4.1.3 多项式回归模型及其分析 4.2 回归模型的评估与选择 4.2.1 嵌套模型选择 4.2.2 赤池信息准则 4.3 现代回归方法的新进展 4.3.1 多重共线性 4.3.2 从岭回归到LASSO 4.3.3 正则化与没有免费午餐原理 4.3.4 弹性网络 4.3.5 RANSAC 第5章 逻辑回归与最大熵模型 5.1 逻辑回归 5.2 牛顿法解逻辑回归 5.3 应用实例： 二分类问题 5.3.1 数据初探 5.3.2 建模 5.4 多元逻辑回归 5.5 最大熵模型 5.5.1 最大熵原理 5.5.2 约束条件 5.5.3 模型推导 5.5.4 极大似然估计 5.6 应用实例： 多分类问题 5.6.1 数据初探 5.6.2 建模 第6章 神经网络 6.1 从感知机开始 6.1.1 感知机模型 6.1.2 感知机学习 6.1.3 多层感知机 6.1.4 感知机应用示例 6.2 基本神经网络 6.2.1 神经网络结构 6.2.2 符号标记说明 6.2.3 后向传播算法 6.3 神经网络实践 6.3.1 建模 6.3.2 Softmax与神经网络 第7章 支持向量机 7.1 线性可分的支持向量机 7.1.1 函数距离与几何距离 7.1.2 最大间隔分类器 7.1.3 拉格朗日乘数法 7.1.4 对偶问题的求解 7.2 松弛因子与软间隔模型 7.3 非线性支持向量机方法 7.3.1 从更高维度上分类 7.3.2 非线性核函数方法 7.3.3 机器学习中的核方法 7.3.4 默瑟定理 7.4 对数据进行分类的实践 7.4.1 数据分析 7.4.2 线性可分的例子 7.4.3 线性不可分的例子 第8章 k近邻算法 8.1 距离度量 8.2 k近邻模型 8.2.1 分类 8.2.2 回归 8.3 在Python中应用k近邻算法 8.4 k近邻搜索的实现 8.4.1 构建k-d-tree 8.4.2 区域搜索 8.4.3 最近邻搜索 第9章 决策树 9.1 决策树基础 9.1.1 Hunt算法 9.1.2 基尼测度与划分 9.1.3 信息熵与信息增益 9.1.4 分类误差 9.2 决策树进阶 9.2.1 ID3算法 9.2.2 C4.5算法 9.3 分类回归树 9.4 决策树剪枝 9.5 决策树应用实例 第10章 集成学习 10.1 集成学习的理论基础 10.2 Bootstrap方法 10.3 Bagging与随机森林 10.3.1 算法原理 10.3.2 应用实例 10.4 Boosting与AdaBoost 10.4.1 算法原理 10.4.2 应用实例 10.5 梯度提升 10.5.1 梯度提升树与回归 10.5.2 梯度提升树与分类 10.5.3 梯度提升树的原理推导 第11章 聚类分析 11.1 聚类的概念 11.2 k均值算法 11.2.1 算法描述 11.2.2 应用实例——图像的色彩量化 11.3 最大期望算法 11.3.1 算法原理 11.3.2 收敛探讨 11.4 高斯混合模型 11.4.1 模型推导 11.4.2 应用实例 11.5 密度聚类 11.5.1 DBSCAN算法 11.5.2 应用实例 11.6 层次聚类 11.6.1 AGNES算法