梯度提升算法实战(基于XGBoost和scikit-learn)

XGBoost是一种经过行业 验证的开源软件库，为快速 高效地处理数十亿数据点提 供了梯度提升框架。首先， 本书在介绍机器学习和 XGBoost在scikit-learn中的 应用后，逐步深入梯度提升 背后的理论知识。读者将学 习决策树，并分析在机器学 习环境中的装袋技术，同时 学习拓展到XGBoost的超参 数；并将从零开始构建梯度 提升模型，将梯度提升扩展 到大数据领域，同时通过计 时器的使用了解速度限制。 接着，本书重点探讨 XGBoost的细节，着重于速 度提升和通过数学推导导出 参数。通过详细案例研究， 读者将练习使用scikit-learm 及原始的Python API构建和 微调XGBoost分类器与回归 器：并学习如何利用 XGBoost的超参数来提高评 分、纠正缺失值、缩放不平 衡数据集，并微调备选基学 习器。最后，读者将学习应 用高级XGBoost技术，如构 建非相关的集成模型、堆叠 模型，并使用稀疏矩阵、定 制转换器和管道为行业部署 准备模型。 本书适合作为高等学校 计算机专业、软件工程专业 的高年级本科生及研究生教 材，同时适合有一定机器学 习基础的数据科学家、机器 学习工程师和研究人员阅读 ，可为解决复杂的机器学习 问题提供实用指导。

第一部分 装袋和提升 第1章 机器学习概览 1.1 XGBoost概览 1.2 数据整理 1.2.1 数据集1：自行车租赁数据集 1.2.2 理解数据 1.2.3 纠正空值 1.3 回归预测 1.3.1 预测自行车租赁数量 1.3.2 保存数据以备将来使用 1.3.3 声明预测列和目标列 1.3.4 理解回归 1.3.5 访问scikit-learn 1.3.6 关闭警告信息 l.3.7 线性回归建模 1.3.8 XGBoost 1.3.9 XGBRegressoi 1.3.10 交叉验证 1.4 分类预测 1.4.1 什么是分类？ 1.4.2 数据集2：人口普查数据集 1.4.3 XGBoost分类器 1.5 总结 第2章 深入浅出决策树 2.1 介绍XGBoost决策树 2.2 探索决策树 2.2.1 第一个决策树模型 2.2.2 决策树内部结构 2.3 对比方差和偏差 2.4 调整决策树超参数 2.4.1 决策树回归器 2.4.2 一般超参数 2.4.3 综合微调超参数 2.5 实例：预测心脏病 2.5.1 心脏病数据集 2.5.2 决策树分类器 2.5.3 i鲞择超参数 2.5.4 缩小范围 2.5.5 feature_importances_ 2.6 总结 第3章 随机森林与装袋法 3.1 装袋集成 3.1.1 集成方法 3.1.2 自助聚合 3.2 探索随机森林 3.2.1 随机森林分类器 3.2.2 随机森林回归器 3.3 随机森林超参数 3.3.1 oob_score 3.3.2 n_estimators