机器学习：工程师和科学家的第一本书

在连贯的统计框架中，本书涵盖了一系列有监督的机器学习方法，包括基础方法（k-NN、决策树、线性和逻辑回归等）和高级方法（深度神经网络、支持向量机、高斯过程、随机森林和提升等），以及常用的无监督方法（生成模型、k-均值聚类、自动编码器、主成分分析和生成对抗网络等）。所有方法都包含详细的解释和伪代码。通过在方法之间建立联系，讨论一般概念（例如损失函数、zuida似然、偏差-方差分解、核和贝叶斯方法），同时介绍常规的实用工具（例如正则化、交叉验证、评估指标和优化方法），本书始终将关注点放在基础知识上。最后两章为解决现实世界中有监督的机器学习问题和现代机器学习的伦理问题提供了实用建议。

安德里亚斯·林霍尔姆（Andreas Lindholm） 瑞典Annotell公司机器学习研究工程师，致力于解决自动驾驶的数据注释和数据质量问题。2013年获得林雪平大学理学硕士学位，2018年获得乌普萨拉大学信息技术方向博士学位。<br /><br />尼克拉斯·瓦尔斯特伦（Niklas Wahlstr?m） 乌普萨拉大学系统与控制系助理教授。2010年获得林雪平大学理学硕士学位，2015年获得林雪平大学自动控制方向博士学位。<br /><br />弗雷德里克·林斯滕（Fredrik Lindsten） 林雪平大学统计与机器学习系副教授。2013年获得林雪平大学自动控制方向博士学位。他曾获得瑞典战略研究基金会颁发的Ingvar Carlsson奖和乌普萨拉皇家科学学会颁发的Benzelius奖。<br /><br />托马斯·B. 舍恩（Thomas B. Sch?n） 乌普萨拉大学人工智能方向教授。2018年当选瑞典皇家工程科学院和乌普萨拉皇家科学学会院士。他曾获得瑞典皇家科学院颁发的Tage Erlander奖和Arnberg奖。他是ELLIS协会会士。

目　　录<br />Machine Learning: A First Course for Engineers and Scientists<br /><br />译者序<br />致谢<br />符号表<br />第1章?引?言1<br />1.1?机器学习的示例1<br />1.2?关于本书8<br />1.3?拓展阅读9<br />第2章?有监督学习：第一个方法10<br />2.1?有监督机器学习10<br />2.1.1　从有标记的数据中学习10<br />2.1.2　数值型和分类型变量11<br />2.1.3　分类和回归11<br />2.1.4　在训练数据之外进行泛化14<br />2.2　一个基于距离的方法：k-NN14<br />2.2.1　k-NN算法14<br />2.2.2　分类器的决策边界16<br />2.2.3　k的选择17<br />2.2.4　输入标准化19<br />2.3　一种基于规则的方法：决策树20<br />2.3.1　学习回归树21<br />2.3.2　分类树24<br />2.3.3　决策树应该多深？27<br />2.4　拓展阅读29<br />第3章?基本参数模型和统计<br />视角上的学习30<br />3.1?线性回归30<br />3.1.1　线性回归模型30<br />3.1.2　用训练数据训练线性<br />回归模型31<br />3.1.3　损失函数和代价函数32<br />3.1.4　最小二乘法和正规方程33<br />3.1.5　最大似然视角35<br />3.1.6　分类型输入变量36<br />3.2　分类和逻辑回归36<br />3.2.1　从统计角度看分类问题36<br />3.2.2　二元分类的逻辑回归模型38<br />3.2.3　通过最大似然法训练逻辑<br />回归模型39<br />3.2.4　预测和决策边界40<br />3.2.5　两类以上的逻辑回归42<br />3.3　多项式回归和正则化44<br />3.4　广义线性模型46<br />3.5?拓展阅读48<br />3.A　正规方程的推导49<br />3.A.1　微积分方法49<br />3.A.2　线性代数方法49<br />第4章?理解、评估和提高性能51<br />4.1　预期的新数据错误：实际<br />生产环境中的性能51<br />4.2　估计53<br />4.2.1　：我们无法从<br />训练数据中估计53<br />4.2.2　：我们可以从<br />保留的验证数据中估计54<br />4.2.3　k-fold 交叉验证：<br />无须设置保留验证数据55<br />4.2.4　使用测试数据集57<br />4.3　的训练误差：泛化差距分解57<br />4.3.1　什么影响泛化差距？58<br />4.3.2　在实际应用中降低61<br />4.3.3　模型复杂度的缺陷62<br />4.4　的偏差-方差分解63<br />4.4.1　什么影响偏差和方差？65<br />4.4.2　偏差、方差和泛化差距<br />之间的联系67<br />4.5　用于评估二元分类器的其他工具70<br />4.5.1　混淆矩阵和ROC曲线70<br />4.5.2　分数和精确率-召回率<br />曲线72<br />4.6　拓展阅读73<br />第5章?学习参数模型75<br />5.1 　参数化建模原则75<br />5.1.1　非线性参数函数75<br />5.1.2　损失最小化作为泛化替代77<br />5.2 　损失函数和基于似然的模型78<br />5.2.1　回归中的损失函数79<br />5.2.2　二元分类中的损失函数80<br />5.2.3　多类分类83<br />5.2.4　基于似然的模型和最大似然<br />方法83<br />5.2.5　严格正确的损失函数和渐近<br />最小化器85<br />5.3 　正则化88<br />5.3.1　正则化88<br />5.3.2　正则化89<br />5.3.3　一般显式正则化90<br />5.3.4　隐式正则化90<br />5.4 　参数优化90<br />5.4.1　闭式解优化92<br />5.4.2　梯度下降93<br />5.4.3　二阶梯度法96<br />5.5 　大型数据集优化100<br />5.5.1　随机梯度下降100<br />5.5.2　随机梯度下降的学习率和<br />收敛度101<br />5.5.3　随机二阶梯度法103<br />5.5.4　自适应方法103<br />5.6 　超参数优化103<br />5.7 　拓展阅读105<br />第6章?神经网络和深度学习106<br />6.1　神经网络模型106<br />6.1.1　广义线性回归106<br />6.1.2　双层神经网络107<br />6.1.3　单元向量化108<br />6.1.4　深度神经网络109<br />6.1.5　数据点向量化110<br />6.1.6　用于分类的神经网络111<br />6.2　训练神经网络112<br />6.2.1　反向传播113<br />6.2.2　初始化117<br />6.3　卷积神经网络118<br />6.3.1　图像的数据表示118<br />6.3.2　卷积层119<br />6.3.3　稀疏相互作用119<br />6.3.4　参数共享120<br />6.3.5　卷积层和步幅120<br />6.3.6　池化层121<br />6.3.7　多通道122<br />6.3.8　完整的CNN架构123<br />6.4　dropout124<br />6.4.1　子网络集成125<br />6.4.2　通过dropout训练125<br />6.4.3　测试时的预测126<br />6.4.4　dropout和bagging126<br />6.4.5　将dropout作为正则化方法127<br />6.5　拓展阅读127<br />6.A　反向传播方程的推导128<br />第7章?集成方法：bagging和<br />提升方法129<br />7.1 　bagging方法129<br />7.1.1　自举法131<br />7.1.2　通过取平均值降低方差132<br />7.1.3　包外误差估计135<br />7.2　随机森林136<br />7.3　提升方法和AdaBoost138<br />7.3.1　AdaBoost140<br />7.3.2　AdaBoost的设计选择145<br />7.4　梯度提升方法145<br />7.5　拓展阅读149<br />第8章?非线性输入变换和核151<br />8.1　通过非线性输入变换创造特征151<br />8.2　核岭回归153<br />8.2.1　对线性回归的重构153<br />8.2.2　核的主要思想155<br />8.3　支持向量回归158<br />8.3.1　更多核方法的预备工作：<br />表示定理158<br />8.3.2　支持向量回归方法159<br />8.3.3　对于核函数在回归问题中<br />的应用的总结162<br />8.4　核理论162<br />8.4.1　核k-NN简介162<br />8.4.2　核函数的意义164<br />8.4.3　选择有效的核函数165<br />8.4.4　核函数的例子166<br />8.5　支持向量分类167<br />8.6　拓展阅读171<br />8.A　表示定理171<br />8.B　支持向量分类的推导172<br />第9章?贝叶斯方法和高斯过程174<br />9.1　贝叶斯思想174<br />9.1.1　对于信念的一种表示175<br />9.1.2　间隔似然在模型选择上<br />的应用176<br />9.2　贝叶斯线性回归176<br />9.2.1　多元高斯分布177<br />9.2.2　基于贝叶斯方法的<br />线性回归177<br />9.2.3　与正则化线性回归的关联181<br />9.3　高斯过程181<br />9.3.1　什么是高斯过程？182<br />9.3.2　将核岭回归扩展为<br />高斯过程186<br />9.3.3　函数的非参数分布188<br />9.3.4　对高斯过程采样190<br />9.4　高斯过程的实际应用191<br />9.4.1　选择核函数191<br />9.4.2　超参数的调参192<br />9.5　机器学习中的其他贝叶斯方法195<br />9.6　拓展阅读 195<br />9.A　多元高斯分布196<br />第10章?生成模型和无标记学习198<br />10.1　高斯混合模型和判别分析198<br />10.1.1　高斯混合模型199<br />10.1.2　高斯混合模型的有监督<br />学习200<br />10.1.3　预测新输入的输出标签：<br />判别分析201<br />10.1.4　高斯混合模型的半监督<br />学习203<br />10.2　聚类分析208<br />10.2.1　高斯混合模型的<br />无监督学习208<br />10.2.2　k-均值聚类212<br />10.2.3　选择集群的数量214<br />10.3　深层生成模型215<br />10.3.1　可逆的非高斯模型和<br />标准化流216<br />10.3.2　生成对抗网络218<br />10.4　表示学习和降维221<br />10.4.1　自动编码器221<br />10.4.2　主成分分析223<br />10.5　拓展阅读228<br />第11章?机器学习的用户视角229<br />11.1　定义机器学习问题229<br />11.1.1　训练、验证和测试数据229<br />11.1.2　验证和测试数据集的大小230<br />11.1.3　单一数字评估指标231<br />11.1.4　基线和可实现的性能水平231<br />11.2　改进机器学习模型232<br />11.2.1　由浅入深232<br />11.2.2　调试模型232<br />11.2.3　训练错误和泛化差距233<br />11.2.4　学习曲线234<br />11.2.5　误差分析235<br />11.2.6　训练和验证/测试数据<br />不匹配237<br />11.3　如果我们不能收集更多的<br />数据怎么办？238<br />11.3.1　用略有不同的数据扩展<br />训练数据238<br />11.3.2　数据增强239<br />11.3.3　迁移学习239<br />11.3.4　从未标记数据中学习240<br />11.4　实际数据问题241<br />11.4.1　异常值241<br />11.4.2　数据缺失241<br />11.4.3　特征选择242<br />11.5?可以相信机器学习模型吗？243<br />11.5.1　理解为什么要做出<br />某种预测243<br />11.5.2　最差情况保证243<br />11.6?拓展阅读244<br />第12章?机器学习中的伦理学245<br />12.1　公平和误差函数245<br />12.1.1　通过意识实现公平245<br />12.1.2　完全公平在数学上是<br />不可能的246<br />12.2　关于性能的误导性声明248<br />12.2.1　刑事判决249<br />12.2.2　以一种可理解的方式<br />解释模型250<br />12.2.3　剑桥分析公司的例子252<br />12.2.4　医学成像253<br />12.3　训练数据的局限性254<br />12.4　拓展阅读257<br />参考文献258<br />