《机器学习》习题参考

本书配套周志华教授所著的《机器学习》教材，通过大量习题考查读者对机器学习相关知识点的理解与掌握。全书分为两个部分：第一部分习题对应《机器学习》第1~10章的内容，包括绪论、模型评估与选择、线性模型、决策树、神经网络、支持向量机、贝叶斯分类器、集成学习、聚类、降维与度量学习；第二部分包含6章应用专题，通过综合题的形式对知识点进行多角度考查，包括线性模型的优化与复用、面向类别不平衡数据的分类、神经网络的优化与应用、EM算法及其应用、集成学习的过拟合现象研究、度量学习及其应用。书中包含简答题、计算题和编程题，涵盖不同难度级别，机器学习初学者可以通过这些习题深入了解和巩固教材的关键概念，对机器学习有一定基础的读者也可以通过习题发现对一些知识点不同角度的解读，为后续机器学习的深入研究打下基础.。 本书面向《机器学习》读者以及广大机器学习爱好者，可作为高等院校人工智能、计算机、自动化及相关专业的本科生或研究生的教学辅助书籍，也可供对机器学习感兴趣的研究人员和工程技术人员阅读参考。

叶翰嘉，现任南京大学人工智能学院准聘副教授，在南京大学机器学习与数据挖掘研究所（LAMDA）从事学术研究工作。主要的研究方向包括表示学习、元学习、模型复用等领域。叶翰嘉在机器学习等领域发表TPAMI、ICML等学术论文二十余篇；受邀担任SDM Tutorial/Doctoral Forum主席, ECML、IJCAI领域主席/高级程序委员会成员，CCF-AI执行委员；作为核心成员参与“新一代人工智能”重大项目，主持国家自然科学基金青年项目，CCF-百度松果基金项目，CCF-海康威视斑头雁基金项目，被评为华为“耀星学者”，获得CCF优秀博士学位论文奖、江苏省计算机学会青年科技奖。

目录 推荐序 前言 基础考评篇 第1章　绪论2 1.1　基本术语2 1.2　假设空间5 1.3　归纳偏好9 1.4　矩阵、优化和概率分布13 参考文献21 第2章　模型评估与选择23 2.1　经验误差与过拟合23 2.2　评估方法26 2.3　性能度量31 2.4　比较检验41 2.5　偏差与方差43 参考文献47 第3章　线性模型49 3.1　线性回归49 3.2　对数几率回归60 3.3　线性判别分析63 3.4　多分类学习74 参考文献78 第4章　决策树80 4.1　基本流程80 4.2　划分选择81 4.3　剪枝处理90 4.4　连续与缺失值93 4.5　多变量决策树100 参考文献105 第5章　神经网络106 5.1　感知机与多层网络106 5.2　误差逆传播算法112 5.3　全局最小与局部极小128 5.4　其他常见神经网络130 参考文献132 第6章　支持向量机134 6.1　间隔、支持向量与对偶问题134 6.2　软间隔与正则化142 6.3　核函数154 6.4　核方法158 参考文献160 第7章　贝叶斯分类器162 7.1　贝叶斯决策论162 7.2　极大似然估计166 7.3　朴素贝叶斯分类器179 7.4　贝叶斯网188 参考文献190 第8章　集成学习191 8.1　Boosting191 8.2　Bagging与随机森林201 8.3　结合策略207 8.4　多样性211 8.5　集成剪枝222 参考文献223 第9章　聚类225 9.1　距离计算225 9.2　k均值算法229 9.3　高斯混合聚类249 9.4　性能度量251 9.5　密度聚类与层次聚类254 参考文献262 第10章　降维与度量学习263 10.1　k近邻学习263 10.2　维数灾难265 10.3　主成分分析268 10.4　核化线性降维287 10.5　低维嵌入与流形学习288 10.6　度量学习291 参考文献295 综合应用篇 第11章　线性模型的优化与复用298 11.1　数据获取和预处理298 11.2　岭回归分类器的优化方法探究302 11.3　线性模型的参数选择314 11.4　线性模型的参数复用320 参考文献324 第12章　面向类别不平衡数据的分类326 12.1　类别不平衡现象与评价指标326 12.2　类别不平衡模型初探334 12.3　基于采样的“再缩放”方法340 12.4　类别不平衡问题的多分类扩展348 参考文献356 第13章　神经网络的优化与应用357 13.1　数值求导和自动求导357 13.2　神经网络优化实例362 13.3　BP算法的回顾与思考374 13.4　SOM神经网络377 参考文献385 第14章　EM算法及其应用387 14.1　数据中的隐变量387 14.2　EM算法的迭代优化视角391 14.3　EM算法的隐变量视角396 14.4　EM算法应用实例——缺失值处理398 参考文献413 第15章　集成学习的过拟合现象研究415 15.1　分布有偏移数据集的构造和划分415 15.2　机器学习中的过拟合现象418 15.3　AdaBoost的多分类算法实现425 15.4　AdaBoost是否会过拟合433 参考文献437 第16章　度量学习及其应用438 16.1　近邻分类器438 16.2　降维方法的评价444 16.3　度量学习448 16.4　度量学习的回顾与思考461 参考文献466