数据挖掘与机器学习:基础概念和算法（原书第2版）

本书详实介绍了数据挖掘与机器学习相关的各种内容，包括数据矩阵、图数据、核方法、项集挖掘、聚类、贝叶斯分类器、决策树、支持向量机、线性回归、逻辑回归、神经网络、深度学习等，介绍其相关概念和基础算法，并在每章的末尾配有相关练习。第二版新增了几个关于回归的章节，包括神经网络和深度学习的内容。

目　　录<br />Data Mining and Machine Learning<br />译者序<br />前言<br />作者简介<br />第一部分　数据分析基础　1<br />第1章　数据矩阵　3<br />1.1　数据矩阵的组成　3<br />1.2　属性　4<br />1.3　数据：代数和几何观点　5<br />1.3.1　距离和角度　7<br />1.3.2　均值和总方差　9<br />1.3.3　正交投影　10<br />1.3.4　线性无关和维数　12<br />1.4　数据：概率观点　13<br />1.4.1　二元随机变量　17<br />1.4.2　多元随机变量　20<br />1.4.3　随机抽样与统计　21<br />1.5　拓展阅读　22<br />1.6　练习　23<br />第2章　数值型属性　24<br />2.1　一元分析　24<br />2.1.1　集中趋势度量　25<br />2.1.2　离散度度量　28<br />2.2　二元分析　32<br />2.2.1　位置和离散度的度量　33<br />2.2.2　相关性度量　33<br />2.3　多元分析　37<br />2.4　数据归一化　41<br />2.5　正态分布　42<br />2.5.1　一元正态分布　43<br />2.5.2　多元正态分布　44<br />2.6　拓展阅读　47<br />2.7　练习　47<br />第3章　类别型属性　49<br />3.1　一元分析　49<br />3.1.1　伯努利变量　49<br />3.1.2　多元伯努利变量　51<br />3.2　二元分析　56<br />3.3　多元分析　65<br />3.4　距离和角度　69<br />3.5　离散化　70<br />3.6　拓展阅读　72<br />3.7　练习　72<br />第4章　图数据　74<br />4.1　图的概念　74<br />4.2　拓扑属性　77<br />4.3　中心度分析　81<br />4.3.1　基本中心度　81<br />4.3.2　Web中心度　82<br />4.4　图模型　89<br />4.4.1　Erd?s-Rényi随机图模型　91<br />4.4.2　Watts-Strogatz小世界图<br />模型　94<br />4.4.3　Barabási-Albert无标度模型　98<br />4.5　拓展阅读　104<br />4.6　练习　105<br />第5章　核方法　107<br />5.1　核矩阵　110<br />5.1.1　再生核映射　111<br />5.1.2　Mercer核映射　113<br />5.2　向量核　115<br />5.3　特征空间中的基本核运算　119<br />5.4　复杂对象的核　124<br />5.4.1　字符串的谱核　124<br />5.4.2　图节点的扩散核　125<br />5.5　拓展阅读　129<br />5.6　练习　129<br />第6章　高维数据　130<br />6.1　高维对象　130<br />6.2　高维体积　133<br />6.3　超立方体的内接超球面　135<br />6.4　薄超球面壳的体积　136<br />6.5　超空间的对角线　137<br />6.6　多元正态分布的密度　138<br />6.7　附录：超球面体积的推导　140<br />6.8　拓展阅读　143<br />6.9　练习　144<br />第7章　降维　146<br />7.1　背景介绍　146<br />7.2　主成分分析　149<br />7.2.1　最优一维近似　149<br />7.2.2　最优二维近似　152<br />7.2.3　最优r维近似　155<br />7.2.4　主成分分析的几何意义　158<br />7.3　核主成分分析　160<br />7.4　奇异值分解　166<br />7.4.1　奇异值分解中的几何<br />意义　167<br />7.4.2　SVD和PCA之间的<br />联系　168<br />7.5　拓展阅读　169<br />7.6　练习　169<br />第二部分　频繁模式挖掘　171<br />第8章　项集挖掘　173<br />8.1　频繁项集和关联规则　173<br />8.2　项集挖掘算法　176<br />8.2.1　逐层方法：Apriori算法　177<br />8.2.2　事务标识符集的交集方法：<br />Eclat算法　181<br />8.2.3　频繁模式树方法：FPGrowth<br />算法　184<br />8.3　生成关联规则　188<br />8.4　拓展阅读　189<br />8.5　练习　190<br />第9章　项集概览　194<br />9.1　最大频繁项集和闭频繁项集　194<br />9.2　挖掘最大频繁项集：GenMax<br />算法　196<br />9.3　挖掘闭频繁项集：Charm算法　198<br />9.4　非可导项集　200<br />9.5　拓展阅读　205<br />9.6　练习　205<br />第10章　序列挖掘　208<br />10.1　频繁序列　208<br />10.2　挖掘频繁序列　209<br />10.2.1　逐层挖掘：GSP　209<br />10.2.2　垂直序列挖掘：Spade　211<br />10.2.3　基于投影的序列挖掘：<br />PrefixSpan　212<br />10.3　基于后缀树的子串挖掘　214<br />10.3.1　后缀树　214<br />10.3.2　Ukkonen线性时间复杂度<br />算法　217<br />10.4　拓展阅读　222<br />10.5　练习　223<br />第11章　图模式挖掘　226<br />11.1　同构与支持度　226<br />11.2　候选图生成　229<br />11.3　gSpan算法　232<br />11.3.1　扩展和支持度计算　233<br />11.3.2　权威性检测　238<br />11.4　拓展阅读　239<br />11.5　练习　239<br />第12章　模式评估与规则评估　242<br />12.1　模式评估和规则评估的度量　242<br />12.1.1　规则评估度量　242<br />12.1.2　模式评估度量　249<br />12.1.3　比较多条规则和模式　251<br />12.2　显著性检验和置信区间　253<br />12.2.1　产生式规则的费希尔<br />精确检验　254<br />12.2.2　显著性的置换检验　257<br />12.2.3　置信区间内的自助抽样　261<br />12.3　拓展阅读　262<br />12.4　练习　263<br />第三部分　聚类　265<br />第13章　基于代表点的聚类　267<br />13.1　K-means算法　267<br />13.2　核K-means　271<br />13.3　期望最大化聚类　274<br />13.3.1　一维数据的EM　276<br />13.3.2　d维数据的EM　278<br />13.3.3　最大似然估计　283<br />13.3.4　EM算法　286<br />13.4　拓展阅读　289<br />13.5　练习　290<br />第 14 章　层次式聚类　292<br />14.1　基础知识　292<br />14.2　聚合型层次式聚类　294<br />14.2.1　簇间距离　294<br />14.2.2　更新距离矩阵　297<br />14.2.3　计算复杂度　298<br />14.3　拓展阅读　298<br />14.4　练习　298<br />第15章　基于密度的聚类　301<br />15.1　DBSCAN算法　301<br />15.2　核密度估计　304<br />15.2.1　一元密度估计　304<br />15.2.2　多元密度估计　307<br />15.2.3　最近邻密度估计　308<br />15.3　基于密度的聚类：DENCLUE　309<br />15.4　拓展阅读　313<br />15.5　练习　314<br />第16章　谱聚类和图聚类　316<br />16.1　图和矩阵　316<br />16.2　基于图割的聚类　322<br />16.2.1　聚类目标函数：比例割<br />和归一割　323<br />16.2.2　谱聚类算法　325<br />16.2.3　最大化目标函数：平均割<br />和模块度　328<br />16.3　马尔可夫聚类　334<br />16.4　拓展阅读　339<br />16.5　练习　340<br />第17章　聚类验证　342<br />17.1　外部验证度量　342<br />17.1.1　基于匹配的度量　343<br />17.1.2　基于熵的度量　346<br />17.1.3　成对度量　349<br />17.1.4　关联度量　352<br />17.2　内部验证度量　354<br />17.3　相对验证度量　361<br />17.3.1　簇稳定性　366<br />17.3.2　聚类趋向性　368<br />17.4　拓展阅读　372<br />17.5　练习　373<br />第四部分　分类　375<br />第18章　基于概率的分类　377<br />18.1　贝叶斯分类器　377<br />18.1.1　估计先验概率　377<br />18.1.2　估计似然值　378<br />18.2　朴素贝叶斯分类器　382<br />18.3　K最近邻分类器　385<br />18.4　拓展阅读　387<br />18.5　练习　387<br />第19章　决策树分类器　389<br />19.1　决策树　390<br />19.2　决策树算法　392<br />19.2.1　分割点评估度量　393<br />19.2.2　评估分割点　394<br />19.2.3　计算复杂度　401<br />19.3　拓展阅读　401<br />19.4　练习　401<br />第20章　线性判别分析　403<br />20.1　最佳线性判别　403<br />20.2　核判别分析　408<br />20.3　拓展阅读　413<br />20.4　练习　414<br />第21章　支持向量机　415<br />21.1　支持向量和间隔　415<br />21.2　SVM：线性可分的情况　419<br />21.3　软间隔SVM：线性不可分<br />的情况　423<br />21.3.1　铰链误损　424<br />21.3.2　二次误损　427<br />21.4　核SVM：非线性情况　428<br />21.5　SVM训练算法：随机梯度上升　431<br />21.6　拓展阅读　436<br />21.7　练习　436<br />第22章　分类评估　438<br />22.1　分类性能度量　438<br />22.1.1　基于列联表的度量　439<br />22.1.2　二元分类：正类和负类　441<br />22.1.3　ROC分析　444<br />22.2　分类器评估　448<br />22.2.1　K折交叉验证　449<br />22.2.2　自助抽样　450<br />22.2.3　置信区间　451<br />22.2.4　分类器比较：配对t检验　455<br />22.3　偏差–方差分解　457<br />22.4　合成分类器　460<br />22.4.1　装袋法　460<br />22.4.2　随机森林：装袋决策树　461<br />22.4.3　boosting　463<br />22.4.4　堆栈法　467<br />22.5　拓展阅读　468<br />22.6　练习　469<br />第五部分　回归　471<br />第23章　线性回归　473<br />23.1　线性回归模型　473<br />23.2　二元回归　474<br />23.3　多元回归　479<br />23.3.1　多元回归的几何结构　481<br />23.3.2　多元回归算法　483<br />23.3.3　多元回归分析：随机梯度<br />下降　486<br />23.4　岭回归　487<br />23.5　核回归　490<br />23.6　L1回归：套索回归　494<br />23.6.1　次梯度和次微分　495<br />23.6.2　二元L1回归　495<br />23.6.3　多元L1回归　496<br />23.7　拓展阅读　498<br />23.8　练习　499<br />第24章　逻辑回归　500<br />24.1　二元逻辑回归　500<br />24.2　多元逻辑回归　506<br />24.3　拓展阅读　510<br />24.4　练习　510<br />第25章　神经网络　511<br />25.1　人工神经元：激活函数　511<br />25.2　神经网络：回归函数和分类<br />函数　515<br />25.2.1　回归函数　515<br />25.2.2　分类函数　516<br />25.2.3　误差函数　518<br />25.3　多层感知器：一个隐藏层　519<br />25.3.1　前馈阶段　520<br />25.3.2　反向传播阶段　521<br />25.3.3　MLP训练　525<br />25.4　深度多层感知器　529<br />25.4.1　前馈阶段　530<br />25.4.2　反向传播阶段　531<br />25.4.3　输出层的净梯度　531<br />25.4.4　隐藏层的净梯度　534<br />25.4.5　深度MLP训练　534<br />25.5　拓展阅读　537<br />25.6　练习　537<br />第26章　深度学习　539<br />26.1　循环神经网络　539<br />26.1.1　时间上的前馈　541<br />26.1.2　时间上的反向传播　541<br />26.1.3　训练RNN　544<br />26.1.4　双向RNN　546<br />26.2　门控RNN：长–短期记忆<br />网络　547<br />26.2.1　遗忘门　549<br />26.2.2　长–短期记忆网络　552<br />26.2.3　训练LSTM网络　553<br />26.3　卷积神经网络　556<br />26.3.1　卷积　556<br />26.3.2　偏差和激活函数　562<br />26.3.3　填充和步幅　563<br />26.3.4　广义聚合函数：池化　565<br />26.3.5　深度CNN　566<br />26.3.6　训练CNN　566<br />26.4　正则化　571<br />26.4.1　深度学习的L2正则化　572<br />26.4.2　丢弃正则化　574<br />26.5　拓展阅读　576<br />26.6　练习　576<br />第27章　回归评估　578<br />27.1　一元回归　578<br />27.1.1　估计方差　579<br />27.1.2　拟合优度　580<br />27.1.3　回归系数和偏差项<br />的推断　583<br />27.1.4　回归效果的假设检验　587<br />27.1.5　标准化残差　588<br />27.2　多元回归　591<br />27.2.1　拟合优度　593<br />27.2.2　回归系数推断　596<br />27.2.3　假设检验　598<br />27.2.4　统计检验的几何学方法　601<br />27.3　拓展阅读　604<br />27.4　练习　604