高维统计学：非渐近视角

近年来，在所有科学学科和工业环境中收集的数据量和种类都出现了爆炸式增长。如此庞大的数据集给统计和机器学习领域的研究人员带来了许多挑战。本书对高维统计学进行了详尽介绍，重点介绍核心方法论和理论，包括尾部界、集中不等式、一致律和经验过程以及随机矩阵。此外还深入探索了特定的模型类,包括稀疏线性模型、用秩约束矩阵模型、图模型和各种类型的非参数模型。书中提供了数百个工作示例和练习，既适合统计学相关课程使用，也适合统计学、机器学习和相关领域的研究生与研究人员自学。

本书赞誉<br />译者序<br />致谢<br /><br />第1章　简介1<br />　1.1　经典理论和高维理论1<br />　1.2　高维会产生什么问题2<br />　　1.2.1　线性判别分析2<br />　　1.2.2　协方差估计4<br />　　1.2.3　非参数回归6<br />　1.3　高维中什么能帮助我们8<br />　　1.3.1　向量的稀疏性8<br />　　1.3.2　协方差矩阵中的结构10<br />　　1.3.3　回归形式的结构11<br />　1.4　什么是非渐近的观点12<br />　1.5　全书概述13<br />　　1.5.1　各章内容13<br />　　1.5.2　阅读背景要求14<br />　　1.5.3　教学建议和流程图15<br />　1.6　参考文献和背景16<br />第2章　基本尾部概率界和集中不等式18<br />　2.1　经典的界18<br />　　2.1.1　从马尔可夫不等式到Chernoff界18<br />　　2.1.2　次高斯随机变量和Hoeffding界19<br />　　2.1.3　次指数随机变量和Bernstein界22<br />　　2.1.4　一些单边结果26<br />　2.2　基于鞅的方法28<br />　　2.2.1　背景28<br />　　2.2.2　鞅差序列的集中度界30<br />　2.3　高斯随机变量的Lipschitz函数35<br />　2.4　附录A：次高斯随机变量的等价性39<br />　2.5　附录B：次指数随机变量的等价性42<br />　2.6　参考文献和背景43<br />　2.7　习题44<br />第3章　测度集中度51<br />　3.1　基于熵技巧的集中度51<br />　　3.1.1　熵及其相关性质51<br />　　3.1.2　Herbst方法及其延伸52<br />　　3.1.3　可分凸函数和熵方法54<br />　　3.1.4　张量化和可分凸函数56<br />　3.2　集中度的几何观点58<br />　　3.2.1　集中度函数59<br />　　3.2.2　与Lipschitz函数的联系60<br />　　3.2.3　从几何到集中度63<br />　3.3　Wasserstein距离和信息不等式66<br />　　3.3.1　Wasserstein距离66<br />　　3.3.2　传输成本和集中不等式67<br />　　3.3.3　传输成本的张量化70<br />　　3.3.4　马尔可夫链的传输成本不等式71<br />　　3.3.5　非对称耦合成本72<br />　3.4　经验过程的尾部概率界75<br />　　3.4.1　一个泛函Hoeffding不等式75<br />　　3.4.2　一个泛函Bernstein不等式77<br />　3.5　参考文献和背景79<br />　3.6　习题80<br />第4章　一致大数定律85<br />　4.1　动机85<br />　　4.1.1　累积分布函数的一致收敛85<br />　　4.1.2　更一般函数类的一致定律87<br />　4.2　基于Rademacher复杂度的一致定律90<br />　4.3　Rademacher复杂度的上界94<br />　　4.3.1　多项式识别的函数类94<br />　　4.3.2　Vapnik-Chervonenkis维数96<br />　　4.3.3　VC维数的控制99<br />　4.4　参考文献和背景100<br />　4.5　习题101<br />第5章　度量熵及其用途104<br />　5.1　覆盖和填装104<br />　5.2　高斯复杂度和Rademacher复杂度113<br />　5.3　度量熵和次高斯过程115<br />　　5.3.1　一步离散化的上确界116<br />　　5.3.2　离散化界的例子117<br />　　5.3.3　链方法和Dudley熵积分119<br />　5.4　一些高斯比较不等式123<br />　　5.4.1　一般的比较不等式结果123<br />　　5.4.2　Slepian和Sudakov-Fernique不等式125<br />　　5.4.3　高斯收缩不等式126<br />　5.5　Sudakov下界127<br />　5.6　链方法和Orlicz过程128<br />　5.7　参考文献和背景131<br />　5.8　习题132<br />第6章　随机矩阵和协方差估计136<br />　6.1　预备知识136<br />　　6.1.1　符号和基本结果136<br />　　6.1.2　协方差矩阵估计问题137<br />　6.2　Wishart矩阵及其性质138<br />　6.3　次高斯总体的协方差矩阵141<br />　6.4　一般矩阵的界144<br />　　6.4.1　矩阵分析背景知识144<br />　　6.4.2　矩阵的尾部条件145<br />　　6.4.3　矩阵Chernoff方法和独立分解147<br />　　6.4.4　随机矩阵的上尾部概率界149<br />　　6.4.5　协方差矩阵的结果153<br />　6.5　带结构的协方差矩阵的界154<br />　　6.5.1　未知稀疏与截断155<br />　　6.5.2　渐近稀疏157<br />　6.6　附录：定理6.1的证明159<br />　6.7　参考文献和背景161<br />　6.8　习题162<br />第7章　高维情形下的稀疏线性模型167<br />　7.1　问题及应用167<br />　　7.1.1　不同的稀疏模型167<br />　　7.1.2　稀疏线性模型的应用168<br />　7.2　无噪情形下的还原171<br />　　7.2.1　1松弛172<br />　　7.2.2　精确还原和限制零空间172<br />　　7.2.3　限制零空间的充分条件174<br />　7.3　有噪情形下的估计178<br />　　7.3.1　受限特征值条件178<br />　　7.3.2　严格稀疏模型下的2误差界180<br />　　7.3.3　随机设计矩阵的受限零空间和特征值183<br />　7.4　预测误差的界186<br />　7.5　变量或子集选择188<br />　　7.5.1　Lasso的变量选择相合性188<br />　　7.5.2　定理7.21的证明191<br />　7.6　附录:定理7.16的证明193<br />　7.7　参考文献和背景195<br />　7.8　习题197<br />第8章　高维下的主成分分析204<br />　8.1　主成分和降维204<br />　　8.1.1　PCA的解释和应用205<br />　　8.1.2　特征值和特征空间的扰动208<br />　8.2　一般特征向量的界209<br />　　8.2.1　一个一般的确定性<br />结果209<br />　　8.2.2　一个穗状总体的结果211<br />　8.3　稀疏主成分分析214<br />　　8.3.1　一个一般的确定性<br />结果215<br />　　8.3.2　稀疏情况下穗状模型的结果217<br />　8.4　参考文献和背景220<br />　8.5　习题221<br />第9章　可分解性和受限强凸性224<br />　9.1　一般的正则化M估计224<br />　9.2　可分解正则项及其用途232<br />　　9.2.1　定义和一些例子232<br />　　9.2.2　可分解性的一个关键结果234<br />　9.3　受限曲率条件237<br />　9.4　一些一般定理241<br />　　9.4.1　受限强凸性下的结论241<br />　　9.4.2　Φ*曲率下界244<br />　9.5　稀疏向量回归的界246<br />　　9.5.1　稀疏的广义线性模型246<br />　　9.5.2　受限强凸性下的界247<br />　　9.5.3　在∞曲率条件下的界248<br />　9.6　组结构稀疏性的界249<br />　9.7　重叠可分解范数下的界252<br />　9.8　证明受限强凸性的方法256<br />　　9.8.1　Lipschitz损失函数和Rademacher复杂度257<br />　　9.8.2　通过截断获得的一个单边界261<br />　9.9　附录:星形性质264<br />　9.10　参考文献和背景264<br />　9.11　习题265<br />第10章　带秩约束的矩阵估计269<br />　10.1　矩阵回归及其应用269<br />　10.2　核范数正则化的分析273<br />　　10.2.1　可分解性与子空间273<br />　　10.2.2　受限强凸性与误差界275<br />　　10.2.3　算子范数曲率下的界276<br />　10.3　矩阵压缩感知277<br />　10.4　相位还原问题的界282<br />　10.5　低秩约束的多元回归284<br />　10.6　矩阵补全285<br />　10.7　加性矩阵分解291<br />　10.8　参考文献和背景295<br />　10.9　习题296<br />第11章　高维数据的图模型300<br />　11.1　基本概念300<br />　　11.1.1　因子分解300<br />　　11.1.2　条件独立性302<br />　　11.1.3　Hammersley-Clifford等价性303<br />　　11.1.4　图模型的估计304<br />　11.2　高斯图模型的估计304<br />　　11.2.1　图Lasso:1正则极大似然305<br />　　11.2.2　基于邻域的方法310<br />　11.3　指数形式的图模型315<br />　　11.3.1　一般形式的邻域回归316<br />　　11.3.2　Ising模型的图选择317<br />　11.4　带有腐蚀数据或隐变量的图318<br />　　11.4.1　带有腐蚀数据的高斯图估计318<br />　　11.4.2　带有隐变量的高斯图选择322<br />　11.5　参考文献和背景325<br />　11.6　习题327<br />第12章　再生核希尔伯特空间330<br />　12.1　希尔伯特空间的基本知识330<br />　12.2　再生核希尔伯特空间332<br />　　12.2.1　半正定核函数332<br />　　12.2.2　2(N)中的特征映射333<br />　　12.2.3　从一个核构造一个RKHS334<br />　　12.2.4　一个更加抽象的视角及更多例子336<br />　12.3　Mercer定理及其结果339<br />　12.4　再生核希尔伯特空间上的算子344<br />　　12.4.1　再生核的和344<br />　　12.4.2　张量乘积347<br />　12.5　插值和拟合348<br />　　12.5.1　函数插值348<br />　　12.5.2　基于核岭回归的拟合350<br />　12.6　概率测度之间的距离352<br />　12.7　参考文献和背景353<br />　12.8　习题354<br />第13章　非参数最小二乘358<br />　13.1　问题设定358<br />　　13.1.1　不同的度量准则358<br />　　13.1.2　约束最小二乘估计359<br />　　13.1.3　一些例子359<br />　13.2　控制预测误差362<br />　　13.2.1　度量熵的界365<br />　　13.2.2　高维参数问题的界367<br />　　13.2.3　非参数问题的界369<br />　　13.2.4　定理13.5的证明370<br />　13.3　最优不等式372<br />　　13.3.1　最优不等式的几个例子373<br />　　13.3.2　定理13.13的证明376<br />　13.4　正则化估计377<br />　　13.4.1　正则化估计的最优不等式377<br />　　13.4.2　核岭回归的结果378<br />　　13.4.3　推论13.18的证明381<br />　　13.4.4　定理13.17的证明382<br />　13.5　参考文献和背景385<br />　13.6　习题386<br />第14章　局部化和一致定律390<br />　14.1　总体和经验L2范数390<br />　　14.1.1　局部化的一致定律391<br />　　14.1.2　核函数类的特殊化394<br />　　14.1.3　定理14.1的证明395<br />　14.2　一个单边一致定律398<br />　　14.2.1　非参数最小二乘法的结论401<br />　　14.2.2　定理14.12的证明403<br />　14.3　Lipschitz损失函数的一个一致定律404<br />　　14.3.1　一般预测问题404<br />　　14.3.2　Lipschitz损失函数的一致定律407<br />　14.4　非参数密度估计的一些结果409<br />　　14.4.1　密度估计的非参数极大似然方法409<br />　　14.4.2　密度估计的投影方法411<br />　14.5　附录:总体和经验Rademacher复杂度413<br />　14.6　参考文献和背景414<br />　14.7　习题415<br />第15章　minimax下界418<br />　15.1　基本框架418<br />　　15.1.1　minimax风险418<br />　　15.1.2　从估计到检验419<br />　　15.1.3　一些散度度量421<br />　15.2　二元检验和Le Cam方法423<br />　　15.2.1　贝叶斯误差和全变差距离423<br />　　15.2.2　Le Cam凸包方法429<br />　15.3　Fano方法431<br />　　15.3.1　Kullback-Leibler散度和互信息432<br />　　15.3.2　minimax风险的Fano下界432<br />　　15.3.3　基于局部填装的界433<br />　　15.3.4　高斯熵界的局部填装437<br />　　15.3.5　Yang-Barron形式的Fano方法442<br />　15.4　附录:信息论的基本背景445<br />　15.5　参考文献和背景446<br />　15.6　习题448<br />参考文献452