数据科学的数学基础

1.本书旨在为大数据与人工智能等提供一些基本的数学知识，不会也不可能涵盖所有的数学知识 2.各章对某些重要算法应用提供案例及其Python演示代码 3.本书重点在于理解，理解每一个知识点是什么，目的是什么，用于做什么。如何用计算机去计算，如何用Python工具包去计算．

数据科学是从单纯的“大”数据提炼出“智慧”的数据，以供人们发现新知识并辅助决策的综合交叉学科．本书简要阐述数据科学的数学基础．全书共11章，内容包括线性代数基础、线性空间与线性变换、向量与矩阵范数、矩阵分解、概率统计基础、随机过程、很优化基础、线性规划、常用无约束很优化方法、常用约束很优化方法以及综合案例．除第11章外，每章都有应用实例与该章内容紧密结合，以进一步加强读者对知识点的理解和掌握．所有的应用实例和第11章综合案例的代码都在Windows操作系统下利用Python 3.7编写，并在交互式解释器IDLE上调试通过． 本书可作为高等院校大数据、人工智能等相关专业的教材，也可供从事大数据、人工智能及相关领域教学、研究和应用开发的人员参考．

卢力，博士，华中科技大学软件学院副教授。目前主要从事数字图像处理与模式识别和数据科学等方向的研究工作。主持和参与多项科研项目和教学研究项目的研究；在国内外重要学术期刊和会议上发表论文二十余篇；正式出版教材2部。主要承担研究生“软件数学”“数字图像处理及应用”，本科生“离散数学”“数学建模”等课程的教学任务。指导本科生参加美国大学生数学建模竞赛，多次获得一、二、三等奖。

第1章  线性代数基础 1 1.1  行列式  1 1.1.1  行列式的概念  1 1.1.2  行列式的性质  4 1.1.3  行列式的计算  5 1.1.4  克拉默法则  6 1.2  矩阵  9 1.2.1  矩阵的概念  9 1.2.2  矩阵的运算  11 1.2.3  逆矩阵  17 1.2.4  矩阵分块  20 1.2.5  矩阵的初等变换  23 1.2.6  矩阵的秩  28 1.3  线性方程组  29 1.3.1  高斯消元法  30 1.3.2  向量组的线性相关性  33 1.3.3  向量组的秩  37 1.3.4  向量空间  40 1.3.5  线性方程组解的结构  42 1.4  相似矩阵与二次型  45 1.4.1  正交矩阵  45 1.4.2  矩阵的特征值与特征向量  48 1.4.3  相似矩阵  51 1.4.4  二次型  52 1.5  应用实例  61 1.5.1  Python简介  61 1.5.2  背景与问题  64 1.5.3  模型与求解  65 1.5.4  Python实现  67 习题1  71 第2章  线性空间与线性变换  72 2.1  线性空间  72 2.1.1  线性空间的概念  72 2.1.2  线性空间的基、维数及向量的坐标  74 2.1.3  基变换与坐标变换  78 2.2  线性子空间  80 2.2.1  子空间的概念  80 2.2.2  子空间的交、和与直和  82 2.3  线性变换  85 2.3.1  线性变换的概念及其性质  86 2.3.2  线性变换的运算  88 2.3.3  线性变换的矩阵  89 2.3.4  线性变换的对角化  91 2.3.5  线性变换的不变子空间  94 2.3.6  线性变换的若当标准型  96 2.4  内积空间  101 2.4.1  内积空间的概念  102 2.4.2  向量的度量  103 2.4.3  标准正交基  104 2.4.4  子空间的正交补空间  107 2.5  应用实例  108 2.5.1  背景与问题  108 2.5.2  模型与求解  109 2.5.3  Python实现  110 习题2  111 第3章  向量与矩阵范数  112 3.1  向量范数  112 3.1.1  向量范数的概念  112 3.1.2  向量范数的连续性和等价性  114 3.1.3  向量序列的收敛性  115 3.2  矩阵范数  116 3.2.1  矩阵范数的概念  116 3.2.2  矩阵的诱导范数  117 3.2.3  矩阵序列的收敛性  120 3.3  矩阵的谱半径  122 3.4  应用实例  125 3.4.1  向量范数的计算  125 3.4.2  矩阵范数的计算  126 习题3  127 第4章  矩阵分解  128 4.1  矩阵的满秩分解  128 4.2  矩阵的LU分解  129 4.3  矩阵的舒尔分解  138 4.4  正规矩阵及其谱分解  140 4.5  矩阵的奇异值分解  145 4.5.1  求矛盾线性方程组的最小二乘解  149 4.5.2  求矩阵的值空间和零空间  151 4.6  应用实例  152 4.6.1  背景与问题  152 4.6.2  模型与求解  152 4.6.3  Python实现  153 习题4  157 第5章  概率统计基础  158 5.1  随机事件和概率  158 5.1.1  随机事件的概念  158 5.1.2  随机事件的概率  160 5.1.3  条件概率  164 5.1.4  全概率公式和贝叶斯公式  165 5.1.5  事件的独立性  166 5.2  随机变量及其分布  168 5.2.1  随机变量及其分布函数  168 5.2.2  离散型随机变量及其分布律  169 5.2.3  连续型随机变量及其概率密度  170 5.2.4  随机变量的函数的分布  170 5.2.5  常用的随机变量  171 5.3  多维随机变量及其分布  173 5.3.1  n维随机变量及其联合分布  173 5.3.2  边缘分布  175 5.3.3  条件分布  178 5.3.4  随机变量的独立性  179 5.3.5  n维随机变量的函数的分布  180 5.4  随机变量的数字特征  182 5.4.1  数学期望  182 5.4.2  方差  183 5.4.3  协方差与相关系数  184 5.4.4  矩和协方差矩阵  185 5.5  大数定律和中心极限定理  186 5.5.1  大数定律  186 5.5.2  中心极限定理  187 5.6  统计量与参数的点估计  188 5.6.1  统计量的概念  188 5.6.2  统计量的分布  190 5.6.3  参数的矩估计法  192 5.6.4  参数的优选似然估计法  193 5.6.5  估计量的评选标准  196 5.7  应用实例  197 5.7.1  背景与问题  197 5.7.2  模型与求解  197 5.7.3  Python实现  199 习题5  202 第6章  随机过程  203 6.1  随机过程的概念  203 6.1.1  随机过程的定义  203 6.1.2  随机过程的分类  204 6.2  随机过程的统计描述  205 6.2.1  随机过程的分布函数族  205 6.2.2  随机过程的数字特征  207 *6.2.3  多维随机过程的联合 分布和数字特征  210 6.3  泊松过程和维纳过程  212 6.3.1  独立增量过程  212 6.3.2  泊松过程  213 6.3.3  维纳过程  215 6.4  马尔可夫过程  216 6.4.1  马尔可夫过程的概念  216 6.4.2  多步转移概率的确定  221 6.4.3  遍历性与极限分布  224 6.5  应用实例  227 6.5.1  背景与问题  227 6.5.2  模型与求解  227 6.5.3  Python实现  228 习题6  229 第7章  很优化基础  230 7.1  多元函数分析  230 7.1.1  开集、闭集  230 7.1.2  梯度  231 7.1.3  方向导数  235 7.1.4  泰勒展开式  238 7.1.5  微积分中的很优化方法  239 7.2  很优化问题的基本概念  242 7.2.1  很优化问题的数学模型  242 7.2.2  很优化问题的解  242 7.2.3  很优化问题的分类  243 7.3  很优化问题的下降算法  244 7.3.1  可行点列的产生  244 7.3.2  算法的迭代步骤  245 7.3.3  算法的终止准则  245 7.3.4  算法的收敛性  245 7.4  凸集与凸函数  246 7.4.1  凸集  246 7.4.2  凸函数  249 7.5  凸规划  253 7.6  应用实例  255 7.6.1  背景与问题  255 7.6.2  模型与求解  255 7.6.3  Python实现  256 习题7  257 第8章  线性规划  258 8.1  线性规划的基本概念和定理  258 8.1.1  线性规划问题的标准形式  258 8.1.2  线性规划问题的解  260 8.1.3  线性规划的基本定理  262 8.2  线性规划的单纯形法  265 8.2.1  单纯形法的基本思想  265 8.2.2  单纯形表  273 8.2.3  大M法和两阶段法  277 8.3  线性规划的对偶问题与 对偶单纯形法  281 8.3.1  对偶问题的概念和关系  281 8.3.2  对偶理论  284 8.3.3  线性规划的对偶单纯形法  286 *8.4  灵敏度分析  289 8.4.1  价值系数的变化  289 8.4.2  资源系数的变化  291 8.5  应用实例  292 8.5.1  背景与问题  292 8.5.2  模型与求解  292 8.5.3  Python实现  293 习题8  294 第9章  常用无约束很优化方法  296 9.1  一维搜索的很优化方法  296 9.1.1  很优步长的确定  296 9.1.2  搜索区间的确定  297 9.1.3  黄金分割法  299 9.1.4  抛物线插值法  301 9.1.5  对分法  304 9.2  最速下降法  305 9.2.1  最速下降法的基本原理  305 9.2.2  最速下降法的迭代步骤  306 9.3  牛顿法  308 9.3.1  牛顿法的基本原理  308 9.3.2  牛顿法的迭代步骤  309 9.3.3  修正牛顿法  310 9.3.4  拟牛顿法  310 9.4  共轭梯度法  315 9.4.1  共轭方向法  315 9.4.2  共轭梯度法  317 9.5  最小二乘法  319 9.5.1  线性最小二乘问题  319 9.5.2  非线性最小二乘问题  320 9.6  应用实例  322 9.6.1  背景与问题  322 9.6.2  模型与求解  323 9.6.3  Python实现  324 习题9  326 第10章  常用约束很优化方法  327 10.1  约束很优化问题的很优性条件  327 10.1.1  等式约束很优化问题的 很优性条件  328 10.1.2  一般约束很优化问题的 很优性条件  328 10.2  罚函数法与乘子法  331 10.2.1  外点罚函数法  331 10.2.2  内点罚函数法  334 10.2.3  乘子法  336 10.3  应用实例  342 10.3.1  背景与问题  342 10.3.2  模型与求解  342 10.3.3  Python实现  343 习题10  345 第11章  综合案例  347 11.1  基于HMM的中文分词  347 11.1.1  背景与问题  347 11.1.2  模型与求解  347 11.1.3  Python实现  351 11.2  协同过滤  357 11.2.1  背景与问题  357 11.2.2  模型与求解  357 11.2.3  Python实现  358 参考文献  368