人工智能数学基础(高等学校人工智能专业规划教材)/高级人工智能人才培养丛书

本书是面向高级人工智能人才培养的高等学校人工智能相关专业规划教材中的一本，通过梳理人工智能涉及的相关数学理论，并通过Python实现相关案例，使抽象的理论具体化，从而加深读者对数学的感性认识，提高读者对数学理论的理解能力。本书首先介绍了人工智能所需的基础数学理论，然后根据数学内容的逻辑顺序，以微积分、线性代数、概率论、数理统计为基础，对函数逼近、很优化理论、信息论、图论进行了深入介绍，同时给出了它们在人工智能算法中的实验案例。另外，该书将免费提供配套 PPT、实验及应用案例等基本教学材料。

陈华，博士、硕士生导师、青岛市西海岸大数据智库专家、全国高校人工智能与大数据创新联盟理事、山东省大数据研究会大数据专业建设教学委员会副主任委员；现任中国石油大学（华东）数据科学与统计系主任、数据科学与大数据技术专业负责人；目前主要从事地球物理数据处理与分析、多核计算、智能算法等方面的教学和科研工作；先后主持和参与国家自然科学基金、山东省自然科学基金等纵向课题8项和其他横向课题10余项，在国内外期刊发表教学和科研论文30余篇，获得软件著作权4项，出版教材2部。

第1章 人工智能与数学 1 1.1 微积分 1 1.2 线性代数 2 1.2.1 向量和矩阵 3 1.2.2 范数和内积 3 1.2.3 线性变换 4 1.2.4 特征值和特征向量 4 1.2.5 奇异值分解（SVD） 5 1.3 概率论 6 1.4 数理统计 6 1.5 很优化理论 7 1.5.1 目标函数 7 1.5.2 线性规划 7 1.5.3 梯度下降法 7 习题 8 参考文献 8 第2章 初等数学 9 2.1 函数 9 2.1.1 函数的概念 9 2.1.2 函数的性质 10 2.1.3 特殊函数 11 2.1.4 复合函数和逆函数 13 2.1.5 综合案例及应用 14 2.2 数列 16 2.2.1 数列的概念 17 2.2.2 数列的分类 17 2.2.3 综合案例及应用 18 2.3 排列组合和二项式定理 18 2.3.1 排列 19 2.3.2 组合 19 2.3.3 二项式定理 20 2.3.4 综合案例及应用 21 2.4 集合[1] 22 2.4.1 集合的相关概念 22 2.4.2 集合关系 23 2.4.3 基数 24 2.4.4 集合运算 25 2.4.5 综合案例及应用 26 2.5 实验：基于函数递归过程的功能实现 28 2.5.1 实验目的 28 2.5.2 实验要求 28 2.5.3 实验原理 28 2.5.4 实验步骤 28 2.5.5 实验结果 29 习题 29 参考文献 30 第3章 微积分初步 31 3.1 极限与连续性 31 3.1.1 极限 31 3.1.2 连续性 33 3.2 导数与微分 34 3.2.1 导数 34 3.2.2 偏导数 39 3.2.3 梯度和方向导数 40 3.3 导数在函数性质中的应用 41 3.3.1 单调性 42 3.3.2 凹凸性 43 3.3.3 极值 45 3.4 一元积分学 46 3.4.1 不定积分 46 3.4.2 微分方程 47 3.4.3 定积分 47 3.5 多元积分学 48 3.5.1 二重积分的概念 49 3.5.2 二重积分的计算 49 3.6 实验：梯度下降法[8-9] 52 3.6.1 实验目的 52 3.6.2 实验要求 52 3.6.3 实验原理 52 3.6.4 实验步骤 53 3.6.5 实验结果 55 习题 55 参考文献 56 第4章 线性代数 58 4.1 行列式 58 4.1.1 行列式定义 58 4.1.2 行列式的性质 60 4.1.3 行列式的计算 62 4.2 矩阵 63 4.2.1 矩阵的概念 63 4.2.2 矩阵的运算 65 4.2.3 矩阵的初等变换 67 4.2.4 矩阵的秩 69 4.3 向量 69 4.3.1 n维向量的定义 69 4.3.2 n维向量间的线性关系 71 4.3.3 向量组的秩 72 4.3.4 梯度、海森矩阵与雅可比矩阵 73 4.4 线性方程组 74 4.4.1 齐次线性方程组解的结构 74 4.4.2 非齐次线性方程组解的结构 75 4.5 二次型 76 4.5.1 特征值与特征向量 76 4.5.2 相似矩阵 78 4.5.3 二次型 79 4.5.4 正定二次型 82 4.6 实验：矩阵运算 83 4.6.1 实验目的 83 4.6.2 实验要求 83 4.6.3 实验原理、步骤及结果 84 习题 87 参考文献 88 第5章 概率论 89 5.1 概述 89 5.1.1 概率论发展简史 89 5.1.2 概率论的主要内容 90 5.2 随机事件及其概率 90 5.2.1 随机事件的运算 92 5.2.2 随机事件的概率 93 5.2.3 条件概率 95 5.3 随机变量 97 5.3.1 随机变量的概率分布 97 5.3.2 随机变量的数字特征 102 5.3.3 常见的概率分布 104 5.4 贝叶斯理论 105 5.4.1 贝叶斯公式的推导 105 5.4.2 贝叶斯公式的应用举例 107 5.4.3 贝叶斯理论的前景 109 5.5 极限理论 110 5.5.1 收敛 110 5.5.2 大数定理 110 5.5.3 中心极限定理 111 5.6 基于Python的泊松分布仿真实验 113 5.6.1 实验目的 113 5.6.2 实验要求 113 5.6.3 实验原理 113 5.6.4 实验步骤 113 5.6.5 实验结果 114 习题 115 参考文献 116 第6章 数理统计 117 6.1 概述 117 6.1.1 数理统计发展简史 117 6.1.2 数理统计的主要内容 118 6.2 总体与样本 118 6.2.1 总体与样本简介 118 6.2.2 数据的特征 118 6.2.3 统计量 122 6.3 参数估计 122 6.3.1 优选似然估计 122 6.3.2 贝叶斯估计 124 6.3.3 点估计与矩估计 124 6.3.4 蒙特卡罗方法的基本原理 125 6.4 假设检验 125 6.4.1 基本概念 125 6.4.2 Neyman-Pearson 基本引理 127 6.4.3 参数假设检验 130 6.4.4 检验 131 6.5 回归分析 132 6.5.1 一元线性回归 132 6.5.2 可化为一元线性回归的非线性回归 135 6.5.3 多元线性回归 136 6.6 实验：基于Python实现用蒙特卡罗方法求圆周率π 137 6.6.1 实验目的 137 6.6.2 实验要求 137 6.6.3 实验原理 137 6.6.4 实验步骤 138 6.6.5 实验结果 139 习题 139 参考文献 140 第7章 函数逼近 141 7.1 函数插值 141 7.1.1 线性函数插值 141 7.1.2 多项式插值 143 7.1.3 样条插值 144 7.1.4 径向基函数插值 146 7.2 曲线拟合 148 7.2.1 线性最小二乘法 148 7.2.2 非线性曲线拟合 150 7.2.3 贝塞尔曲线拟合 152 7.3 很好逼近 153 7.3.1 函数空间范数与很好逼近问题 153 7.3.2 很好一致逼近 155 7.3.3 很好平方逼近 157 7.4 核函数逼近 159 7.4.1 核方法原理 159 7.4.2 常见核函数 160 7.4.3 支持向量机及其在函数逼近中的应用 160 7.5 神经网络逼近 163 7.5.1 神经网络函数逼近定理 163 7.5.2 BP神经网络在函数逼近中的应用 164 7.5.3 RBF神经网络在函数逼近中的应用 167 7.6 实验：黄河小浪底调水调沙问题 170 7.6.1 实验目的 170 7.6.2 实验要求 170 7.6.3 实验原理 171 7.6.4 实验步骤及结果 171 习题 173 参考文献 174 第8章 很优化理论 176 8.1 很优化理论的基础知识 176 8.1.1 很优化示例 176 8.1.2 很优化的基本概念 177 8.1.3 求很优化问题的一般过程 180 8.1.4 很优化问题的几何解释 180 8.1.5 很优化问题的基本解法 182 8.2 线性规划 183 8.2.1 线性规划问题及其数学模型 183 8.2.2 线性规划问题的几何意义 189 8.2.3 单纯形法 190 8.3 非线性规划 193 8.3.1 非线性规划的基本概念 193 8.3.2 无约束条件下的单变量函数很优化方法 194 8.3.3 无约束条件下的多变量函数很优化方法 198 8.4 实验：用梯度下降法求Rosenbrock函数的极值 208 8.4.1 实验目的 208 8.4.2 实验要求 208 8.4.3 实验原理 208 8.4.4 实验步骤 208 8.4.5 实验结果 211 习题 211 参考文献 212 第9章 信息论 213 9.1 概述 213 9.1.1 信息论的形成和发展 213 9.1.2 信息论对人工智能的影响 214 9.1.3 信息的基本概念 214 9.1.4 通信系统模型 215 9.2 信息的度量 216 9.2.1 自信息量 217 9.2.2 条件自信息量 219 9.2.3 联合自信息量 221 9.2.4 互信息量与条件互信息量 221 9.2.5 互信息量的性质 222 9.3 信源与信息熵 222 9.3.1 平均自信息量（熵） 223 9.3.2 平均条件自信息量（条件熵） 225 9.3.3 联合熵 226 9.3.4 相对熵 227 9.3.5 熵函数的性质 228 9.3.6 平均互信息量 229 9.3.7 平均互信息量的性质 229 9.3.8 平均互信息量与熵、条件熵的关系[12] 229 9.3.9 关于平均互信息量的两条定理 230 9.3.10 熵在决策树中的应用 231 9.4 信道与信道容量 231 9.4.1 信道的分类 232 9.4.2 离散无记忆信道容量 234 9.4.3 连续信道容量 237 9.5 信道编码 238 9.5.1 信道编码的基本概念 238 9.5.2 信道译码规则 239 9.5.3 信道编码定理 242 9.5.4 信道编码逆定理 242 9.6 网络信息安全及密码 242 9.6.1 网络信息安全概述 243 9.6.2 密码技术 243 9.6.3 密码技术在信息安全中的应用 245 9.7 实验一：绘制二进制熵函数曲线 246 9.7.1 实验目的 246 9.7.2 实验要求 246 9.7.3 实验原理 246 9.7.4 实验步骤 247 9.7.5 实验结果 249 9.8 实验二：信息增益的计算 250 9.8.1 实验目的 250 9.8.2 实验要求 251 9.8.3 实验原理 251 9.8.4 实验步骤 251 9.8.5 实验结果 254 习题 255 参考文献 256 第10章 图论 258 10.1 图的认识 258 10.1.1 图的基本概念 258 10.1.2 图中结点的度数 260 10.1.3 常见的图 260 10.1.4 子图 261 10.1.5 图的同构 261 10.2 路与回路 262 10.2.1 路和回路 262 10.2.2 连通性 262 10.2.3 最短路径 264 10.2.4 关键路径 264 10.2.5 综合案例及应用 266 10.3 图的矩阵表示 268 10.3.1 邻接矩阵表示 268 10.3.2 关联矩阵表示 269 10.3.3 综合案例及应用 270 10.4 欧拉图与哈密顿图 271 10.4.1 欧拉图 271 10.4.2 哈密顿图 273 10.4.3 综合案例及应用 274 10.5 树 275 10.5.1 树的概念 275 10.5.2 生成树 276 10.5.3 二叉树 277 10.5.4 综合案例及应用 280 10.6 实验：很优树理论和应用 281 10.6.1 实验目的 281 10.6.2 实验要求 281 10.6.3 实验原理 281 10.6.4 实验步骤 282 10.6.5 实验结果 283 习题 284 参考文献 285 附录A 人工智能实验环境 286 附录B 人工智能云平台 292