速通深度学习数学基础

以数学知识带出深度学习知识，结合作者多年科研工作经验，理论和实践并重。

   本书以线性代数、微积分、概率论为逻辑主线，讲解了与深度学习有关的大部分数学内容。本书以理论结合实际的方式讲解，使数学知识不再是冰冷的公式堆砌，而变成一个个真实的案例，同时对案例背后的原理进行理论上的升华，希望达到一通百通的效果。读者通过阅读本书，不仅能够提升阅读学术论文中的数学公式的能力，还能加深对深度学习本身的理解。

本书面向入门级读者，摒弃复杂的数学推导和证明，重视逻辑推理和简单的表达，特别适合数学基础不足的读者阅读。

"卢菁 北京科技大学博士，北京大学博士后流动站出站。工作于腾讯、爱奇艺等知名互联网公司，主要从事人工智能技术的应用和研发工作。主要研究方向为机器学习、自然语言处理、知识图谱、推荐系统等，有丰富的理论和实践经验。"

第1章线性代数的基本概念1
1.1向量和深度学习1
1.2向量距离计算7
1.3向量的基本性质11
1.3.1向量的基本运算11
1.3.2线性相关和线性无关14
1.3.3向量的投影和正交15
1.4矩阵18
1.4.1矩阵的基本概念18
1.4.2矩阵和神经网络26
1.4.3矩阵的秩28
1.5一些特殊的矩阵30
1.5.1矩阵的逆和广义逆30
1.5.2正交矩阵32
第2章线性代数在深度学习中的应用34
2.1特征值和特征向量34
2.1.1特征值和特征向量的定义34
2.1.2一般矩阵的特征分解37
2.1.3对称矩阵的特征分解38
2.2奇异值分解41
2.3正定矩阵45
2.4矩阵的范数和神经网络46
2.5主成分分析49
2.6推荐系统中的矩阵分解55
第3章微积分的基本概念59
3.1导数的定义和几何意义59
3.2复杂函数求导61
3.3导数的存在性64
3.4多元函数求导65
3.5二阶导数和高阶导数65
3.6函数的极大值和极小值69
3.6.1一元函数的极大值和极小值69
3.6.2多元函数的凹凸性和海森矩阵72
3.6.3凸优化证明73
第4章微积分在深度学习中的应用77
4.1梯度下降法77
4.1.1梯度下降法在深度学习中的应用77
4.1.2泰勒公式和梯度下降法80
4.1.3牛顿迭代法81
4.2梯度下降法的缺点84
4.3矩阵求导术88
4.3.1标量对向量和矩阵求导88
4.3.2向量对向量求导89
4.3.3链式法则91
4.4常见激活函数及其导数92
4.5常见损失函数及其导数99
4.5.1分类和回归99
4.5.2哈夫曼树和负采样103
4.5.3度量学习106
4.6积分和求和108
4.6.1积分和不定积分108
4.6.2多重积分111
4.6.3分类模型的效果指标AUC113
第5章概率的基本概念117
5.1概率入门117
5.2联合概率和条件概率119
5.3贝叶斯定理122
5.4连续概率分布124
5.5均值和方差126
5.6相关性130
5.7正态分布133
5.7.1正态分布的基本概念和性质133
5.7.2正态分布和逻辑回归137
第6章概率在深度学习中的应用139
6.1概率分布之间的距离139
6.2优选似然估计140
6.3Logit和Softmax143
6.3.1二分类的Logit143
6.3.2多分类的Softmax144
6.4语言模型147
6.5概率悖论150
6.5.1辛普森悖论150
6.5.2基本比率谬误151
6.5.3罗杰斯现象153
6.5.4伯克森悖论153
6.6统计学基础155
6.6.1卡方分布和学生分布155
6.6.2假设检验158
6.6.3AB测试168
6.7各类散列变换172
6.7.1特征Hash172
……