速通机器学习

通过14个轻松有趣的专题讲座，帮助初学者掌握机器学习的相关概念，帮助面试者快速梳理和回顾机器学习知识。

本书从传统的机器学习，如线性回归、逻辑回归、朴素贝叶斯、支持向量机、集成学习，到前沿的深度学习和神经网络，如DNN、CNN、BERT、ResNet等，对人工智能技术进行零基础讲解，内容涵盖数学原理、公式推导、图表展示、企业应用案例。本书面向初中级读者，能帮助读者迅速掌握机器学习技术的相关概念及原理。本书内容结合作者多年的科研工作经验，理论和实践并重，对科研、学习、面试等均有帮助。

卢菁，北京科技大学博士，北京大学博士后流动站出站。工作于腾讯、爱奇艺等知名互联网公司，主要从事人工智能技术的应用和研发工作。主要研究方向为机器学习、自然语言处理、知识图谱、推荐系统等，有丰富的理论和实践经验。

第1章 数据的量化和特征提取1
1.1 机器学习概述1
1.2 特征提取2
1.3 向量距离计算6
第2章 线性回归12
2.1 线性回归的基本概念13
2.2 损失函数和梯度下降法14
2.3 训练集和测试集19
2.4 多项式回归21
2.5 线性回归的高级技巧23
2.5.1 特征敏感性研究23
2.5.2 损失函数的选择24
第3章 逻辑回归27
3.1 逻辑回归的基本原理28
3.2 交叉熵和KL距离32
3.2.1 KL距离32
3.2.2 梯度下降法34
3.2.3 上采样和下采样36
3.3 线性不可分及其解决方案38
3.4 L1正则和L2正则39
3.5 分类模型的评价标准43
3.6 逻辑回归的特征提升技巧47
3.6.1 特征归一化47
3.6.2 特征分段49
3.7 深入理解损失函数和逻辑函数51
第4章 因子分解模型55
4.1 基本原理和特征交叉55
4.1.1 基本原理55
4.1.2 特征交叉简化58
4.1.3 参数学习59
4.2 因子分解模型和矩阵分解61
第5章 经典分类模型63
5.1 支持向量机63
5.1.1 支持向量机的基本原理63
5.1.2 支持向量机和逻辑回归的比较68
5.2 核方法70
5.2.1 核函数70
5.2.2 核函数在支持向量机中的应用72
5.3 朴素贝叶斯73
5.3.1 朴素贝叶斯原理73
5.3.2 朴素贝叶斯的参数估计76
5.4 维数灾难78
5.5 奥卡姆剃刀定律的应用82
5.6 经验风险、期望风险和结构风险83
第6章 无监督学习85
6.1 K-Means聚类86
6.1.1 K-Means算法的基本原理86
6.1.2 改进型K-Means算法88
6.1.3 K-Means算法和逻辑回归的结合应用91
6.2 主题模型92
6.2.1 LDA模型的原理93
6.2.2 LDA模型的训练95
第7章 集成学习100
7.1 决策树100
7.2 随机森林105
7.3 GBDT108
第8章 深度神经网络113
8.1 BP神经网络的基本原理113
8.2 多分类与Softmax函数118
8.3 梯度下降法和链式法则120
8.4 度量学习125
第9章 神经网络调优130
9.1 激活函数选型131
9.2 权重初始化135
9.3 改进型梯度下降法137
9.3.1 随机梯度下降法138
9.3.2 鞍点问题141
9.3.3 梯度下降法的优化142
9.4 过拟合解决方案145
9.4.1 正则化145
9.4.2 Dropout146
9.4.3 提前终止147
9.4.4 批标准化和层标准化148
9.4.5 Shortcut151
9.4.6 标签平滑151
9.4.7 人工制造数据152
第10章 自然语言处理154
10.1 自然语言处理模型154
10.2 one-hot编码和embedding技术156
10.3 哈夫曼树和负采样161
10.3.1 哈夫曼树161
10.3.2 负采样163
10.4 Word2vec的应用165
10.5 fastText模型的原理及应用166
第11章 卷积神经网络169
11.1 卷积层和池化层169
11.2 卷积神经网络在图像处理中的应用177
11.3 卷积神经网络中的批标准化179
11.4 TextCNN的原理及应用180
第12章 深入卷积层185
12.1 1×1卷积185
12.2 小尺寸卷积186
12.3 宽度卷积和Inception187
12.4 Depthwise卷积和Pointwise卷积189
12.5 特征通道加权卷积193
第13章 循环神经网络和LSTM模型196
13.1 循环神经网络模型详解196
13.1.1 循环神经网络的基本原理196
13.1.2 循环神经网络存在的一些问题199
13.2 LSTM模型详解202
13.3 LSTM模型的改进和应用206
13.4 CTC算法208
第14章 Attention模型和Transformer模型210
14.1 Attention模型详解210
14.1.1 注意力机制的基本原理210
14.1.2 Attention模型概述212
14.1.3 Attention模型的改进形式214
14.1.4 Self-Attention模型215
14.1.5 Multi-Head Attention模型217
14.2 Transformer模型原理219
14.3 BERT模型及应用221