用Python实现深度学习框架

1.大咖推荐：复旦大学计算机学院教授邱锡鹏、一流科技创始人兼CEO袁进辉（@老师木）、格灵深瞳创始人兼CEO赵勇、奇虎360集团副总裁邓亚峰联合推荐 2.干货满满：从零开始用Python实现自己的深度学习框架，搭建从逻辑回归到卷积神经网络的各类模型和网络，涵盖模型的训练、评估、保存与部署等工程问题 3.聚焦实战：360智能工程部高级机器学习算法工程师倾力打造 4.提供源代码 这是一本引人入胜的书，它通过由浅入深的讲解让你了解深度学习的原理、模型和实现方法，内容清晰易懂，表达生动形象。当从零开始一步一步实现一个深度学习框架MatrixSlow后，你会更加深入地理解深度学习的奥秘，进而快速提升自己的能力。 --邱锡鹏，复旦大学计算机学院教授

本书带领读者用原生Python语言和Numpy线性代数库实现一个基于计算图的深度学习框架MatrixSlow（类似简易版的PyTorch、TensorFlow或Caffe）。全书分为三个部分。第一部分是原理篇，实现了MatrixSlow框架的核心基础设施，并基于此讲解了机器学习与深度学习的概念和原理，比如模型、计算图、训练、梯度下降法及其各种变体。第二部分是模型篇，介绍了多种具有代表性的模型，包括逻辑回归、多层全连接神经网络、因子分解机、Wide&Deep、DeepFM、循环神经网络以及卷积神经网络，这部分除了着重介绍这些模型的原理、结构以及它们之间的联系外，还用MatrixSlow框架搭建并训练它们以解决实际问题。第三部分是工程篇，讨论了一些与深度学习框架相关的工程问题，内容涉及训练与评估，模型的保存、导入和服务部署，分布式训练，等等。本书面向有意入门深度学习的读者，特别适合对神经网络和深度学习的原理与实现感兴趣，或对PyTorch、TensorFlow、Caffe等深度学习框架感兴趣的工程师、学生以及其他各行业人士阅读。

张觉非，本科毕业于复旦大学计算机系，于中国科学院古脊椎动物与古人类研究所取得古生物学硕士学位，目前在互联网行业从事机器学习算法相关工作。
陈震，硕士毕业于北京大学。现任奇虎360智能工程部总监、负责人，带领团队建设集团的机器学习计算调度平台、机器学习建模平台、机器学习推理引擎以及推荐平台等AI基础设施。

第一部分原理篇
第1章机器学习与模型2
1.1模型2
1.2参数与训练4
1.3损失函数9
1.4计算图的训练10
1.5小结12
第2章计算图13
2.1什么是计算图13
2.2前向传播14
2.3函数优化与梯度下降法18
2.4链式法则与反向传播29
2.5在计算图上执行梯度下降法36
2.6节点类及其子类36
2.7用计算图搭建ADALINE并训练44
2.8小结48
第3章优化器49
3.1优化流程的抽象实现49
3.2BGD、SGD和MBGD53
3.3梯度下降优化器58
3.4朴素梯度下降法的局限60
3.5冲量优化器61
3.6AdaGrad优化器62
3.7RMSProp优化器64
3.8Adam优化器65
3.9小结68
第二部分模型篇
第4章逻辑回归70
4.1对数损失函数70
4.2Logistic函数73
4.3二分类逻辑回归75
4.4多分类逻辑回归78
4.5交叉熵81
4.6实例：鸢尾花85
4.7小结88
第5章神经网络90
5.1神经元与激活函数90
5.2神经网络95
5.3多层全连接神经网络99
5.4多个全连接层的意义101
5.5实例：鸢尾花108
5.6实例：手写数字识别110
5.7小结116
第6章非全连接神经网络117
6.1带二次项的逻辑回归117
6.2因子分解机124
6.3Wide&Deep132
6.4DeepFM137
6.5实例：泰坦尼克号幸存者141
6.6小结150
第7章循环神经网络151
7.1RNN的结构151
7.2RNN的输出152
7.3实例：正弦波与方波155
7.4变长序列159
7.5实例：3D电磁发音仪单词识别164
7.6小结167
第8章卷积神经网络168
8.1蒙德里安与莫奈168
8.2滤波器170
8.3可训练的滤波器176
8.4卷积层183
8.5池化层186
8.6CNN的结构189
8.7实例：手写数字识别190
8.8小结194
第三部分工程篇
第9章训练与评估196
9.1训练和Trainer训练器196
9.2评估和Metrics节点202
9.3混淆矩阵204
9.4正确率204
9.5查准率206
9.6查全率206
9.7ROC曲线和AUC208
9.8小结211
第10章模型保存、预测和服务212
10.1模型保存213
10.2模型加载和预测216
10.3模型服务216
10.4客户端222
10.5小结223
第11章分布式训练224
11.1分布式训练的原理224
11.2基于参数服务器的架构230
11.3Ring AllReduce原理241
11.4Ring AllReduce架构实现248
11.5分布式训练性能评测257
11.6小结259
第12章工业级深度学习框架261
12.1张量262
12.2计算加速263
12.3GPU265
12.4数据接口266
12.5模型并行266
12.6静态图和动态图267
12.7混合精度训练268
12.8图优化和编译优化270
12.9移动端和嵌入式端270
12.10小结271