PyTorch深度学习入门与实战

中国科学院院士，清华大学人工智能研究院院长张钹倾力推荐 详解PyTorch框架分布式计算、CUDA扩展等高级使用技巧 涵盖图像分类、文本处理、物体定位、自动架构搜索等诸多领域实战案例 丰富的新科研成果引用展示，紧跟人工智能发展前沿 提供完整源代码文件

书中以案例形式详细介绍了PyTorch的各种实战应用。具体内容包括PyTorch与TensorFlow的对比和PyTorch的发展现状，张量Tensor和自动微分Autograd及其具体应用，PyTorch构建神经网络，基于PyTorch构建复杂应用，PyTorch高级技巧与实战应用，网络剪枝应用。
本书内容由浅入深，适合深度学习的初学者阅读学习，可帮助机器学习、计算机学科相关专业的学生或从业人员快速掌握PyTorch。

第1章PyTorch简介
1.1深度学习简介1
1.2PyTorch的由来2
1.2.1深度学习框架回顾2
1.2.2PyTorch前身：Torch74
1.2.3Torch7的重生5
1.3PyTorch与TensorFlow对比5
1.3.1TensorFlow简介6
1.3.2动静之争6
1.3.3二者借鉴融合7
1.3.4PyTorch的优势7
1.4PyTorch发展现状8
1.4.1主要版本特点回顾8
1.4.2准备工作8
第2章PyTorch基础计算
2.1PyTorch核心基础概念：张量Tensor11
2.1.1Tensor基本介绍11
2.1.2Tensor数学运算操作15
2.1.3Tensor索引分片合并变换操作20
2.1.4Tensor类成员方法22
2.1.5在GPU上计算24
2.2PyTorch可微编程核心：自动微分Autograd25
2.2.1PyTorch自动微分简介25
2.2.2可微分张量25
2.2.3利用自动微分求梯度26
2.2.4Function：自动微分实现基础29
2.2.5注意事项31
2.3PyTorch应用实战一：实现卷积操作34
2.3.1卷积操作34
2.3.2利用张量操作实现卷积36
2.4PyTorch应用实战二：实现卷积神经网络进行图像分类38
第3章PyTorch构建神经网络
3.1PyTorch神经网络计算核心：torch.nn43
3.1.1nn.Module概述43
3.1.2结构化构建神经网络47
3.1.3经典神经网络层介绍49
3.1.4函数式操作nn.functional53
3.2PyTorch优化器55
3.2.1torch.optim概述55
3.2.2经典优化器介绍56
3.2.3学习率调整57
3.3PyTorch应用实战一：实现二值化神经网络59
3.3.1二值化网络BinaryNet概述59
3.3.2具体实现60
3.4PyTorch应用实战二：利用LSTM实现文本情感分类63
3.4.1文本情感分类63
3.4.2具体实现65
第4章基于PyTorch构建复杂应用
4.1PyTorch数据加载70
4.1.1数据预处理：torchvision.transforms70
4.1.2数据加载：torch.utils.data73
4.2PyTorch模型搭建77
4.2.1经典模型复用与分享：torchvision.models78
4.2.2模型加载与保存79
4.2.3导出为ONNX格式85
4.3训练过程中日志记录与可视化89
4.4PyTorch应用实战一：在CIFAR10数据集进行神经网络结构搜索93
4.4.1可微分网络架构搜索DARTS介绍94
4.4.2简化问题建模：以ResNet为例95
4.4.3具体实现96
4.5PyTorch应用实战二：在ImageNet数据集进行弱监督物体定位108
4.5.1GradCAM解释显著图方法介绍108
4.5.2弱监督物体定位任务109
4.5.3具体实现110
第5章PyTorch高级技巧与实战应用
5.1PyTorch并行计算118
5.1.1大规模数据集加载118
5.1.2模型的高效并行计算122
5.1.3加速模型计算和减少显存使用125
5.2扩展PyTorch126
5.2.1利用C++和CUDA实现自定义算子126
5.2.2利用TorchScript导出PyTorch模型136
5.3丰富的PyTorch资源介绍145
5.4PyTorch应用实战一：在ImageNet上训练MobileNet-V2网络146
5.4.1MobileNet-V2网络介绍146
5.4.2具体实现147
5.5PyTorch应用实战二：利用CUDA扩展实现MixConv算子157
5.5.1MixConv算子介绍157
5.5.2借鉴Depthwise卷积实现思路158
5.5.3具体实现160
第6章PyTorch完整实战讲解——网络剪枝应用
6.1网络剪枝介绍169
6.1.1剪枝方法分类169
6.1.2基于权重通道重要性的结构化剪枝170
6.1.3问题定义与建模170
6.2具体实现思路171
6.2.1如何附属控制门值171
6.2.2剪枝结构搜索172
6.2.3剪枝模型训练174
6.3完整代码实现175
6.3.1模型搭建176
6.3.2剪枝器实现181
6.3.3学习控制门变量183
6.3.4剪枝模型187
6.3.5训练模型189
6.3.6规模化启动训练任务193
6.4实验结果198
参考文献