PyTorch编程技术与深度学习

"深度学习是机器学习中非常激动人心的领域，深度学习算法工程师、图像视觉工程师和自然语言处理工程师逐渐成为报酬较高的新兴职业，各行各业的公司都在寻求具备深度学习理论知识和实际编程技能的人才。初学者学习深度学习理论与PyTorch编程技术一般都会面临两大障碍，第一大障碍是深度学习理论基础，深度学习包含了很多需要掌握的基本概念；第二大障碍是编程实践。本书就是为了让初学者顺利入门而设计的，本书系统讲解了深度学习的原理以及PyTorch编程技术，内容较全面，可操作性强，做到理论与实践相结合，帮助初学者顺利入门，进而掌握好这项技术。 《PyTorch编程技术与深度学习》讲解详细且通俗易懂，以具体的示例辅助学习和实践，便于读者理解和自主应用。本书有三大特色。特色一：理论与实践结合。通常的PyTorch编程书籍往往只提供一些可运行代码和点到为止的讲解，学习者常常知其然而不知其所以然。本书不但提供示例代码，还详细讲解背后的原理和代码的细节，加深对代码的理解。特色二：内容新，反映PyTorch的发展方向。特色三：在线辅导。专门开设QQ学习群以提供学习全程辅导，自学无忧。 《PyTorch编程技术与深度学习》可供深度学习PyTorch编程初学者作为入门的技术参考书，也适合作为大中专院校学生的教材或参考书。"

本书讲述深度学习的基本原理，使用PyTorch展示涉及的深度学习算法。通过理论讲解和编程操作，使读者了解并掌握深度学习的原理和PyTorch编程技能，拉近理论与实践的距离。全书共分9章，主要内容包括PyTorch介绍、PyTorch基础编程、深度学习快速入门、神经网络训练与优化、卷积神经网络原理、卷积神经网络示例、词嵌入模型、循环神经网络原理、NLP示例。书中不但涵盖成熟的卷积神经网络和循环神经网络的原理和示例，还包含一些新的如Transformer和知识蒸馏的内容。全书源代码全部在Python3.7.4+PyTorch1.9.0版本上调试成功。本书适合深度学习和PyTorch编程人员作为入门和提高的技术参考书使用，也适合用作计算机专业高年级本科生和研究生的教材或教学参考书。

袁梅宇，工学博士，硕士导师，现在昆明理工大学计算机系任教。为本科生和研究生主讲软件工程、Java程序设计、Java EE技术、数据库原理、机器学习、人工智能等多门核心课程。第一作者专著有《Java EE企业级编程开发实例详解》《数据挖掘与机器学习——WEKA应用技术与实践》《数据挖掘与机器学习——WEKA应用技术与实践（第二版）》《求精要诀——Java EE编程开发案例精讲》《机器学习基础——原理算法与实践》。

第1章PyTorch介绍
1.1深度学习与PyTorch简介
1.1.1深度学习介绍
1.1.2PyTorch介绍
1.2PyTorch安装
1.2.1Anaconda下载
1.2.2Windows下安装PyTorch
1.2.3LinuxUbuntu下安装PyTorch
1.2.4Anaconda管理
1.3常用数据集
1.3.1MNIST数据集
1.3.2Fashion-MNIST数据集
1.3.3CIFAR-10数据集
1.3.4Dogsvs.Cats数据集
1.3.5AG_NEWS数据集
1.3.6WikiText2数据集
1.3.7QIQC数据集
1.3.8Multi30k数据集
习题
第2章PyTorch基础编程
2.1张量数据操作
2.1.1张量简介
2.1.2张量操作
2.1.3广播机制
2.1.4在GPU上使用Tensor
2.2自动求导
2.2.1自动求导概念
2.2.2自动求导示例
2.3数据集API
2.3.1自定义数据集类
2.3.2DataLoader类
2.4torchvision工具示例
2.4.1编写简单的图像数据集
2.4.2Transforms模块
2.4.3Normalize用法
2.4.4ImageFolder用法
2.5torchtext工具示例
2.5.1编写文本预处理程序
2.5.2使用torchtext
习题
第3章深度学习快速入门
3.1线性回归
3.1.1线性回归介绍
3.1.2线性回归实现
3.2使用nn模块构建线性回归模型
3.2.1使用nn.Linear训练线性回归模型
3.2.2使用nn.Sequential训练线性回归模型
3.2.3使用nn.Module训练线性回归模型
3.3逻辑回归
3.3.1逻辑回归介绍
3.3.2逻辑回归实现
3.4Softmax回归
3.4.1Softmax回归介绍
3.4.2Softmax回归实现
3.5神经网络
3.5.1神经元
3.5.2激活函数
3.5.3神经网络原理
3.5.4PyTorch神经网络编程
习题
第4章神经网络训练与优化
4.1神经网络迭代概念
4.1.1训练误差与泛化误差
4.1.2训练集、验证集和测试集划分
4.1.3偏差与方差
4.2正则化方法
4.2.1提前终止
4.2.2正则化
4.2.3Dropout
4.3优化算法
4.3.1小批量梯度下降
4.3.2Momentum算法
4.3.3RMSProp算法
4.3.4Adam算法
4.4PyTorch的初始化函数
4.4.1普通初始化
4.4.2Xavier初始化
4.4.3He初始化
习题
第5章卷积神经网络原理
5.1CNN介绍
5.1.1CNN与图像处理
5.1.2卷积的基本原理
5.1.3池化的基本原理
5.2简单的CNN网络
5.2.1定义网络模型
5.2.2模型训练
5.2.3模型评估
5.2.4主函数
5.3PyTorch实现LeNet-5网络
5.3.1LeNet-5介绍
5.3.2LeNet-5实现MNIST手写数字识别
5.3.3LeNet-5实现CIFAR-10图像识别
习题
第6章卷积神经网络示例
6.1经典CNN网络
6.1.1VGG
6.1.2ResNet
6.1.3Inception
6.1.4Xception
6.1.5ResNet代码研读
6.2使用预训练的CNN
6.2.1特征抽取
6.2.2微调
6.3知识蒸馏
6.3.1知识蒸馏原理
6.3.2知识蒸馏示例
6.4CNN可视化
6.4.1中间激活可视化
6.4.2过滤器可视化
习题
第7章词嵌入模型
7.1词嵌入模型介绍
7.1.1独热码
7.1.2词嵌入
7.2词嵌入学习
7.2.1词嵌入学习的动机
7.2.2Skip-Gram算法
7.2.3CBOW算法
7.2.4负采样
7.2.5GloVe算法
7.3Word2Vec算法实现
7.3.1Skip-Gram实现
7.3.2CBOW实现
7.3.3负采样Skip-Gram实现
习题
第8章循环神经网络原理
8.1RNN介绍
8.1.1有记忆的神经网络
8.1.2RNN用途
8.2基本RNN模型
8.2.1基本RNN原理
8.2.2基本RNN的训练问题
8.2.3基本RNN编程
8.2.4基本RNN示例
8.3LSTM
8.3.1LSTM原理
8.3.2LSTM编程
8.4GRU
8.4.1GRU原理
8.4.2GRU编程
8.5注意力机制
8.5.1Seq2Seq模型的缺陷
8.5.2机器翻译中的注意力机制
8.6Transformer模型
8.6.1编码器
8.6.2多头注意力层
8.6.3前向层
8.6.4位置编码
8.6.5解码器
8.6.6解码器层
8.6.7Transformer的PyTorch实现
习题
第9章NLP示例
9.1情感分析
9.1.1AGNEWS示例
9.1.2Quora竞赛示例
9.2语言模型
9.3文本序列数据生成
9.3.1向莎士比亚学写诗
9.3.2神经机器翻译
习题
参考文献