Python深度学习：模型、方法与实现

为了构建稳健的深度学习系统，需要理解神经网络的工作原理以及如何训练CNN模型等知识。通过本书，你可以探索新开发的深度学习模型及其在各个领域的使用方法，以及基于应用领域的实现。 本书首先介绍构建模块和神经网络背后的数学知识，然后介绍CNN及其在计算机视觉领域的优选应用，以及在对象检测和图像分割中应用流行的CNN架构。还将介绍变分自编码器和GAN，以及如何使用神经网络来提取单词的复杂向量表示。在继续讨论各种类型的循环网络(如LSTM和GRU)之前，会介绍如何在没有RNN的情况下使用注意力机制处理序列数据。然后，介绍如何使用图神经网络处理结构化数据，以及如何使用元学习采用较少的训练样本来训练神经网络。最后，了解如何将深度学习应用于自动驾驶汽车。 阅读本书，你将掌握关键的深度学习概念和深度学习模型在现实世界中的不同应用。你将学到：·优选的神经网络架构。·神经网络背后的理论和数学知识。·训练DNN并将其应用于现代深度学习问题。·使用CNN进行对象检测和图像分割。·实现GAN和变分自编码器来生成新图像。·使用seq2seq模型解决NLP任务，如机器翻译。·了解DL技术，如元学习和图神经网络。

本书集合了基于应用领域的高级深度学习的模型、方法和实现。本书分为四部分。第1部分介绍了深度学习的构建和神经网络背后的数学知识。第二部分讨论深度学习在计算机视觉领域的应用。第三部分阐述了自然语言和序列处理。讲解了使用神经网络提取复杂的单词向量表示。讨论了各种类型的循环网络，如长短期记忆网络和门控循环单元网络。第四部分介绍一些虽然还没有被广泛采用但有前途的深度学习技术，包括如何在自动驾驶上应用深度学习。学完本书，读者将掌握与深度学习相关的关键概念，学会如何使用TensorFlow和PyTorch实现相应的AI解决方案。

译者序前言作者简介审校者简介第一部分核心概念第1章神经网络的具体细节21.1神经网络的数学基础21.1.1线性代数21.1.2概率介绍61.1.3微分学161.2神经网络的简单介绍181.2.1神经元181.2.2层的运算191.2.3神经网络211.2.4激活函数221.2.5通用逼近定理251.3训练神经网络271.3.1梯度下降271.3.2代价函数281.3.3反向传播301.3.4权重初始化321.3.5SGD改进331.4总结35第二部分计算机视觉第2章理解卷积网络382.1理解CNN382.1.1卷积类型432.1.2提高CNN的效率462.1.3可视化CNN512.1.4CNN正则化542.2迁移学习介绍562.2.1使用PyTorch实现迁移学习572.2.2使用TensorFlow 2.0实现迁移学习622.3总结66第3章高级卷积网络673.1AlexNet介绍673.2VGG介绍683.3理解残差网络703.4理解Inception网络783.4.1Inception v1793.4.2Inception v2和v3803.4.3Inception v4和InceptionResNet813.5Xception介绍823.6MobileNet介绍833.7DenseNet介绍853.8神经架构搜索的工作原理873.9胶囊网络介绍913.9.1卷积网络的局限性913.9.2胶囊923.9.3胶囊网络的结构943.10总结95第4章对象检测与图像分割964.1对象检测介绍964.1.1对象检测的方法964.1.2使用YOLO v3进行对象检测984.1.3使用Faster RCNN进行对象检测1044.2图像分割介绍1104.2.1使用UNet进行语义分割1104.2.2使用Mask RCNN进行实例分割1124.3总结115第5章生成模型1165.1生成模型的直觉和证明1165.2VAE介绍1175.3GAN介绍1245.3.1训练GAN1255.3.2实现GAN1285.3.3训练GAN的缺陷1295.4GAN的类型1295.4.1DCGAN1305.4.2CGAN1355.4.3WGAN1375.4.4使用CycleGAN实现图像到图像的转换1425.5艺术风格迁移介绍1505.6总结151第三部分自然语言和序列处理第6章语言建模1546.1理解ngram1546.2神经语言模型介绍1566.2.1神经概率语言模型1576.2.2word2vec1586.2.3GloVe模型1616.3实现语言模型1646.3.1训练嵌入模型1646.3.2可视化嵌入向量1666.4总结169第7章理解RNN1707.1RNN介绍1707.2长短期记忆介绍1807.3门控循环单元介绍1877.4实现文本分类1897.5总结193第8章seq2seq模型和注意力机制1948.1seq2seq模型介绍1948.2使用注意力的seq2seq1968.2.1Bahdanau Attention1968.2.2Luong Attention1998.2.3一般注意力2008.2.4使用注意力实现seq2seq2018.3理解transformer2078.3.1transformer注意力2078.3.2transformer模型2108.3.3实现transformer2128.4transformer语言模型2198.4.1基于transformer的双向编码器表示2198.4.2transformerXL2248.4.3XLNet2278.4.4使用transformer语言模型生成文本2308.5总结231第四部分展望未来第9章新兴的神经网络设计2349.1GNN介绍2349.1.1循环GNN2369.1.2卷积图神经网络2389.1.3图自编码器2449.1.4神经图学习2469.2记忆增强神经网络介绍2519.2.1神经图灵机2519.2.2MANN*2569.3总结257第10章元学习25810.1元学习介绍25810.1.1零样本学习25910.1.2单样本学习26010.1.3元训练和元测试26110.2基于度量的元学习26210.2.1为单样本学习匹配网络26310.2.2孪生网络26410.2.3原型网络26710.3基于优化的元学习26910.4总结274第11章自动驾驶汽车的深度学习27511.1自动驾驶汽车介绍27511.1.1自动驾驶汽车研究简史27511.1.2自动化的级别27711.2自动驾驶汽车系统的组件27811.2.1环境感知28011.2.2路径规划28211.33D数据处理介绍28211.4模仿驾驶策略28511.5ChauffeurNet驾驶策略29411.5.1输入/输出表示29411.5.2模型架构29611.5.3训练29711.6总结300