深度学习笔记

　　《深度学习笔记》作为一本以“笔记”命名的深度学习图书，主要定位是面向广大希望入门深度学习的初学者。本书以深度神经网络(DNN)、卷积神经网络(CNN)和循环神经网络(RNN)为核心，详细介绍了深度学习的理论基础、通用方法和三大网络的原理与实践。全书代码以Keras框架作为范例，对于初学者而言简单易懂。 　　对于深度学习而言，本书内容丰富，知识覆盖面广，兼有代码实战,适合想要入门深度学习的广大学习者阅读。

　　鲁伟，贝叶斯统计方向硕士毕业，深度学习算法工程师，微信公众号“机器学习实验室”主编，对人工智能、机器学习、深度学习、医学图像处理和计算机视觉等有深入研究。

第1讲神经网络与深度学习1 1.1机器学习与深度学习的关系2 1.2感知机与神经网络3 第2讲神经网络的过拟合与正则化7 2.1机器学习的核心要义8 2.2范数与正则化9 2.3神经网络的正则化和Dropout11 第3讲深度学习的优化算法14 3.1机器学习的数学规约15 3.2损失函数和深度学习优化算法15 3.3梯度下降法16 3.4从Momentum到Adam18 第4讲卷积神经网络21 4.1CNN发展简史与相关人物22 4.2卷积的含义23 4.3池化和全连接26 深度学习笔记目录第5讲CNN图像学习过程与可视化28 5.1CNN的直观理解29 5.2CNN图像学习的可视化31 第6讲CNN图像分类：从LeNet5到EfficientNet37 6.1计算机视觉的三大任务38 6.2CNN图像分类发展史39 第7讲CNN目标检测：从RCNN到YOLO47 7.1目标检测概述48 7.2CNN目标检测算法49 第8讲CNN图像分割：从FCN到U-Net56 8.1语义分割和实例分割概述57 8.2语义分割58 第9讲迁移学习理论与实践65 9.1迁移学习：深度学习未来五年的驱动力？66 9.2迁移学习的使用场景66 9.3深度卷积网络的可迁移性67 9.4迁移学习的使用方法68 9.5基于ResNet的迁移学习实验68 第10讲循环神经网络76 10.1从语音识别到自然语言处理77 10.2RNN：网络架构与技术79 10.3四种RNN结构81 第11讲长短期记忆网络84 11.1深度神经网络的困扰：梯度爆炸与梯度消失85 11.2LSTM：让RNN具备更好的记忆机制87 第12讲自然语言处理与词向量91 12.1自然语言处理简介92 12.2词汇表征93 12.3词向量与语言模型94 第13讲word2vec词向量98 13.1word2vec99 13.2word2vec的训练过程：以CBOW为例100 第14讲seq2seq与注意力模型104 14.1seq2seq的简单介绍105 14.2注意力模型105 14.3基于seq2seq和Attention机制的机器翻译实践108 第15讲语音识别118 15.1概述119 15.2信号处理与特征提取120 15.3传统声学模型122 15.4基于深度学习的声学模型123 15.5端到端的语音识别系统简介125 第16讲从Embedding到XLNet：NLP预训练模型简介127 16.1从Embedding到ELMo128 16.2特征提取器：Transformer129 16.3低调王者：GPT131 16.4封神之作：BERT131 16.5持续创新：XLNet132 第17讲深度生成模型之自编码器134 17.1自编码器135 17.2自编码器的降噪作用136 17.3变分自编码器138 17.4VAE的Keras实现143 第18讲深度生成模型之生成式对抗网络148 18.1GAN149 18.2训练一个DCGAN151 第19讲神经风格迁移、深度强化学习与胶囊网络159 19.1神经风格迁移160 19.2深度强化学习162 19.3胶囊网络166 第20讲深度学习框架171 20.1概述172 20.2TensorFlow173 20.3Keras175 20.4PyTorch176 第21讲深度学习数据集179 21.1CV经典数据集180 21.2NLP经典数据集187 参考文献189