基于Theano的深度学习

本书主要介绍了深度学习的基本概念和常用网络以及Theano在深度学习中的应用。全书共13章，首先介绍了Theano的基础知识，包括张量、计算图、符号计算、张量算子、自动微分等概念，然后分别介绍了基于前馈神经网络的手写体数字分类、单词的向量编码、基于递归神经网络的文本生成、基于双向LSTM的情感分析、基于空间变换网络的定位、基于剩余网络的图像分类、基于编码—解码网络的翻译与解释、基于注意力机制的相关输入或记忆选择、基于优选递归神经网络的时间序列预测、强化环境学习和基于非监督式网络的特征学习等内容，后介绍了Theano在深度学习中的扩展可能性。

克里斯托弗·布雷斯(Christopher Bourez)，于2005年毕业于巴黎综合理工大学和卡尚高等师范学院，获得数学、机器学习和计算机视觉(MVA)的硕士学位。
7年来，他创立了一家计算机视觉公司，在2007年推出了一种用于iPhone的视觉识别应用程序Pixee，与巴黎市的各大影院品牌和一些主要票务经销商合作：通过一张照片，用户可以获取有关活动、产品和购票方式等信息。
在应用Caffe、TensorFlow或Torch来完成计算机视觉任务的过程中，通过计算机科学的博客，帮助其他开发人员成功实现。其中一篇博客文章――“A tutorial on the Caffe deep learning technology”（基于Caffe的深度学习技术教程），已成为继Caffe官方网站之后在网络上很受欢迎的教程。
在Packt出版社的积极倡导下，将其撰写Caffe教程的成功经验移植到关于Theano技术的本书上。与此同时，还深入研究了有关深度学习的广泛问题，并在Theano及其应用方面积累了更多的实践经验。

译者序
原书前言
本书作者
原书致谢
第1章Theano基础//1
1.1张量所需//1
1.2安装和加载Theano//2
1.2.1Conda软件包和环境管理器//2
1.2.2在CPU上安装和运行Theano//2
1.2.3GPU驱动和相关库//3
1.2.4在GPU上安装和运行Theano//4
1.3张量//5
1.4计算图和符号计算//8
1.5张量操作//11
1.5.1维度操作算子//13
1.5.2元素操作算子//14
1.5.3约简操作算子//16
1.5.4线性代数算子//16
1.6内存和变量//18
1.7函数和自动微分//20
1.8符号计算中的循环运算//22
1.9配置、分析和调试//26
1.10小结//29
第2章基于前馈神经网络的手写体数
字分类//30
2.1MNIST数据集//30
2.2训练程序架构//32
2.3分类损失函数//33
2.4单层线性模型//34
2.5成本函数和误差//35
2.6反向传播算法和随机梯度下降//36
2.7多层模型//37
2.8卷积层和最大池化层//43
2.9训练//47
2.10退出//52
2.11推理//52
2.12优化和其他更新规则//52
2.13延伸阅读//56
2.14小结//57
第3章单词的向量编码//58
3.1编码和嵌入//58
3.2数据集//60
3.3连续词袋模型//62
3.4模型训练//66
3.5可视化学习嵌入//68
3.6嵌入评价—类比推理//70
3.7嵌入评价—量化分析//72
3.8单词嵌入应用//72
3.9权重绑定//73
3.10延伸阅读//73
3.11小结//74
第4章基于递归神经网络的文本生成//75
4.1RNN所需//75
4.2自然语言数据集//76
4.3简单递归网络//79
4.3.1LSTM网络//81
4.3.2门控递归网络//83
4.4自然语言性能评测//84
4.5训练损失比较//84
4.6预测示例//86
4.7RNN的应用//87
4.8延伸阅读//88
4.9小结//89
第5章基于双向LSTM的情感分析//90
5.1Keras的安装和配置//90
5.1.1Keras编程//91
5.1.2SemEval2013数据集//93
5.2文本数据预处理//94
5.3模型架构设计//96
5.3.1单词的向量表征//96
5.3.2基于双向LSTM的语句表征//97
5.3.3softmax分类器的输出概率//98
5.4模型编译与训练//99
5.5模型评估//99
5.6模型保存与加载//100
5.7示例运行//100
5.8延伸阅读//100
5.9小结//101
第6章基于空间变换网络的定位//102
6.1基于Lasagne的MNISTCNN模型//102
6.2定位网络//104
6.2.1RNN在图像中的应用//108
6.3基于共定位的非监督式学习//112
6.4基于区域的定位网络//112
6.5延伸阅读//113
6.6小结//114
第7章基于残差网络的图像分类//115
7.1自然图像数据集//115
7.1.1批处理标准化//116
7.1.2全局平均池化//117
7.2残差连接//118
7.3随机深度//123
7.4密集连接//124
7.5多GPU//125
7.6数据增强//126
7.7延伸阅读//127
7.8小结//127
第8章基于编码—解码网络的翻译与解释//128
8.1序列—序列网络在自然语言处理中的应用//128
8.2序列—序列网络在语言翻译中的应用//133
8.3序列—序列网络在聊天机器人中的应用//134
8.4序列—序列网络的效率提高//134
8.5图像反卷积//136
8.6多模态深度学习//140
8.7延伸阅读//140
8.8小结//142
第9章基于注意力机制的相关输入或记忆选择//143
9.1注意力可微机制//143
9.1.1基于注意力机制的最佳翻译//144
9.1.2基于注意力机制的最佳图像注释//145
9.2神经图灵机中的信息存储和检索//146
9.3记忆网络//148
9.3.1基于动态记忆网络的情景记忆//149
9.4延伸阅读//150
9.5小结//151
第10章基于先进递归神经网络的时
间序列预测//152
10.1RNN的退出//152
10.2RNN的深度学习方法//153
10.3层叠递归网络//154
10.4深度转移递归网络//157
10.5高速网络设计原理//157
10.6递归高速网络//158
10.7延伸阅读//159
10.8小结//159
第11章强化环境学习//160
11.1强化学习任务//160
11.2仿真环境//161
11.3Q学习//164
11.4深度Q学习网络//166
11.5训练稳定性//167
11.6基于REINFORCE算法的策略梯度//169
11.7延伸阅读//171
11.8小结//172
第12章基于非监督式网络的特征学习//173
12.1生成模型//173
12.1.1受限玻耳兹曼机//173
12.1.2深度信念网络//177
12.1.3生成性对抗网络//178
12.1.4改进GAN//182
12.2半监督式学习//182
12.3延伸阅读//183
12.4小结//184
第13章基于Theano的深度学习扩展//185
13.1CPU中Python实现的Theano操作//185
13.2GPU中Python实现的Theano//操作
13.4CPU中C实现的Theano操作//193
13.5通过共享内存的合并转置，NVIDIA并行//196
13.6人工智能的未来发展//199
13.7延伸阅读//201
13.8小结//202

通过神经网络架构设计的见解和实践可解决人工智能问题，理解深度学习中最先进网络的相关概念。利用 Python实现的 Theano技术能够很容易地计算导数并最小化所选择的目标函数。本书主要内容第 1章  Theano基础，帮助读者学习了解 Theano的主要概念，编写可在不同硬件架构上编译的代码，并自动优化复杂的数学目标函数。第 2章  基于前馈神经网络的手写体数字分类，主要介绍一个已证明深度学习算法优越性的简单常见示例。最初问题是识别手写体数字。第 3章  单词的向量编码，神经网络的主要难点之一是将真实世界的数据连接到神经网络的输入端，特别是分类和离散数据。本章将介绍一个如何利用 Theano通过训练来构建嵌入空间的示例。这种嵌入方式在机器翻译、机器人、图像字幕等方面非常有用，因为可以将真实世界的数据转换成可由神经网络处理的向量数组。第 4章  基于递归神经网络的文本生成，通过一个简单的示例实践介绍了神经网络的递归，以生成文本。递归神经网络（ RNN）是深度学习中的一个研究热点，能够实现序列预测、序列生成、机器翻译和对象关联等任务。自然语言处理（ NLP）是推动机器学习新技术发展的第二个热门研究领域。第 5章  基于双向 LSTM 的情感分析，将嵌入技术和递归层应用于自然语言处理的一个新课题，即情感分析。本章实际上是对前几章内容的一种验证。以此同时，还介绍了基于 Theano构建神经网络的另一种方法，即采用一种更高级的库— Keras。第 6章  基于空间变换网络的定位，将递归技术应用于图像，从而一次读取图像页面上的多个数字。在此，利用用于 Theano深度学习的内置模块库—Lasagne来重新构建手写体数字图像的分类网络及其递归模型。 Lasagne库有助于设计神经网络进行更快实验。在此情况下，将通过空间变换模块来提高分类质量，从而解决计算机视觉中的一个常见难题—对象定位问题。第 7章  基于残差网络的图像分类，以最佳精度对任何类型的图像进行分类。同时，为了更容易地构建更复杂网络，本章将通过一个已具有许多实现组件的基于 Theano框架的 Lasagne库来更快地实现 Theano下的神经网络。第 8章  基于编码—解码网络的翻译与解释，介绍了应用于文本处理的编码—解码技术，这些技术已大量应用于机器翻译和简单聊天机器人系统中。同时还可应用于图像处理，原书前言主要是实现场景分割和对象定位。最后，图像字幕技术是一种图像编码和文本解码相结合的混合技术。本章进一步应用了非常流行的高级库 Keras，由此极大简化了 Theano下神经网络的开发。第 9章  基于注意力机制的相关输入或记忆选择，为解决更复杂的任务，机器学习界研究人员一直在寻找一种受自然启发的更高层次智能：推理、注意力和记忆。在本章，读者主要学习基于人工智能的记忆网络在 NLP中的应用：语言理解。第 10章  基于先进递归神经网络的时间序列预测，时间序列是机器学习中广泛应用的一个重要领域。本章将利用 RNN的先进技术，来获得最新成果。第 11章  强化环境学习，强化学习是机器学习的一个重要研究领域，主要是训练一个智能体在环境下的行为（如视频游戏），通过在环境中执行某些动作（按下控制器上的按键）和观察所发生的变化来得到一个最优量（最大化游戏得分）。强化学习新范式为计算机和现实世界之间的算法设计和交互开辟了一条全新道路。第 12章  基于非监督式网络的特征学习，非监督式学习主要是无需标记训练数据的新训练算法。这些算法试图从数据中推断出称为因素的隐藏标签，并由其中一些因素生成新的合成数据。非监督式训练在许多情况下非常有用，其中包括无标签，或人工标注数据成本太高，或数据集太小而使得特征过拟合数据等情况。对于最后一种情况，对未标记数据进行更多训练以获得更好的特征是监督式学习的基础。第 13章  基于 Theano的深度学习扩展，扩展了 Theano下深度学习的更多可能性。提出了为计算图创建新算子的方法，在 CPU或 GPU中，简化 Python程序，或减少 C语言中 Python的开销。另外，还介绍了 GPU并行编程的基本概念。最后，根据本书所介绍的第一项技术，开启通用人工智能领域，并逐步开发新技能，使得进一步提高完善。为何选择 Theano？ Theano的研发时间和成本是非常可观的，要了解其中的原委，一个重要的原因是 Theano是目前最好的深度学习技术，远非仅是一个深度学习库。选择 Theano主要是以下 3个原因： . 具有其他数值计算库或深度学习库的类似性能； . 具有丰富的 Python系统； . 根据给定模型，可由数据来评估任何函数约束，从而可以求解任何优化问题。首先考虑技术本身的性能。在深度学习方面常用的库有 Theano（用于 Python）、 Torch（用于 Lua）、Tensorflow（用于 Python）和 Caffe（用于 C++和 Python封装）。目前已有很多基准可对深入学习技术进行比较。 2012年 Bastien等人提出（ Theano：new features and speed improvements，FrédéricBastien， Pascal Lamblin，Razvan Pascanu，James Bergstra，Ian Goodfellow，Arnaud Bergeron，Nicolas Bouchard，David Warde-Farley，Y