深入浅出神经网络与深度学习

1.以原理为导向：本书细致阐释神经网络和深度学习的核心概念，而不是笼统地罗列想法，带领读者掌握神经网络的工作原理，技术兴衰起落，而原理是长久的； 2.注重实践：本书通过解决具体问题——教计算机识别手写数字——来介绍神经网络和深度学习的核心理论； 3.Michael Nielsen高分深度学习入门讲义正式版，本书基于Python语言编写，新手也可以很快入门； 4.李航、马少平、邱锡鹏等多位科学家重磅推荐； 5.配套动态示例，有助于直观理解神经网络输出，提供源代码。

本书深入讲解神经网络和深度学习技术，侧重于阐释深度学习的核心概念。作者以技术原理为导向，辅以贯穿全书的MNIST手写数字识别项目示例，介绍神经网络架构、反向传播算法、过拟合解决方案、卷积神经网络等内容，以及如何利用这些知识改进深度学习项目。学完本书后，读者将能够通过编写Python代码来解决复杂的模式识别问题。

【作者简介】 迈克尔·尼尔森（Michael Nielsen） 计算机科学家、量子物理学家、科普作家，Y Combinator Research的研究Fellow，曾受邀在哈佛大学、斯坦福大学、麻省理工学院、剑桥大学、牛津大学等高校以及谷歌和微软等公司做主题演讲，另著有高分作品《重塑发现》和《量子计算和量子信息》。 【译者简介】 朱小虎 University AI创始人兼首席科学家、Center for Safe AGI创始人、谷歌开发者机器学习专家、百度深度学习布道者。和团队核心成员一起创建了TASA、DL Center（深度学习知识中心全球价值网络）和AI Growth（行业智库培训）等。举办过多场国际性人工智能峰会和活动。在多个技术平台写下了近百万字的人工智能精品技术内容。曾受邀为多所国内高校制定人工智能学习规划和教授人工智能前沿课程，也曾为多家世界500强企业提供人工智能方面的战略布局建议及落地实施等方面的咨询建议。

前言
第1章使用神经网络识别手写数字1
1．1感知机2
1．2sigmoid神经元7
1．3神经网络的架构11
1．4一个简单的神经网络：分类手写数字13
1．5利用梯度下降算法进行学习17
1．6实现分类数字的神经网络25
1．7迈向深度学习37
第2章反向传播算法工作原理41
2．1热身：使用矩阵快速计算输出41
2．2关于代价函数的两个假设43
2．3阿达马积s⊙t45
2．4反向传播的4个基本方程45
2．5基本方程的证明（选学）50
2．6反向传播算法51
2．7反向传播代码53
2．8就何而言，反向传播算快55
2．9反向传播：全局观56
第3章改进神经网络的学习方法60
3．1交叉熵代价函数60
3．1．1引入交叉熵代价函数64
3．1．2使用交叉熵来对MNIST数字进行分类71
3．1．3交叉熵的含义与起源72
3．1．4softmax74
3．2过拟合和正则化78
3．2．1正则化84
3．2．2为何正则化有助于减轻过拟合89
3．2．3其他正则化技术93
3．3权重初始化102
3．4复探手写识别问题：代码106
3．5如何选择神经网络的超参数116
3．6其他技术126
3．6．1随机梯度下降算法的变化形式126
3．6．2其他人工神经元模型129
3．6．3有关神经网络的故事132
第4章神经网络可以计算任何函数的可视化证明134
4．1两个预先声明136
4．2一个输入和一个输出的普遍性137
4．3多个输入变量146
4．4不止sigmoid神经元154
4．5修补阶跃函数156
4．6小结159
第5章为何深度神经网络很难训练160
5．1梯度消失问题163
5．2梯度消失的原因168
5．2．1为何出现梯度消失170
5．2．2梯度爆炸问题171
5．2．3梯度不稳定问题172
5．2．4梯度消失问题普遍存在172
5．3复杂神经网络中的梯度不稳定173
5．4深度学习的其他障碍174
第6章深度学习175
6．1卷积神经网络入门176
6．1．1局部感受野178
6．1．2共享权重和偏置180
6．1．3池化层182
6．2卷积神经网络的实际应用184
6．2．1使用修正线性单元188
6．2．2扩展训练数据189
6．2．3插入额外的全连接层191
6．2．4集成神经网络192
6．3卷积神经网络的代码195
6．4图像识别领域近期的进展208
6．4．12012年的LRMD论文208
6．4．22012年的KSH论文209
6．4．32014年的ILSVRC竞赛211
6．4．4其他活动212
6．5其他深度学习模型214
6．5．1循环神经网络214
6．5．2长短期记忆单元216
6．5．3深度信念网络、生成模型和玻尔兹曼机216
6．5．4其他想法217
6．6神经网络的未来217
6．6．1意图驱动的用户界面217
6．6．2机器学习、数据科学和创新的循环218
6．6．3神经网络和深度学习的作用218
6．6．4神经网络和深度学习将主导人工智能219
附录是否存在关于智能的简单算法222