人工智能算法(卷3):深度学习和神经网络

1.本卷研究了当前的神经网络技术，包括ReLU 激活、随机梯度下降、交叉熵、正则化、Dropout 和可视化； 2.丰富的示例代码和在线资源，方便动手实践与拓展学习； 3.提供在线实验环境； 4.全彩印刷； 5.《人工智能算法 卷3 深度学习和神经网络》是系列图书第3本，卷1《人工智能算法 卷1 基础算法》、卷2《人工智能算法 卷2 受大自然启发的算法》已在人民邮电出版社出版；。 自人工智能的早期阶段以来，神经网络就扮演着至关重要的角色。现在，令人兴奋的新技术，例如深度学习和卷积，正在将神经网络带向一个全新的方向。本书结合各种现实世界任务中的神经网络应用，例如图像识别和数据科学，介绍了当前的神经网络技术，包括ReLU激活、随机梯度下降、交叉熵、正则化、Dropout和可视化。 本书的目标读者是那些对人工智能感兴趣，但苦于没有良好的数学基础的人。读者只需要对大学代数课程有基本了解即可。本书为读者提供配套的示例程序代码，目前已有Java、C#和Python版本。 推荐阅读： 《人工智能算法（卷1）：基础算法》ISBN：9787115523402 《人工智能算法（卷2）：受大自然启发的算法》ISBN：9787115544315

自早期以来，神经网络就一直是人工智能的支柱。现在，令人兴奋的新技术（例如深度学习和卷积）正在将神经网络带入一个全新的方向。在本书中，我们将演示各种现实世界任务中的神经网络，例如图像识别和数据科学。我们研究了当前的神经网络技术，包括ReLU激活、随机梯度下降、交叉熵、正则化、Dropout及可视化等。本书适合作为人工智能人门读者以及对人工智能算法感兴趣的读者阅读参考。

 

第1章 神经网络基础
1.1 神经元和层
1.2 神经元的类型
1.2.1 输入和输出神经元
1.2.2 隐藏神经元
1.2.3 偏置神经元
1.2.4 上下文神经元
1.2.5 其他神经元名称
1.3 激活函数
1.3.1 线性激活函数
1.3.2 阶跃激活函数
1.3.3 S型激活函数
1.3.4 双曲正切激活函数
1.4 修正线性单元
1.4.1 Softmax激活函数
1.4.2 偏置扮演什么角色？
1.5 神经网络逻辑
1.6 本章小结
第2章 自组织映射
2.1 自组织映射和邻域函数
2.1.1 理解邻域函数
2.1.2 墨西哥帽邻域函数
2.1.3 计算SOM误差
2.2 本章小结
第3章 霍普菲尔德神经网络和玻尔兹曼机
3.1 霍普菲尔德神经网络
训练霍普菲尔德神经网络
3.2 Hopfield-Tank神经网络
3.3 玻尔兹曼机
玻尔兹曼机概率
3.4 应用玻尔兹曼机
3.4.1 旅行商问题
3.4.2 优化问题
3.4.3 玻尔兹曼机训练
3.5 本章小结
第4章 前馈神经网络
4.1 前馈神经网络结构
用于回归的单输出神经网络
4.2 计算输出
4.3 初始化权重
4.4 径向基函数神经网络
4.4.1 径向基函数
4.4.2 径向基函数神经网络示例
4.5 规范化数据
4.5.1 1-of-n编码
4.5.2 范围规范化
4.5.3 分数规范化
4.5.4 复杂规范化
4.6 本章小结
第5章 训练与评估
5.1 评估分类
5.1.1 二值分类
5.1.2 多类分类
5.1.3 对数损失
5.1.4 多类对数损失
5.2 评估回归
5.3 模拟退火训练
5.4 本章小结
第6章 反向传播训练
6.1 理解梯度
6.1.1 什么是梯度
6.1.2 计算梯度
6.2 计算输出节点增量
6.2.1 二次误差函数
6.2.2 交叉熵误差函数
6.3 计算剩余节点增量
6.4 激活函数的导数
6.4.1 线性激活函数的导数
6.4.2 Softmax激活函数的导数
6.4.3 S型激活函数的导数
6.4.4 双曲正切激活函数的导数
6.4.5 ReLU激活函数的导数
6.5 应用反向传播
6.5.1 批量训练和在线训练
6.5.2 随机梯度下降
6.5.3 反向传播权重更新
6.5.4 选择学习率和动量
6.5.5 Nesterov动量
6.6 本章小结
第7章 其他传播训练
7.1 弹性传播
7.2 RPROP参数
7.3 数据结构
7.4 理解RPROP
7.4.1 确定梯度的符号变化
7.4.2 计算权重变化
7.4.3 修改更新值
7.5 莱文伯格-马夸特算法
7.6 黑塞矩阵的计算
7.7 具有多个输出的LMA
7.8 LMA过程概述
7.9 本章小结
第8章 NEAT、CPPN和HyperNEAT
8.1 NEAT神经网络
8.1.1 NEAT突变
8.1.2 NEAT交叉
8.1.3 NEAT物种形成
8.2 CPPN
CPPN表型
8.3 HyperNEAT神经网络
8.3.1 HyperNEAT基板
8.3.2 HyperNEAT计算机视觉
8.4 本章小结
第9章 深度学习
9.1 深度学习的组成部分
9.2 部分标记的数据
9.3 修正线性单元
9.4 卷积神经网络
9.5 神经元Dropout
9.6 GPU训练
9.7 深度学习工具
9.7.1 H2O
9.7.2 Theano
9.7.3 Lasagne和nolearn
9.7.4 ConvNetJS
9.8 深度信念神经网络
9.8.1 受限玻尔兹曼机
9.8.2 训练DBNN
9.8.3 逐层采样
9.8.4 计算正梯度
9.8.5 吉布斯采样
9.8.6 更新权重和偏置
9.8.7 DBNN反向传播
9.8.8 深度信念应用
9.9 本章小结
第10章 卷积神经网络
10.1 LeNet-5
10.2 卷积层
10.3 优选池层
10.4 稠密层
10.5 针对MNIST数据集的卷积神经网络
10.6 本章小结
第11章 剪枝和模型选择
11.1 理解剪枝
11.1.1 剪枝连接
11.1.2 剪枝神经元
11.1.3 改善或降低表现
11.2 剪枝算法
11.3 模型选择
11.3.1 网格搜索模型选择
11.3.2 随机搜索模型选择
11.3.3 其他模型选择技术
11.4 本章小结
第12章 Dropout和正则化
12.1 L1和L2正则化
12.1.1 理解L1正则化
12.1.2 理解L2正则化
12.2 Dropout
12.2.1 Dropout层
12.2.2 实现Dropout层
12.3 使用Dropout
12.4 本章小结
第13章 时间序列和循环神经网络
13.1 时间序列编码
13.1.1 为输入和输出神经元编码数据
13.1.2 预测正弦波
13.2 简单循环神经网络
13.2.1 埃尔曼神经网络
13.2.2 若当神经网络
13.2.3 通过时间的反向传播
13.2.4 门控循环单元
13.3 本章小结
第14章 构建神经网络
14.1 评估神经网络
14.2 训练参数
14.2.1 学习率
14.2.2 动量
14.2.3 批次大小
14.3 常规超参数
14.3.1 激活函数
14.3.2 隐藏神经元的配置
14.4 LeNet-5超参数
14.5 本章小结
第15章 可视化
15.1 混淆矩阵
15.1.1 读取混淆矩阵
15.1.2 创建混淆矩阵
15.2 t-SNE降维
15.2.1 t-SNE可视化
15.2.2 超越可视化的t-SNE
15.3 本章小结
第16章 用神经网络建模
16.1 Kaggle竞赛
16.1.1 挑战赛的经验
16.1.2 挑战赛取胜的方案
16.1.3 我们在挑战赛中的方案
16.2 用深度学习建模
16.2.1 神经网络结构
16.2.2 装袋多个神经网络
16.3 本章小结
附录A 示例代码使用说明
A.1 系列图书简介
A.2 保持更新
A.3 获取示例代码
A.3.1 下载压缩文件
A.3.2 克隆Git仓库
A.4 示例代码的内容
A.5 如何为项目做贡献
参考资料