深度学习程序设计实战

序
前言
第1章程序设计方法
1.1自顶向下的程序设计
1.1.1问题分解和自顶向下的程序设计方法
1.1.2五猴分桃问题
1.1.3猜姓氏问题
1.1.4囚犯问题
1.1.5扑克牌问题
1.2递归程序设计
1.2.1河内塔问题
1.2.2兔子问题
1.2.3字符串匹配问题
1.2.4组合问题
1.2.5人字形铁路问题
1.3面向对象的程序设计
1.3.1方法重定义和分数
1.3.2二十四点问题
1.4结束语
第2章反向传播算法
2.1导数和导数的应用
2.1.1导数
2.1.2梯度下降法求函数的最小值
2.1.3牛顿法求平方根
2.1.4复合函数和链式法则
2.1.5多元函数和全微分方程
2.1.6反向传播算法
2.1.7梯度
2.1.8分段求导
2.2自动求导和人工智能框架
2.2.1表达式和自动求偏导
2.2.2表达式求值
2.2.3求解任意方程
2.2.4求解任意方程组
2.2.5求解任意函数的极小值
2.2.6张量、计算图和人工智能框架
2.3结束语
第3章神经元网络初步
3.1Tensorflow基本概念
3.1.1计算图、张量、常数和变量
3.1.2会话、运行
3.1.3占位符
3.1.4矩阵算术运算
3.1.5矩阵运算的广播
3.1.6TF矩阵运算
3.1.7形状和操作
3.1.8关系运算和逻辑运算
3.2优化器和计算图
3.2.1梯度和优化器
3.2.2求解平方根
3.2.3计算图
3.3三层神经网络
3.3.1神经元网络训练算法
3.3.2线性变换和激活函数
3.3.3矩阵乘法和全连接
3.3.4激活函数
3.3.5全连接和Relu的梯度
3.3.6求正弦
3.3.7BGD、SGD和MBGD
3.3.8三层神经网络模型
3.4用三层神经网络拟合任意一个函数
3.4.1三层神经网络拟合一元函数
3.4.2样本、训练和预测
3.4.3中间层神经元个数和样本数量之间的关系
3.4.4自变量越界会发生什么
3.4.5同时拟合cos(x)、sin(x)
3.4.6拟合多元函数
3.4.7过拟合
3.5手写数字识别
3.5.1手写数字样本集合MNIST
3.5.2独热向量
3.5.33种损失函数
3.5.4softmax函数
3.5.5保存和恢复模型
3.5.6验证模型
3.5.7测试和使用模型
3.6结束语
第4章卷积神经网络
4.1卷积
4.1.1一维卷积
4.1.2二维卷积
4.1.3通道
4.1.4TF对卷积的第一种实现
4.1.5TF对卷积的第二种实现
4.1.6卷积的实质
4.2池化操作
4.2.1优选值池化和平均值池化
4.2.2池化操作的梯度
4.3用CNN实现手写数字识别
4.3.1模型的结构
4.3.2模型参数数量和计算量
4.3.3关于全连接和Dropout
4.3.4用Tensorboard监视训练
4.4手写数字生成
4.4.1生成问题
4.4.2VAE模型和语义
4.4.3反卷积操作
4.4.4网络的结构
4.4.5动量
4.4.6控制依赖
4.4.7预测
4.5条件VAE模型
4.5.1CVAE模型
4.5.2条件式手写数字生成模型
4.6使用GPU
4.6.1单GPU和nvidia-smi命令
4.6.2多GPU和重名问题
4.6.3多GPU的梯度
4.6.4多GPU训练
4.6.5多GPU预测
4.7残差神经网络
4.7.1残差神经网络的实现
4.7.2BN操作
4.8表情识别
4.8.1样本
4.8.2通用超级框架
4.8.3模型
4.9人脸识别和人脸对比
4.9.1人脸识别
4.9.2简单人脸对比
4.9.3简单人脸对比的实现
4.9.4法向量和夹角余弦
4.9.5基于夹角余弦的人脸对比
4.10语义分割和实例分割
4.10.1什么是语义分割和实例分割
4.10.2多分类问题
4.10.3U型网络
4.10.4语义分割和实例分割的实现
4.10.5点到点的语义分割和实例分割
4.11其他CNN模型
4.12优化器
4.12.1GradientDescentOptimizer
4.12.2MomentumOptimizer
4.12.3RMSPropOptimizer
4.12.4AdamOptimizer
4.12.5AdagradOptimizer
4.12.6AdadeltaOptimizer
4.13结束语
第5章循环神经网络
5.1什么是循环神经网络
5.2RNN的结构
5.2.1简单RNN模型
5.2.2多层RNN
5.3诗歌生成器
5.3.1样本预处理
5.3.2字向量
5.3.3可洗牌的DataSet
5.3.4生成诗歌
5.4LSTM模型
5.4.1基本LSTM模型
5.4.2LSTM变体之一——Peephole
5.4.3LSTM变体之二——GRU
……