深度学习原理及实践

\\\"本书一部从深度学习原理、算法和工程实践三个维度阐述信号处理的著作。涉及人工神经网络、卷积神经网络、生成对抗网络、长短时间记忆网络、深度自编码器及循环神经网络等模型在图像处理、信号识别及波达估计等领域的应用。利用大量实例代码对网络模型进行分析，这些案例架起了深度学习原理与应用间的桥梁，有利于加深读者对网络模型的认识，有利于读者全面深入系统地了解深度学习的算法原理、核心思想和应用技巧，达到学以致用的目的。 本书适用于从事大数据及机器学习领域工作，对人工智能和深度学习感兴趣的各类读者。\\\"

郭业才，男，博士、博导，2006年全国优秀百篇博士学位论文获得者。主持完成或承担了全国优秀博士学位论文作者专项资金、国家自然科学基金等科研项目和国家级省级教学研究项目等，共20余项；获省级科学技术成果奖和教学成果奖7项；获批并出版国家级规划教材1部、教育部电子信息类教指委规划教材3部及省重点教材2部；获授权发明专利30余件。

目录 第一篇深度学习基础篇 第1章深度学习概述 1.1人工智能 1.1.1人工智能概念 1.1.2人工智能发展历程 1.1.3人工智能学派 1.2机器学习 1.2.1机器学习问题描述 1.2.2机器学习理论基础 1.2.3机器学习基本流程 1.2.4机器学习知识框架 1.2.5机器学习三要素 1.2.6机器学习路线图 1.3表示学习 1.3.1表示学习基本概念 1.3.2表示学习理论基础 1.3.3网络表示学习流程 1.4深度学习 1.4.1深度学习与传统机器学习处理过程 1.4.2深度学习训练算法 1.4.3深度学习知识体系 1.4.4深度学习与机器学习、人工智能的关系 第2章深度学习的数学与优化基础 2.1导数与梯度 2.1.1导数 2.1.2方向导数 2.1.3梯度 2.2线性代数 2.2.1线性变换 2.2.2矩阵 2.2.3基变换 2.2.4特征值和特征向量 2.3概率论 2.3.1概率 2.3.2随机变量及其分布 2.3.3随机变量的数字特征 2.3.4随机信号中的常见分布律 2.4学习规则 2.4.1赫布规则 2.4.2性能曲面和最佳点 2.5性能优化 2.5.1最速下降法 2.5.2牛顿法 2.5.3共轭梯度法 2.6信息与熵 2.6.1信息及信息量 2.6.2信息熵 2.6.3联合熵与条件熵 2.6.4相对熵与交叉熵 2.6.5重要定理 2.6.6随机过程的熵率 第二篇神经网络篇 第3章人工神经网络 3.1神经网络 3.1.1神经网络结构与神经元 3.1.2McCullochPitts网络 3.1.3人工神经网络的拓扑结构 3.1.4人工神经网络的学习方式 3.2感知器 3.2.1单层感知器 3.2.2双层感知器 3.2.3多层感知器 3.3BP学习算法 3.4案例1： 基于PCABP神经网络的数字仪器识别技术 3.4.1表盘区域提取 3.4.2图像预处理 3.4.3字符分割 3.4.4字符识别的神经网络 3.4.5实验设计 第4章Hopfield神经网络 4.1离散Hopfield神经网络 4.1.1网络原理 4.1.2网络架构 4.2连续Hopfield神经网络 4.2.1能量函数与状态方程 4.2.2网络架构 4.2.3优化架构 4.3案例2： 基于连续Hopfield神经网络的三维地形路径规划算法 4.3.1地形函数模型 4.3.2三维地形建模 4.3.3三维地形下路径规划算法 4.3.4仿真实验与结果分析 第5章脉冲耦合神经网络 5.1脉冲耦合神经网络模型 5.1.1Eckhorn神经元模型 5.1.2脉冲耦合神经网络模型原理 5.1.3PCNN参数的作用 5.2PCNN点火行为 5.2.1无耦合连接 5.2.2耦合连接 5.3PCNN的特性 5.3.1变阈值特性 5.3.2捕获特性 5.3.3动态特性 5.3.4同步脉冲发放特性 5.4交叉皮层模型 5.5贝叶斯连接域神经网络模型 5.5.1带噪声的神经元发放方式 5.5.2神经元输入的贝叶斯耦合方式 5.5.3神经元之间的竞争关系 5.6案例3： 基于PCNN和图像熵的各向异性扩散模型 5.6.1各向异性扩散模型 5.6.2IEAD模型 5.6.3PCNNIEAD模型 5.6.4仿真实验与结果分析 第三篇卷积神经网络篇 第6章深度卷积神经网络 6.1深度学习框架 6.2卷积神经网络模型 6.2.1卷积神经网络基础 6.2.2卷积神经网络结构 6.3卷积神经网络原理 6.3.1标准卷积 6.3.2卷积连接 6.3.3卷积层 6.3.4池化层 6.4激活函数 6.5学习策略 6.5.1损失函数 6.5.2批标准化 6.5.3多监督学习 6.6规范化技术 6.7常见的几种卷积神经网络 6.7.1残差网络 6.7.2递归结构 6.7.3多路径结构 6.7.4稠密连接结构 6.7.5LeNet 5 6.7.6AlexNet 6.7.7GoogLeNet 6.8案例4： 基于卷积神经网络的调制信号识别算法 6.8.1信号模型和累积量特征 6.8.2基于卷积神经网络的调制信号识别算法 6.8.3仿真实验与结果分析 6.9案例5： 基于深度学习的信号性能特征分析 6.9.1通信信号分类特征 6.9.2基于深度神经网络的有限元判别分析 6.9.3仿真实验与结果分析 第7章混合空洞卷积神经网络 7.1空洞卷积 7.1.1增加卷积多样性的方法 7.1.2卷积多样性的表征 7.2空洞卷积神经网络 7.2.1空洞卷积的原理 7.2.2空洞卷积神经网络模型设计 7.2.3空洞卷积神经网络模型性能评价 7.2.4模型架构 7.3混合空洞卷积神经网络 7.3.1混合空洞卷积神经网络原理 7.3.2混合空洞卷积神经网络设计 7.3.3混合空洞卷积神经网络架构 7.4混合空洞Faster RCNN模型 7.4.1RCNN模型 7.4.2Fast RCNN模型 7.4.3Faster RCNN模型 7.4.4混合空洞Faster RCNN模型原理 7.4.5HDFRCNN模型设计 7.4.6HDFRCNN模型架构 7.5多尺度空洞卷积神经网络 7.6多尺度多深度空洞卷积神经网络 7.7案例6： 基于多尺度空洞卷积神经网络的遥感图像融合算法 7.7.1常用的遥感图像融合算法 7.7.2基于卷积神经网络的超分辨率重构算法 7.7.3超分辨率多尺度空洞卷积神经网络 7.7.4仿真实验与结果分析 7.8案例7： 基于多尺度多深度空洞卷积神经网络的遥感图像融合算法 7.8.1多尺度多深度空洞卷积神经网络 7.8.2仿真实验与结果分析 第8章深度生成对抗与强化学习网络 8.1概率生成模型 8.1.1依概率分类 8.1.2密度估计 8.1.3生成样本 8.1.4生成模型与判别模型 8.2变分自编码器 8.2.1含隐变量的生成模型 8.2.2推断网络 8.2.3生成网络 8.2.4综合模型 8.2.5再参数化 8.2.6训练 8.3生成对抗网络 8.3.1显式与隐式密度模型 8.3.2网络分解 8.4深度强化对抗学习网络 8.4.1Exposure图像增强模型 8.4.2相对对抗学习及奖励函数 8.4.3评论家正则化策略梯度算法 8.4.4网络结构 8.5循环生成对抗网络 8.5.1CycleGAN结构 8.5.2CycleGAN的损失函数 8.5.3改进的CycleGAN 8.6案例8： 基于生成对抗网络的高动态范围图像生成技术 8.6.1网络模型及相关模块 8.6.2HDRGAN目标函数 8.6.3仿真实验与结果分析 第四篇循环递归神经网络篇 第9章循环神经网络 9.1RNN模型 9.1.1RNN原理 9.1.2RNN的损失函数 9.1.3BPTT算法 9.2基于SGD优化的RNN算法 9.3基于RLS优化的RNN算法 9.3.1RLS算法 9.3.2RLS算法优化RNN 9.3.3RLSRNN的改进 9.4案例9： 一种关联RNN的非侵入式负荷辨识算法 9.4.1关联RNN的负荷辨识算法 9.4.2仿真实验与结果分析 9.5案例10： 基于DTCWT和RNN编码器的图像压缩算法 9.5.1数学模型 9.5.2仿真实验与结果分析 第10章深度递归级联卷积神经网络 10.1深度递归卷积神经网络 10.1.1递归卷积神经网络结构 10.1.2深度递归级联卷积神经网络框架 10.2双线性递归神经网络 10.2.1BRNN结构 10.2.2粒子群算法优化BRNN 10.33D卷积递归神经网络 10.3.13DCNN提取空间特征 10.3.2BiRNN模型 10.3.33DCRNN结构 10.4案例11： 基于注意力机制与门控循环单元的图像去雨算法 10.4.1图像去雨的注意力机制与门控循环网络模型 10.4.2仿真实验与结果分析 10.5案例12： 基于级联递归残差卷积神经网络的单幅图像超分辨率算法 10.5.1网络架构 10.5.2三层跳接递归残差网络架构 10.5.3仿真实验与结果分析 第11章长短期记忆神经网络 11.1长短期记忆神经网络 11.1.1前向计算 11.1.2LSTM网络的BPTT算法 11.1.3误差项沿时间反向传递 11.1.4权重梯度计算 11.2双路卷积长短期记忆神经网络 11.3案例13： 基于LSTM网络的非合作水声信号调制识别算法 11.3.1基于通信信号瞬时特征的LSTM分类器 11.3.2评估标准 11.3.3抗噪声性能 11.3.4仿真实验与结果分析 11.4案例14： 混合长短期记忆网络的指纹室外定位算法 11.4.1数据集和模型 11.4.2仿真实验与结果分析 附录 参考文献