人工神经网络原理:从基础设计到深度学习

\\\"深度学习技术属于人工神经网络的范畴，而人工神经网络已有几十年发展历程，各种重要的技术分别散落在不同时期的学术文献中。对于需要系统学习新知识的初学者来说，从许多技术文献中开始学习并不是好的方式，经验告诉我们应该从一本内容合理、逻辑性强的图书开始，学习人工神经网络也不例外。本书基本涵盖了人工神经网络纵向发展历程中的主要节点技术，能够满足需要系统学习的读者需求。 本书从生物神经网络基础开始，围绕人工神经网络技术的纵向发展特征进行了深入浅出的讲解和探讨，内容合理、系统性强。具体来说，第1章内容高屋建瓴，涉及人工神经网络的引入及其角色，作者主要从体系架构和并行性两个方面说明人工神经网络的潜在优势。第2-3章介绍生物神经网络基础和人工神经网络原理，第4-5章分别介绍单层/多层感知器和Madaline网络，第6章介绍经典和改进的反向传播算法。第7-8章分别介绍霍普菲尔德(Hopfield)网络和对偶传播(Counter Propagation)网络，第9章介绍更接近生物神经网络的自适应共振(ART)网络。第10章介绍神经认知机，这是后来卷积神经网络发展的灵感来源，而卷积神经网络引领深度学习成为当代人工智能的主流技术。第11章介绍神经网络的统计(随机)训练知识，第12章介绍循环神经网络。第13章介绍深度学习神经网络的原则及范围，第14-15章分别介绍卷积神经网络和LAMSTAR神经网络，最后第16章是内容广泛的比较案例研究。 本书内容合理，向读者介绍了人工神经网络中使用的基本方法，并试图解释它们的数学基础和设计细节。同时本书突出知识学习的实用性，在第4-9章，第11-12章，第16章均含有相应的案例研究代码供读者学习参考，能激发读者的学习兴趣。 本书适用于理工科大学的人工智能、计算机、数据科学等专业高年级本科生或者研究生，也可作为人工智能相关领域的研究/技术人员的参考书籍，对该主题感兴趣的读者也可将本书作为自学参考书。要阅读使用本书，读者应具备一些线性代数和微积分方面的数学基础，以及计算编程技能(不限于特定的编程语言)。\\\"

\"丹尼尔？格劳佩（Daniel Graupe），在英国利物浦大学获得电气工程博士学位，美国伊利诺伊大学芝加哥分校(UIC)电气与计算机工程系的荣誉退休教授，1985年成为IEEE会员，2003年成为IEEE终身会员。他撰写了多本教科书，并被翻译为俄文、中文等多国语言版本。他在控制系统、时间序列分析、随机信号与图像处理、神经网络、神经工程等多个领域均有深入研究。丹尼尔教授开发了一种大记忆存储和检索神经网络（LAMSTAR）；还发明和开发了第一个FDA批准的商业电刺激系统PARASTEP，以帮助胸部截瘫患者独立行走；他还发明和开发了盲自适应滤波（BAF）系统，用于从未知信号中过滤未知噪声，并实现商业化，用于过滤助听器语音中的未知环境噪声，因此他也在文献中被认为是数字助听器之父。 韩光辉，2018年获得北京理工大学工学博士学位，中山大学博士后，现为华北水利水电大学副教授，研究生导师。主要研究方向为人工智能、深度强化学习、医学图像分析。主持和参与多项国家级、省部级人工智能相关的科研项目，发表学术论文二十余篇。\"

第1章 人工神经网络的引入及其角色 第2章 生物神经网络基础 第3章 人工神经网络的基本原理及其结构 3.1 人工神经网络设计的基本原理 3.2 基本神经结构 3.3 感知机的输入/输出原理 3.4 The Adaline（ALC） 第4章 感知机 4.1 基本结构 4.2 单层表示问题 4.3 单层感知机的局限性 4.4 多层感知机 4.A 感知机案例研究：识别自回归信号参数（AR时间序列识别） 第5章 Madaline 5.1 Madaline训练 5.A Madaline案例研究：字符识别 第6章 反向传播 6.1 反向传播学习过程 6.2 BP算法的推导 6.3 改进的BP算法 6.A 反向传播案例研究：字符识别问题 6.B 反向传播案例研究：异或（XOR）问题（两层BP） 6.C 反向传播案例研究：异或（XOR）问题（三层BP） 6.D 使用反向传播神经网络预报月平均高低温 第7章 Hopfield网络 7.1 引言 7.2 二元Hopfield网络 7.3 Hopfield网络中权值的设置——双向联想记忆原理 7.4 沃尔什函数 7.5 网络稳定性 7.6 实现Hopfield网络的程序摘要 7.7 连续Hopfield模型 7.8 连续能量（Lyapunov）函数 7.A Hopfield网络案例研究：字符识别问题 7.B Hopfield网络案例研究：旅行商问题 7.C 基于神经网络的细胞形状检测 第8章 对偶传播 8.1 引言 8.2 Kohonen自组织映射层 8.3 Grossberg层 8.4 Kohonen层的训练 8.5 Grossberg层的训练 8.6 组合的对偶传播网络 8.A 对偶传播网络案例研究：字符识别问题 第9章 自适应共振理论 9.1 引言 9.2 ART网络的结构 9.3 ART网络的建立 9.4 网络操作 9.5 ART网络的性质 9.6 ART I和ART II网络的讨论和总体评述 9.A ART I网络案例研究：字符识别问题 9.B ART I网络案例研究：语音识别问题 第10章 认知机和神经认知机 10.1 引言 10.2 认知机的基本原理 10.3 网络操作 10.4 认知机的网络训练 10.5 神经认知机 第11章 统计训练 11.1 基本原理 11.2 模拟退火方法 11.3 基于玻尔兹曼训练权值的模拟退火 11.4 权重变化幅度的随机确定 11.5 等效温度设置 11.6 神经网络的柯西训练 11.A 统计训练案例研究：字符识别的随机Hopfield网络 11.B 统计训练案例研究：使用随机感知机模型识别AR信号参数 第12章 循环（时间周期）反向传播网络 12.1 循环/离散时间网络 12.2 完全循环反向传播网络 12.3 连续循环反向传播网络 12.A 循环反向传播案例研究：字符识别问题 第13章 深度学习神经网络：原则及范围 13.1 定义 13.2 深度神经网络简史及其应用 13.3 DLNNs的范围 13.4 具体的DLNNs算法介绍 第14章 深度学习卷积神经网络 14.1 引言 14.2 前馈环路 14.3 卷积层 14.4 反向传播 14.5 ReLU层 14.6 池化层 14.7 Dropout 14.8 输出全连接层 14.9 参数（权值）共享 14.10 应用 第15章 LAMSTAR神经网络 15.1 LAMSTAR原理 15.2 LAMSTAR 1（LNN 1） 15.3 LAMSTAR 2（LNN 2） 15.4 数据分析型LAMSTAR 15.5 评论和应用 第16章 DLNNs的性能——比较案例研究 16.1 案例研究 16.2 性能和计算速度的比较表 16.A 附录 习题 参考文献