自适应系统与机器智能

本书以如何使机器具有自适应于环境、类似人脑智能这一挑战性问题为中心，主要介绍了围绕这一问题的数据驱动与生物启发这两个主要研究方向的重要进展。本书主要内容可分为4个方面：（1）研究背景，介绍了自适应系统的类脑智能与传统计算的区别；（2）数据驱动方法，重点研究如何将海量数据转化为支撑决策过程的知识和信息这一问题，并介绍了增量学习、不平衡学习及集成学习等方法；（3）生物启发式方法，主要讲述生物信息处理的基本原理，以及如何开发具有学习、记忆、优化、预测等智能能力的计算框架；（4）机器智能的硬件实现。

何海波，美国罗德岛大学的讲席教授、智能计算与自适应系统实验室主任，主要从事智能计算、控制与优化、机器学习、大数据、网络安全、大规模复杂系统等方向的研究。何教授曾在学术期刊和会议上发表论文200多篇，这些论文在专业领域产生了深远的影响。截止2016年4月，何博士的论文总引用次数达4100+，h-index是27。2006年以来，他作为项目负责人承担科研项目经费超过600万美元，资助方包括美国国家自然科学基金委、美国国家航空航天局、美国海洋能源管理局，以及工业界。何教授还担任多个靠前会议的总、技术委员会等，也曾担任IEEE智能计算协会新兴技术委员会、IEEE智能计算协会神经网络技术委员会副、IEEE智能计算智能电网副等。目前担任期刊《IEEE神经网络学习系统汇刊》的主编。

出版者的话
译者序
前言
致谢
第1章绪论
1.1机器智能研究
1.2两个层面：数据驱动方法和生物启发式方法
1.3如何阅读本书
1.3.1机器智能的数据驱动方法
1.3.2机器智能的生物启发式方法
1.4总结和延伸阅读
参考文献
第2章增量学习
2.1引言
2.2问题的提出
2.3自适应增量学习框架
2.4映射函数设计
2.4.1基于欧氏距离的映射函数
2.4.2基于回归学习模型的映射函数
2.4.3基于在线评估系统的映射函数
2.5实例研究
2.5.1视频流的增量学习
2.5.2垃圾邮件分类的增量学习
2.6总结
参考文献
第3章不平衡学习
3.1引言
3.2不平衡学习的本质
3.3不平衡数据学习方法
3.3.1不平衡数据学习的抽样法
3.3.2不平衡数据学习的代价敏感方法
3.3.3基于核的不平衡数据学习方法
3.3.4不平衡数据学习的主动学习方法
3.3.5不平衡数据学习的其他方法
3.4不平衡数据学习的评价指标
3.4.1单一评价指标
3.4.2受试者工作特性(ROC)
曲线
3.4.3查准率一查全率(PR)曲线
3.4.4代价曲线
3.4.5多类不平衡数据学习评价指标
3.5机遇和挑战
3.6实例研究
3.6.1非线性规范化
3.6.2数据集分布
3.6.3仿真结果和讨论
3.7总结
参考文献
第4章集成学习
4.1引言
4.2假设多样性
4.2.1Q统计量
4.2.2相关系数
4.2.3不一致度量
4.2.4双错度量
4.2.5熵度量
4.2.6Kohavi-Wolpert方差
4.2.7测试者问的一致性
4.2.8困难程度
4.2.9广义多样性
4.3多分类器的研究进展
4.3.1自举聚集
4.3.2自适应增强
4.3.3子空间方法
4.3.4层叠泛化
4.3.5专家混合体
4.4多分类器集成
4.5实例研究
4.5.1数据集和实验配置
4.5.2仿真结果
4.5.3间隔分析
4.6总结
参考文献
第5章机器智能的自适应动态规划
5.1引言
5.2基本目标：优化和预测
5.3机器智能的ADP
5.3.1ADP设计中的分层结构
5.3.2ADP设计中的学习和自适应
5.3.3学习策略：序贯学习和协同学习
5.4实例研究
5.5总结
参考文献
第6章联想学习
6.1引言
6.2联想学习机制
6.2.1单个处理单元的构造
6.2.2函数值的自主确定
6.2.3联想学习的信号强度
6.2.4联想学习原则
6.3分层神经网络中的联想学习
6.3.1网络结构
6.3.2网络操作
6.4实例研究
6.4.1异联想应用
6.4.2自联想应用
6.5总结
参考文献
第7章序列学习
7.1引言
7.2序列学习的基础知识
7.3分层神经结构的序列学习
7.4O层：改进的Hebbian学习架构
7.51～N层：序列存储、预测和检索
7.5.1序列存储
7.5.2序列预测
7.5.3序列检索
7.6内存需求
7.7多序列的学习和预测
7.8案例研究
7.9总结
参考文献
第8章机器智能的硬件设计最终建议
参考文献

目前理解类脑智能和研制有潜力再现自然智能的自适应系统仍是科学和工程领域尚未解决的最大挑战之一。随着人脑研究和现代技术不断取得新进展，科学家和工程师希望找到研制高度鲁棒、自适应、易扩展且可容错的通用类脑智能系统的正确途径。然而，要实现这一目标，还有很长的路要走。其中，最大的挑战是，如何理解智能的基本原理，开发有潜力捕获智能集成的复杂系统，最终使智力更接近真正智能。
    本书的目的是促进理解和发展机器智能的自适应系统，并给出能够自适应地学习信息且随着时间积累知识、调节行为来实现目标的计算模型与体系架构。机器智能研究利用了许多学科的理论和概念，包括神经科学、人工智能、认知科学、计算理论、统计学、计算机科学、工程设计等。由于机器智能所固有的跨学科性质，所以这本书给出的大部分研究结果受不同领域的最新研究进展的启发。我希望本书的研究结果能够为理解机器智能的本质问题提供有用且重要的见解，并提供应用范围广泛的新技术和解决方案。
    最近的研究结果证明，相比于传统的人工智能，类脑智能更加与众不同。比如，虽然如今的计算机可以解决非常复杂的数学问题，预测大规模的天气变化，甚至赢得世界象棋大赛，但是它们使用了与生物大脑有机体完全不同的信息处理方式。为此，这本书重点讨论机器智能的计算基础和方法论，目标是使自适应智能系统具备“计算思维”。所以，本书给出的研究结果可以自然地分为两类：数据驱动方法和生物启发式方法。
    数据驱动方法的目标是理解如何设计自适应系统，使它能从大量的原始数据中自主学习信息和知识表达，以支持不确定和非结构化的环境中的决策过程；生物启发式方法的目标是理解在分布式分层神经网络内部信息处理的原则、关联、优化，以及预测。所有这些将来都会被用于实现通用类脑机器智能的基本功能和特性。在本书的最后一章，我对机器智能研究的硬件设计给出，如专用超大规模集成( VLSI)系统，以及可重构的现场可编程门阵列( FPGA)技术，这提供了如何用大规模、并行和可伸缩的硬件平台构建复杂且综合的智能系统的有用的建议。最后一章还简要地讨论了新兴技术（如忆阻器），因为这些技术可能为我们提供重要的新功能以模拟复杂的人类大脑神经结构。此外，为了突出机器智能研究的广泛应用，每章末尾都配有一个案例研究，以说明本书所提供的方法能有效应用于不同领域。这些例子为应用本书提到的方法提供了有用的建议。
    本书分为4个主要部分，组织结构如下：
    1．第一部分（第1章）简要介绍机器智能自适应系统，给出了研究意义以及传统计算机与类脑智能的主要区别，简要说明了本书的组织结构，并介绍本书的使用方法。
    2．第二部分（第2～4章）介绍数据驱动的机器智能研究方法。重点是开发自适应学习方法，将大量的原始数据转换成知识和信息表达，从而支持不具确定性的决策过程。主要介绍增量学习、不平衡学习和集成学习。
    3．第三部分（第5～7章）重点讨论生物启发式机器智能研究。其目标是理解神经信息处理的基本原则，并开发学习、记忆、优化和预测架构的计算来模仿特定水平的智能。主要介绍自适应动态规划( ADP)、联想学习和序列学习。
    4．第四部分（第8章）简要讨论机器智能的硬件设计。其目标是提供设计硬件系统时要重点考虑的一些因素，例如：功耗、设计密度、内存需求和速度需求，目的是实现大规模、复杂的综合智能系统硬件。
    本书面向机器智能领域学术界和工业界的研究人员，书中的学习原理、体系结构、算法和实例研究，不仅有望为机器智能研究领域带来新见解，而且提供了面向广泛应用的机器智能技术和解决方案。此外，书中讨论的所有问题都属于相关领域内具有重大挑战性的热门研究主题，这使得本书成为研究生激励自己向博士研究项目或大师级研究水平迈进的宝贵资源。最后，由于机器智能研究在不同的学科中不断地引起越来越多的关注，因此我也希望这本书能够提供有趣的观点和建议，以激发大学生和年轻研究者对这个激动人心且有价值的领域中的科学和技术问题产生浓厚的兴趣，他们的参与对这个健康且有前途的研究领域的长期发展至关重要。
    何海波