机器学习与视觉感知(第2版)

本书分为基础篇和高级篇。基础篇介绍机器学 习的主要原理和方法、以及最近几年来的最新进展 ，包括机器学习的发展史、决策树学习、PAC模型、 贝叶斯学习、支持向量机、AdaBoost、压缩感知、 子空间、深度学习与神经网络、MCNs、强化学习等 内容。在高级篇部分，主要介绍一下作者多年来在 机器学习与视觉感知方面的研究成果，包括HGPP、 LDP、KBP、高阶差分码、Kernel Learning、Bag of Feature model等方法原理阐述与应用。

张宝昌， 北京航空航天大学自动化学院长聘副教授，特聘研究员。2001-2006年，中科院联合实验室(jdl)2007年优秀论文提名奖。2006-2007,先后在香港中文大学、澳大利亚Griffith University从事研究工作，主要的研究方向为人脸识别、视频理解、机器学习。2008.3-，北航自动化学院，主讲“模式识别与机器学习”“现代控制导论”“机器学习理论与应用”“图像处理系列实验”等课程。自获得博士学位(2007年)以来发表论文40余篇，其中SCI(SCI)检索期刊12篇（其中1篇录用待检索），EI检索16篇，在SCI网络版他引次数155次。

目录 第1章机器学习的发展史1 引言1 1.1机器学习1 1.1.1基本简介1 1.1.2机器学习的定义和研究意义2 1.1.3机器学习的发展史3 1.1.4机器学习的主要策略3 1.1.5机器系统的基本结构4 1.1.6机器学习的分类4 1.1.7目前研究领域8 1.2统计模式识别问题9 1.2.1机器学习问题的表示9 1.2.2经验风险最小化11 1.2.3复杂性与推广能力11 1.3统计学习理论的核心内容12 1.3.1学习过程一致性的条件13 1.3.2推广性的界13 1.3.3结构风险最小化15 小结17第2章PAC模型18 引言18 2.1基本的PAC模型18 2.1.1PAC简介18 2.1.2基本概念18 2.1.3问题框架19 2.2PAC模型样本复杂度分析20 2.2.1有限空间样本复杂度20 2.2.2无限空间样本复杂度21 小结22第3章决策树学习23 引言23 3.1决策树学习概述23 3.1.1决策树24 3.1.2性质25 3.1.3应用25 3.1.4学习26 3.2决策树设计26 3.2.1决策树的特点27 3.2.2决策树的生成27 小结33第4章贝叶斯学习34 引言34 4.1贝叶斯学习34 4.1.1贝叶斯公式34 4.1.2最小误差决策35 4.1.3正态密度35 4.1.4最大似然估计36 4.2朴素贝叶斯原理及应用37 4.2.1贝叶斯最佳假设原理37 4.2.2Naive Bayes分类37 4.2.3基于Naive Bayes的文本分类器38 4.3HMM（隐性马氏模型）及应用41 4.3.1马尔科夫性41 4.3.2马尔科夫链41 4.3.3转移概率矩阵41 4.3.4HMM（隐性马尔科夫模型）及应用42 小结44第5章支持向量机45 引言45 5.1支持向量机45 5.2支持向量机的核函数选择50 5.3支持向量机的实例51 5.4多类支持向量机54 小结54第6章AdaBoost55 引言55 6.1AdaBoost与目标检测55 6.1.1AdaBoost算法55 6.1.2初始化57 6.2具有强鲁棒性的实时目标检测59 6.2.1矩形特征选取59 6.2.2积分图60 6.2.3训练结果61 6.2.4级联62 6.3运用统计学的目标检测63 6.4随机森林64 6.4.1原理阐述64 6.4.2算法详解64 6.4.3算法分析64 小结65第7章压缩感知66 引言66 7.1压缩感知理论框架66 7.2压缩感知的基本理论及核心问题67 7.2.1压缩感知的数学模型67 7.2.2信号的稀疏表示67 7.2.3信号的观测矩阵68 7.2.4信号的重构算法69 7.3压缩感知的应用与仿真69 7.3.1应用69 7.3.2人脸识别70 小结72第8章子空间73 引言73 8.1基于主成分分析的特征提取73 8.2数学模型75 8.3主成分的数学上的计算76 8.3.1两个线性代数的结论76 8.3.2基于协方差矩阵的特征值分解76 8.3.3主成分分析的步骤77 8.4主成分分析的性质78 8.5基于主成分分析的人脸识别方法79 小结80第9章深度学习与神经网络81 引言81 9.1神经网络及其主要算法81 9.1.1前馈神经网络81 9.1.2感知器81 9.1.3三层前馈网络83 9.1.4反向传播算法84 9.2深度学习86 9.2.1深度学习概述86 9.2.2自编码算法AutoEncoder87 9.2.3自组织编码深度网络88 9.2.4卷积神经网络模型89 小结92第10章调制卷积神经网络（MCN）93 10.1概述93 10.2损失函数95 10.3前向卷积96 10.4卷积神经网络模型的梯度反传98 10.5MCN网络的实验验证100 10.5.1实验数据集100 10.5.2实验与实现细节103第11章强化学习112 引言112 11.1强化学习概述112 11.2强化学习过程113 11.2.1马尔科夫性113 11.2.2奖励113 11.2.3估价函数114 11.2.4动态规划114 11.2.5蒙特卡洛方法115 11.2.6时序差分学习115 11.2.7QLearning117 11.2.8QLearning算法的改进118 11.3程序实现120 参考文献124