普通高等教育一流本科专业建设系列教材-模式识别

本书是一本立足于统计模式识别理论，介绍模式识别原理与方法的教 材。全书共 7 章，按照监督模式识别和非监督模式识别两类问题组织教材 内容，其中重点介绍监督模式识别系统中的分类器设计和特征获取两个核 心环节的理论与方法。本书整体内容逻辑线索清晰，关键要点总结全面， 同时配有大量的例题，有助于读者阅读和理解。每章后的习题供读者学习 使用，同时附带的思考题对启发读者的深入思考有积极意义。 本书适合作为高等院校电子信息类专业及人工智能相关专业的高年级 本科生和研究生学习模式识别的教材或参考书，也可供从事模式识别工作 的广大科技工作人员参考。建议将全书作为研究生的教学内容，而目录中 不带*号的部分可以由教师选择作为本科生课程的内容。

目 录 第 1 章 绪论 1 1.1 模式识别概念与内涵 1 1.2 模式识别问题描述 2 1.2.1 认识模式识别问题 2 1.2.2 模式识别问题基本术语说明 3 1.2.3 特征空间、假设空间与解释空间的关系 4 1.3 模式识别系统组成 4 1.3.1 模式识别系统的基本构成 4 1.3.2 模式识别系统构建的核心问题 6 1.4 模式识别方法分类 6 1.4.1 基于知识和数据的模式识别 6 1.4.2 监督与非监督模式识别 8 1.5 模式识别应用举例 9 1.5.1 人脸识别 9 1.5.2 语音识别 9 1.5.3 字符与文字识别 10 1.5.4 车牌识别 10 1.5.5 故障诊断 11 1.5.6 信用卡风险预警 12 本章小结 12 习题 13 思考题 13 第 2 章 基于概率统计的贝叶斯分类器 14 2.1 引言 14 2.2 最小错误率贝叶斯分类器 16 2.2.1 分类决策的错误率及决策规则 16 2.2.2 两类别问题最小错误率贝叶斯决策规则的等价形式 16 2.2.3 决策出错情况分析 18 2.3 最小风险贝叶斯分类器 · 19 2.3.1 最小风险决策问题表述 · · · ·20 2.3.2 最小风险贝叶斯决策过程及等价决策规则 20 2.4 N-P 决策分类 22 2.5 判别函数与判别面 26 模 式 识 别 2.6 正态分布下的贝叶斯分类器 27 2.6.1 单变量正态分布 27 2.6.2 多变量正态分布 27 2.6.3 正态分布下的贝叶斯决策 29 2.7 贝叶斯分类器错误率计算 32 2.7.1 正态分布且协方差矩阵相等情况下的贝叶斯分类器错误率计算 32 2.7.2 错误率的实验估计 35 2.8 概率密度函数的参数估计 38 2.8.1 最大似然估计 38 2.8.2 贝叶斯估计和贝叶斯学习 40 2.9 概率密度函数的非参数估计 45 2.9.1 非参数估计基本原理 45 2.9.2 kN 近邻估计 47 2.9.3 Parzen 窗估计 47 本章小结 49 习题 50 思考题 51 第 3 章 线性分类器 52 3.1 引言 52 3.2 线性判别函数几何性质 53 3.3 基于 Fisher 准则的线性分类器 55 3.4 基于感知器准则的线性分类器 60 3.5 基于均方误差准则的线性分类器 63 3.6* 基于最大间隔距离的超平面和线性支持向量机 69 3.7 多类情况下的线性分类器 72 3.7.1 多个两分类器组合 72 3.7.2 多类线性分类器直接设计 74 本章小结 75 习题 76 思考题 77 第 4 章 非线性分类器 78 4.1 引言 78 4.2 分段线性判别函数 78 4.2.1 基于距离的分段线性判别函数 ·78 4.2.2 一般的分段线性判别函数 · · · · ·80 4.3 二次判别函数 82 4.4 多层感知器神经网络与深度神经网络 83 4.4.1 感知器神经元和感知器 83 目 录 v 4.4.2 多层感知器神经网络的学习 86 4.4.3 用于模式识别的多层感知器神经网络 87 4.4.4 深度卷积神经网络 89 4.5* 广义线性判别函数与支持向量机 91 4.5.1 广义线性判别函数 91 4.5.2 支持向量机 92 4.5.3 常用核函数及其应用 93 4.6* 核函数与核方法 94 4.7 近邻法 96 4.7.1 最近邻决策 96 4.7.2 k-近邻决策 98 4.7.3 近邻法的改进算法 99 4.8 决策树 104 4.8.1 决策树模型 104 4.8.2 构建决策树 105 4.9* Logistic 回归 113 本章小结 115 习题 115 思考题 116 第 5 章 特征的选择和变换 117 5.1 引言 117 5.2 特征可分性准则 117 5.2.1 基于类内、类间距离的可分性判据 118 5.2.2 基于概率分布的可分性判据 120 5.2.3 基于熵的可分性判据 121 5.3 特征选择算法 122 5.3.1 特征选择的最优算法 122 5.3.2 特征选择的次优算法 124 5.4 特征提取 125 5.4.1 基于空间分布类别可分性判据的特征提取 126 5.4.2 K-L 变换 127 5.4.3 PCA 分析 130 5.4.4* MDS 分析 133 本章小结 136 习题 · · 137 思考题 138 第 6 章 非监督模式识别 139 6.1 引言 139 模 式 识 别 6.2 相似度度量与聚类准则 140 6.2.1 相似度度量 140 6.2.2 聚类准则 143 6.3 基于原型的聚类 145 6.3.1 k-均值聚类算法 145 6.3.2 迭代自组织聚类算法 149 6.3.3* 高斯混合聚类算法 153 6.4* 基于密度的聚类 156 6.5 层级化聚类 159 6.6* 聚类质量评价指标 164 6.6.1 外部评价指标 165 6.6.2 内部评价指标 165 本章小结 166 习题 167 思考题 168 第 7 章 模式识别模型评估与选择 169 7.1 引言 169 7.2 关于误差 169 7.3 评估方法 170 7.3.1 留出法 171 7.3.2 交叉验证法 171 7.3.3 自助法 172 7.4 评价指标 173 7.4.1 错误率和准确率 173 7.4.2 查准率、查全率和 F1 173 7.4.3 P-R 、ROC 与 AUC 174 7.5* 比较检验 177 7.5.1 假设检验 177 7.5.2 交叉验证 t 检验 179 7.5.3 McNemar 检验 179 7.5.4 Friedman 检验与 Nemenyi 检验 180 本章小结 182 习题 182 思考题 183 参考文献 · · 184