人工智能之模式识别

　　本书是一本全面介绍模式识别领域相关知识的教材，为读者提供模式识别技术的基本概念、算法体系和历史发展脉络，从基本模型和底层原理出发深入探讨各种模式识别方法的核心机制与应用策略。本书内容首先介绍了人工智能的概念内涵，以及模式识别与人工智能、机器学习的相互关系，然后详细阐述了模式识别的一系列基本概念，分析了模式识别问题的解决思路，建立了完整的模式识别系统。书中针对线性分类器、贝叶斯分类器、最近邻分类器、组合分类器、数据聚类、模糊模式识别、神经网络模式识别和结构模式识别等各类算法进行了详细讲解，构建了完整的算法体系，并探讨了特征工程、统计学习理论等模式识别和机器学习中的基础性问题。本书强化了模式识别技术的实践应用，通过典型算法案例的分析和实现来帮助读者更加深入地理解所学内容，增强实践能力。 　　本书主要面向高等院校计算机、自动化、大数据、信息电子等人工智能相关本科专业的学生用作学习模式识别课程的教材，也可供相关学科领域的研究生、科研人员、工程技术人员和社会学习者作为学习、研究和工程实践的参考。 　　本书配有电子课件、教学大纲、习题答案、教学视频及源代码等教学资源，选用本书作教材的教师，请登录www.cmpedu.com注册后下载。 　　

高等院校教师

前言 各章电子资源对照表 第1章　绪论 1 1.1　人工智能之模式识别 1 1.1.1　生物识别能力 1 1.1.2　模式识别与人工智能和机器学习 3 1.1.3　模式识别技术的历史发展 3 1.2　模式识别的基本概念 8 1.2.1　样本、模式和类 8 1.2.2　特征、特征空间和特征向量 8 1.2.3　相似度、紧致性和维数灾难 9 1.2.4　有监督学习和无监督学习 11 1.2.5　泛化能力与过拟合 12 1.3　模式识别工程 13 1.3.1　模式识别系统的组成 13 1.3.2　模式识别的算法体系 14 1.3.3　模式识别的典型应用 15 1.4　模式识别算法实例 16 算法案例 18 思考题 21 拓展阅读 21 参考文献 22 第2章　特征生成和特征降维 23 2.1　特征工程 23 2.1.1　特征工程的概念 23 2.1.2　特征工程的方法 24 2.2　主成分分析 25 2.3　类别可分性度量 27 2.3.1　类别可分性度量准则 27 2.3.2　类内类间距离 28 2.3.3　概率距离 29 2.4　基于类别可分性度量的特征提取 30 2.4.1　准则函数构造 30 2.4.2　基于J2准则的特征提取 31 2.5　特征选择算法 33 2.5.1　独立算法 33 2.5.2　穷举算法 33 2.5.3　分支定界法 33 2.5.4　次优算法 35 思考题 36 拓展阅读 36 参考文献 37 第3章　统计学习理论 38 3.1　机器学习的基本问题 38 3.1.1　机器学习问题的描述 38 3.1.2　经验风险最小化原则 39 3.2　学习过程的一致性 41 3.3　函数集的容量与VC维 42 3.4　推广性的界 44 3.5　结构风险最小化 45 3.6　正则化方法 46 思考题 47 拓展阅读 47 参考文献 47 第4章　线性分类器 48 4.1　判别函数 48 4.1.1　线性判别函数 49 4.1.2　广义线性化 52 4.2　线性分类器原理 54 4.2.1　线性分类器设计 54 4.2.2　线性分类器训练 54 4.2.3　线性分类器分析 55 4.3　感知器算法 56 4.3.1　感知器原理 56 4.3.2　感知器训练 57 4.3.3　感知器分析 58 4.3.4　感知器网络 59 4.4　LMSE算法 60 4.4.1　线性分类器的松弛求解 60 4.4.2　H-K算法 62 4.5　Fisher算法 63 4.5.1　Fisher分类器原理 63 4.5.2　Fisher分类器分析 66 4.6　支持向量机 67 4.6.1　线性支持向量机 67 4.6.2　软间隔支持向量机 71 4.6.3　非线性支持向量机 73 算法案例1 75 算法案例2 78 思考题 79 拓展阅读 80 参考文献 80 第5章　贝叶斯分类器 82 5.1　贝叶斯推理原理 82 5.1.1　逆概率推理 82 5.1.2　贝叶斯公式 83 5.1.3　贝叶斯分类 84 5.2　贝叶斯决策算法 85 5.2.1　最小错误率贝叶斯分类 85 5.2.2　最小风险贝叶斯分类 87 5.2.3　朴素贝叶斯分类 88 5.3　贝叶斯分类器分析 89 5.3.1　正态分布下的贝叶斯分类 89 5.3.2　贝叶斯分类的错误率 94 5.4　贝叶斯分类器的训练 96 5.4.1　贝叶斯分类器训练的原理 96 5.4.2　最大似然估计 97 5.4.3　贝叶斯估计 99 算法案例 99 思考题 101 拓展阅读 102 参考文献 102 第6章　最近邻分类器 103 6.1　模板匹配算法 103 6.2　最近邻分类器 107 6.3　KNN算法 109 6.3.1　KNN算法原理 109 6.3.2　KNN算法的错误率 109 6.4　改进KNN算法 110 6.4.1　快速KNN算法 110 6.4.2　压缩近邻法 111 算法案例 111 思考题 112 拓展阅读 113 参考文献 113 第7章　组合分类器 115 7.1　组合分类器原理 115 7.2　组合分类器的主要类型 117 7.2.1　Bagging算法 117 7.2.2　Boosting算法 118 7.2.3　Stacking算法 119 7.3　随机森林算法 120 7.4　Adaboost算法 122 算法案例 126 思考题 128 拓展阅读 129 参考文献 129 第8章　数据聚类 130 8.1　数据聚类原理 130 8.1.1　数据聚类的定义 130 8.1.2　数据聚类的特点 131 8.1.3　数据聚类的应用 133 8.2　数据聚类算法 134 8.2.1　试探法聚类 134 8.2.2　层次聚类 136 8.2.3　动态聚类 141 8.3　数据聚类的流程 145 8.3.1　聚类特征选择 145 8.3.2　相似度度量标准 146 8.3.3　聚类准则 147 8.3.4　聚类算法选择 147 8.3.5　聚类结果评价 148 算法案例 148 思考题 150 拓展阅读 150 参考文献 150 第9章　模糊模式识别 151 9.1　模糊数学基础 151 9.1.1　模糊集合的定义及基本运算 152 9.1.2　模糊关系及模糊矩阵 158 9.2　最大隶属度识别 162 9.2.1　形式一 162 9.2.2　形式二 162 9.3　择近原则识别 162 9.3.1　贴近度 163 9.3.2　择近识别算法 163 9.4　模糊聚类算法 164 9.4.1　模糊层次聚类 164 9.4.2　模糊K-均值聚类 167 算法案例 169 思考题 171 拓展阅读 171 参考文献 172 第10章　神经网络模式识别 173 10.1　人工神经网络的原理 173 10.1.1　人工神经元模型 174 10.1.2　人工神经网络模型 176 10.1.3　人工神经元的学习规则 179 10.1.4　人工神经网络的学习规则 182 10.2　浅层神经网络 185 10.2.1　感知器网络 185 10.2.2　反向传播网络 187 10.3　深度学习 191 10.3.1　深度信念网络 192 10.3.2　卷积神经网络 195 10.3.3　循环神经网络 201 10.3.4　Transformer网络 206 10.4　预训练大模型 209 10.4.1　ChatGPT工作原理 209 10.4.2　GPT系列模型分析 211 算法案例1 214 算法案例2 217 思考题 219 拓展阅读 220 参考文献 220 第11章　结构模式识别 222 11.1　结构模式识别原理 222 11.1.1　结构模式识别 222 11.1.2　结构模式识别中的基元、结构和类 223 11.1.3　结构模式识别与统计模式识别的对比 224 11.1.4　结构模式识别方法 225 11.2　句法模式识别 227 11.2.1　形式语言理论的基本概念 227 11.2.2　乔姆斯基体系中的四种文法 229 11.2.3　句法模式识别的基本原理 232 11.2.4　句法分析 233 11.2.5　文法推断 236 算法案例 237 思考题 238 拓展阅读 238 参考文献 238