模式识别之特征选择

本书系统深入地论述用于模式识别的特征选择的理论与方法。在内容上注重系统、全面地论述特征选择理论和方法，并力求反映靠前、外特征选择领域的近期新发展趋势。    全书重点论述各种有监督和无监督特征选择理论及方法。全面涵盖特征选择原理、特征选择方法分类、各类特征选择方法特点及特征选择算法性能评价方法等知识。论述各种特征评价方法。论述各种滤波式、封装式特征选择方法的原理、工作流程及算法步骤。论述特征选择集成方法、特征选择方法与样本选择及分类器集成的融合方法。还包括用于无监督模式识别的基于图谱理论的特征选择方法，用于优化深度学习网络的特征选择方法等的近期新研究成果。    本书提供用于大型数据集和高维数据分析的特征选择算法及生物信息学应用的近期新资料，涵盖了水声目标识别、字符识别、基于脑功能磁共振成像和单核苷酸多态性等生物信息分析的疾病诊断的多种应用实例。    本书可作为高等院校研究生和高年级本科生的教材外，也可供计算机信息处理、水声信号处理、生物信息处理等领域中从事人工智能、模式识别、机器学习、数据挖掘工作的广大科技人员和高校师生参考。

目    录
第1章  绪论 1
1.1  概述 1
1.2  本书章节安排 3
参考文献 4
第2章  特征选择原理 5
2.1  定义 5
2.1.1  特征相关性定义 5
2.1.2  特征选择定义 5
2.2  特征选择过程 6
2.2.1  特征子集的搜索 6
2.2.2  特征子集的评价 8
2.2.3  特征子集搜索的终止 9
2.2.4  选择结果确认 9
2.3  特征选择方法分类 9
2.3.1  滤波式（Filters） 9
2.3.2  封装式（Wrappers） 10
2.3.3  混合式（Hybrid Algorithm） 11
2.3.4  嵌入式（Embedded Solutions） 12
2.4  特征选择算法的评价 12
2.4.1  特征选择算法的两个重要参数 12
2.4.2  特征选择算法的稳定性评价 12
2.5  本章小结 14
参考文献 15
第3章  特征评价方法 17
3.1  概述 17
3.2  基于距离的评价准则 17
3.2.1  质心距离准则 17
3.2.2  类类间最小距离准则 17
3.2.3  类内间距离准则 17
3.2.4  混合距离准则 18
3.3  基于互信息理论的特征评价准则 18
3.3.1  特征选择问题中的信息熵 18
3.3.2  特征选择问题中的互信息 21
3.3.3  互信息特征评价准则 23
3.3.4  连续特征的离散化 24
3.4  基于支持向量机的特征评价准则 26
3.4.1  SVM的工作原理 26
3.4.2  SVM分类器分类性能估计及设计 33
3.4.3  基于SVM分类性能估计的特征评价准则 37
3.5  本章小结 38
参考文献 38
第4章  滤波式特征选择算法 40
4.1  顺序搜索特征选择算法 40
4.1.1  顺序向前特征选择算法 40
4.1.2  顺序向后特征选择算法 41
4.1.3  顺序双向特征选择算法 41
4.2  Relief特征选择算法 41
4.3  最近邻收缩规则 42
4.4  Simba算法 43
4.5  实验及结果 44
4.5.1  实验数据及实验设置 44
4.5.2  实验及讨论 44
4.6  本章小结 47
参考文献 47
第5章  基于人工免疫系统的特征选择算法 49
5.1  人工免疫系统的研究历史和现状 49
5.2  基于免疫机理的特征选择算法 50
5.2.1  算法原理 50
5.2.2  编码与初始种群的生成 50
5.2.3  适应度函数 50
5.2.4  免疫操作 51
5.3  基于免疫克隆机理的特征选择方法 52
5.3.1  算法原理 52
5.3.2  问题编码 53
5.3.3  亲合度函数 53
5.3.4  抗体克隆数 53
5.3.5  免疫克隆算子 53
5.4  遗传算法 55
5.4.1  遗传算法基本概念 55
5.4.2  遗传算法用于特征选择原理 55
5.5  实验与讨论 57
5.5.1  实验目的 57
5.5.2  实验数据 57
5.5.3  实验结果及讨论 57
5.6  本章小结 64
参考文献 65
第6章  特征选择、样本选择与分类器集成融合 67
6.1  概述 67
6.2  样本选择原理 67
6.2.1  样本选择的定义 67
6.2.2  样本选择的必要性 67
6.2.3  样本选择方法分类 68
6.2.4  加权最近邻收缩样本选择算法 69
6.2.5  加权免疫克隆样本选择算法 70
6.3  分类器集成 72
6.3.1  分类器集成 72
6.3.2  经典分类器集成方法 73
6.3.3  分类器选择性集成算法 76
6.4  样本选择与特征选择融合方法 79
6.4.1  WRNN-FSA融合算法 79
6.4.2  WICIS -FSA融合算法 80
6.4.3  实验与讨论 81
6.5  样本、特征与分类器集成的融合方法 85
6.5.1  样本选择、特征选择与分类器集成融合原理 85
6.5.2  MISFFS算法 86
6.5.3  WRNNIF-SVME算法 87
6.5.4  WICIF-SVME算法 87
6.5.5  实验与讨论 88
6.6  本章小结 96
参考文献 96
第7章  无监督特征选择算法 101
7.1  基于特征相关性的无监督特征选择 101
7.1.1  基于互信息的无监督特征选择 101
7.1.2  基于非参数互信息的无监督特征选择 105
7.1.3  基于特征相似性的无监督特征选择 107
7.2  基于谱图理论的无监督特征选择 110
7.2.1  基于谱的无监督特征选择 111
7.2.2  谱聚类无监督特征选择 114
7.3  本章小结 118
参考文献 118
第8章  特征选择算法集成 121
8.1  概述 121
8.2  特征选择算法集成 121
8.2.1  基本概念 121
8.2.2  个体特征选择器的生成方法 122
8.2.3  特征选择算法集成方法 124
8.3  基于特征排序表的特征选择算法集成方法 125
8.3.1  特征排序表集成概念 125
8.3.2  特征排序表集成方法 126
8.4  特征选择算法集成实验及讨论 127
8.4.1  实验数据介绍 127
8.4.2  基于Bagging的特征选择算法集成实验 127
8.4.3  IFSA算法的集成实验结果及讨论 128
8.4.4  顺序向前特征选择算法集成的实验结果及讨论 130
8.4.5  实验结论 131
8.5  特征选择算法集成的应用实例――基于fMRI图像及基因的疾病诊断 131
8.5.1  应用背景 131
8.5.2  利用特征选择与SVM集成融合fMRI和SNP数据进行疾病诊断 134
8.6  本章小结 142
参考文献 142
第9章  特征选择用于深度学习 146
9.1  深度置信网络基础模型――受限玻尔兹曼机 146
9.1.1  受限玻尔兹曼机模型 147
9.1.2  高斯-伯努利受限玻尔兹曼机 148
9.1.3  受限玻尔兹曼机的训练 148
9.2  深度置信网络及其特征学习 150
9.2.1  深度置信网络的提出 150
9.2.2  深度置信网络的训练 150
9.2.3  用于分类识别的深度置信网络 153
9.2.4  特征学习结果分析 153
9.3  基于互信息的深度特征优化选择 155
9.3.1  平均互信息无监督深度特征优化选择 156
9.3.2  非参数互信息无监督深度特征优化选择 161
9.3.3  信息增益有监督深度特征优化选择 165
9.3.4  联合互信息有监督深度特征优化选择 170
9.4  基于特征选择优化的DBN模型 173
9.4.1  基于特征选择优化的DBN结构 173
9.4.2  基于平均互信息特征选择优化的DBN模型 174
9.4.3  基于非参数互信息特征选择优化的DBN模型 176
9.5  本章小结 178
参考文献 178