高维数据非负矩阵分解方法

本书从算法框架入手，建立系列非负矩阵分解模型的抽象数学模型，即非负块配准模型，从统一的角度分析现有的非负矩阵分解模型，并用以开发新的非负矩阵分解模型。根据非负块配准模型的分析，本书提出非负判别局部块配准模型，克服了经典非负矩阵分解模型的缺点，提高了非负矩阵分解模型的分类性能。为了克服经典非负矩阵分解的优化算法收敛速度慢的缺点，本书提出在线搜索中利用牛顿法快速搜索步长，提出非负块配准的快速梯度下降算法。为了克服经典非负最小二乘问题的求解算法的缺点，本书利用很优梯度法在无需线搜索的情况下以二阶收敛速度求解非负最小二乘问题，提出非负矩阵分解的高效求解算法。在此基础上提出非负矩阵分解的高效求解算法，并开发非负块配准的很优梯度法。为了克服经典优化算法应用于流数据处理时计算开销过大的缺点，本书提出非负矩阵分解在线优化算法，利用鲁棒随机近似算法更新基矩阵，提出在线算法，提高在线优化算法的鲁棒性。本书结合非负矩阵分解的低秩表示特性和残差矩阵的稀疏特性，指出曼哈顿非负矩阵分解模型可以有效地抑制数据中的噪音和野值，并指出其与低秩和稀疏矩阵分解模型的等价关系。本书提出高效优化算法求解模型，即秩一残差迭代算法和加速梯度下降算法，前者将模型求解问题分解成若干加权中值问题并用快速算法求解，后者将模型求解问题分解成若干非负最小一乘问题并用平滑技术将其目标函数近似为可微函数，然后利用很优梯度法进行求解。

第1章绪论001
1.1本书研究背景及意义001
1.2国内外研究现状006
1.2.1非负矩阵分解发展历史006
1.2.2国内外研究机构008
1.2.3非负数据降维研究现状009
1.3本书主要工作012
1.4本书组织结构014
第2章非负矩阵分解基础016
2.1非负矩阵分解模型016
2.1.1相似性度量017
2.1.2先验信息024
2.1.3扩展模型032
2.2非负矩阵分解理论问题035
2.2.1数据表示特性035
2.2.2维数选择036
2.2.3非负矩阵分解与聚类分析算法的等价关系038
2.3优化算法040
2.3.1初始化方法040
2.3.2不准确块迭代方法041
2.3.3准确块迭代方法045
2.3.4随机规划方法048
2.3.5多层分解方法048
2.3.6在线优化算法049
2.3.7并行与分布式算法050
2.4应用领域052
2.4.1数据挖掘052
2.4.2模式识别054
2.5本章小结与讨论055
第3章非负块配准框架057
3.1引言057
3.1.1局部优化060
3.1.2全局配准060
3.2非负块配准框架061
3.2.1基于KL距离的NPAF063
3.2.2基于欧几里得距离的NPAF070
3.2.3计算复杂性分析076
3.2.4非负数据降维算法框架比较076
3.3非负数据降维算法的分析077
3.3.1非负矩阵分解078
3.3.2局部非负矩阵分解078
3.3.3判别非负矩阵分解080
3.3.4图罚分非负矩阵分解081
3.4非负块配准框架派生模型实例082
3.4.1非负PCA模型082
3.4.2非负LLE模型083
3.4.3非负LTSA模型084
3.5本章小结与讨论085
第4章非负判别局部块配准模型087
4.1引言087
4.2模型定义089
4.2.1数学描述090
4.2.2两类NDLA模型092
4.2.3流形学习角度的解释093
4.3改进NDLA模型094
4.4模型求解算法095
4.4.1乘法更新规则095
4.4.2计算复杂性098
4.5试验结果098
4.5.1人脸识别098
4.5.2手写体识别103
4.5.3局部特征提取105
4.5.4结果分析107
4.6本章小结与讨论109
第5章非负块配准框架快速梯度下降算法111
5.1引言111
5.2改进乘法更新规则113
5.3快速梯度下降算法118
5.3.1单步长快速线搜索119
5.3.2多步长快速线搜索122
5.3.3平衡多步长快速线搜索128
5.4基于欧几里得距离的NPAF优化131
5.4.1NPAFE快速梯度下降算法131
5.4.2NPAFE投影梯度下降算法137
5.4.3计算复杂性分析138
5.5非负块配准框架派生模型优化139
5.6数值试验139
5.6.1单步长快速梯度下降算法140
5.6.2多步长快速梯度下降算法143
5.7本章小结与讨论146
第6章非负矩阵分解很优梯度下降算法147
6.1引言147
6.1.1非负矩阵分解优化算法研究现状150
6.1.2很优梯度下降算法154
6.2非负矩阵分解很优梯度下降算法155
6.2.1非负最小二乘优化算法156
6.2.2非负矩阵分解优化算法164
6.2.3扩展模型优化算法166
6.3非负块配准很优梯度下降算法168
6.3.1派生模型优化算法171
6.4试验结果172
6.4.1非负矩阵分解优化172
6.4.2图正则非负矩阵分解优化182
6.5本章小结与讨论183
第7章非负矩阵分解在线优化算法185
7.1引言185
7.1.1在线非负矩阵分解研究现状186
7.1.2INMF-VC算法189
7.1.3OMF-DA算法190
7.1.4鲁棒随机近似算法191
7.2基于RSA的在线非负矩阵分解算法193
7.2.1缓冲池策略197
7.2.2计算复杂性199
7.2.3收敛性分析199
7.3非负矩阵分解扩展模型的在线优化203
7.3.1滑动窗口更新扩展204
7.3.2距离度量扩展204
7.3.3稀疏约束扩展205
7.3.4平滑约束扩展206
7.3.5盒约束扩展206
7.4数值试验207
7.4.1在线非负矩阵分解效率比较208
7.4.2人脸识别215
7.5本章小结与讨论217
第8章非负矩阵分解典型应用实例218
8.1引言218
8.2模式识别219
8.2.1人脸识别220
8.3数据挖掘229
8.3.1文本聚类230
8.4信息检索234
8.4.1图像标注234
8.5本章小结与讨论240
附录A辅助函数技术242
A.1辅助函数的定义242
A.2辅助函数应用242
附录B一阶优化方法与收敛速度244
B.1收敛速度的定义244
B.2一阶优化方法假设245
B.3一阶优化方法的很优收敛速度245
参考文献246
后记277