大规模空间数据可视化关键技术研究

本书从数据可视化系统的体系架构出发，以分布式并行数据库为基础，对空间数据的可视化问题进行了深入研究，提出了对连续型和离散型两类数据的不同处理模型，从对不同数据查询的差异性出发，提出了并行数据库多副本异构方式的分区方案，能够大幅提高系统性能。本书能够为从事大规模数据处理和数据库方向研究生及其他大数据相关从业人员提供参考。

目  录 第 1章  绪论 ...........................................................................................1 1.1  背景和意义......................................................................................... 1 1.1.1  空间数据............................................................................ 1 1.1.2  交互式数据可视化............................................................. 3 1.1.3  意义.................................................................................... 6 1.2  挑战及思路......................................................................................... 7 1.2.1  挑战.................................................................................... 7 1.2.2.思路.................................................................................... 8 ........................................................................................... 10 1.3  本书结构. 第 2章  数据可视化方法相关研究 ........................................................14 2.1  以数据库为中心的方法................................................................... 14 2.1.1  基于近似查询处理的方法............................................... 15 2.1.2.基于大数据管理系统的方法........................................... 17 2.1.3.基于数据立方的方法....................................................... 19 2.2  以前端显示为中心的方法............................................................... 21 2.2.1.基于预加载技术的方法................................................... 21 2.2.2.基于逐步更新技术的方法............................................... 23 2.3  商业数据可视化系统....................................................................... 24 2.4  小结.................................................................................................... 26 第 3章  可视化图像的相似度研究 ........................................................27 3.1  近似图像生成方式和相似度函数属性...........................................27 3.2.图像相似度测量............................................................................... 29 3.2.1.基于.RGB.的图像相似度测量函数 ................................ 29 3.2.2.基于数据的图像相似度测量函数................................... 33 3.2.3.代表性函数...................................................................... 35 3.3  图像相似度阈值............................................................................... 36 3.4  小结.................................................................................................... 38 第 4章  连续型数据处理模型 ...............................................................39 4.1.MVS：预生成图像............................................................................ 39 4.1.1.MVS.数据结构 ................................................................. 40 4.1.2.使用.EV.重写.SQL ........................................................... 41 4.2. MVS+：增加低分辨率图像.............................................................. 45 4.2.1.精简图像.......................................................................... 45 4.2.2.利用精简图像计算图像的近似度................................... 47 4.2.3.利用子区间提高近似图像相似度................................... 49 4.2.4.查询重写.......................................................................... 51 4.2.5.一般查询.......................................................................... 52 4.2.6. MVS+的优势分析............................................................ 54 4.3  图像建立、存储及维护................................................................... 56 4.3.1.图像建立.......................................................................... 56 4.3.2.图像存储.......................................................................... 64 4.3.3.图像维护.......................................................................... 66 4.4  扩展.................................................................................................... 67 4.4.1.多维属性.......................................................................... 67 4.4.2.其他图像类型.................................................................. 71 4.4.3.缩放和拖拽...................................................................... 72 4.5  实验.................................................................................................... 74 4.5.1.实验数据和平台.............................................................. 74 4.5.2.用户调研.......................................................................... 76 4.5.3.图像的创建时间和空间大小........................................... 79 4.5.4.Marviq.性能 ...................................................................... 81 4.5.5.图像分裂和合并.............................................................. 85 4.5.6.与.VAS.的比较 ................................................................. 86 4.5.7.与.Sample.+.Seek.的比较 ................................................. 87 4.5.8.其他近似度函数.............................................................. 89 4.6  小结.................................................................................................... 90 第 5章  离散型数据处理模型 ...............................................................92 5.1.TABLESAMPLE和 LIMIT概述 ....................................................... 92 .............................................................. 93 5.1.1. TABLESAMPLE............................................................................... 95 5.1.2. LIMIT. 5.1.3.TABLESAMPLE.与.LIMIT.对比 ..................................... 99 ......................................................................................... 105 5.2  模型建立. 5.2.1.以.TABLESAMPLE.为基础的.rQ-模型 ...................... 105 5.2.2.以.LIMIT.为基础的.kQ-模型 ...................................... 107 5.3. kQ-模型优化.................................................................................. 108 5.3.1.丢弃低频关键字............................................................ 108 5.3.2.减少.LIMIT.查询数量 ................................................... 109 5.3.3.增量方式绘制可视化图像............................................. 109 5.3.4.使用样本.kQ-曲线及聚类 ........................................... 110 5.3.5.优化算法........................................................................ 111 ......................................................................................... 112 5.4  离线样本. 5.4.1.利用两个数据表生成可视化图像................................. 113 5.4.2.随机样本........................................................................ 115 5.4.3.数据密度敏感的分层抽样............................................. 116 5.5  模型扩展与维护............................................................................. 119 5.5.1.复杂条件查询................................................................ 119 5.5.2.模型存储与维护............................................................ 121 5.6  实验.................................................................................................. 121 5.6.1.实验数据和平台............................................................ 121 5.6.2.图像近似度与 k.值 ......................................................... 122 5.6.3.聚类数量对. k.值的影响 ................................................. 125 5.6.4.离线样本创建时间......................................................... 126 5.6.5.离线样本对查询的影响................................................. 127 5.6.6.扩展性............................................................................ 134 5.6.7.分类数据........................................................................ 136 5.7  小结.................................................................................................. 137 第 6章  数据分区优化 ........................................................................138 6.1  数据分区概况................................................................................. 138 ......................................................................................... 141 6.2  相关工作. 6.2.1  多分区方案设计............................................................ 141 6.2.2  分区方案搜索................................................................ 142 6.2.3  数据分区中间件............................................................ 144 6.3  研究思路及方案概况..................................................................... 144 6.3.1  研究思路........................................................................ 144 6.3.2  方案概况........................................................................ 147 ......................................................................................... 147 6.4  距离模型. 6.4.1  定义及术语表示............................................................ 147 6.4.2  距离函数........................................................................ 149 6.4.3  距离矩阵........................................................................ 152 6.5  多方案分区生成算法..................................................................... 152 6.5.1  工作负载聚类................................................................ 153 6.5.2  分区方案生成................................................................ 155 6.6  查询路由算法................................................................................. 160 6.6.1  已知查询........................................................................ 160 6.6.2  ad-hoc查询 ................................................................... 161 6.6.3  更新查询........................................................................ 161 ......................................................................................... 163 6.7  实验验证. 6.7.1  实验数据和平台............................................................ 163 6.7.2  工作负载聚类................................................................ 164 6.7.3  分区方案性能比较......................................................... 168 6.8  小结.................................................................................................. 172 第 7章  总结与展望 ............................................................................173 7.1  总结.................................................................................................. 173 7.2.展望.................................................................................................. 174 7.2.1  复杂查询........................................................................ 174 7.2.2  底层数据库.................................................................... 175 参考文献..............................................................................................176