复杂数据质量控制技术(精)

复杂性是大数据区别于小数据的本质特性，也是当前大数据质量控制与数据治理面临的核心挑战。本书围绕大数据的复杂性开展研究，旨在探索当前数据资源建设与利用过程中面临的挑战和技术难题，促进数据价值的充分释放。 全书分为6部分，共24章。第1部分概述(第1、2章)，综述所研究数据控制技术的基本概念和任务定位，以及国内外的研究进展； 第2部分实体分辨技术(第3~13章)，研究了高维数据实体分辨、名称分辨、XML数据实体分辨和跨模态数据实体分辨等； 第3部分真值发现技术(第14~18章)，研究了单真值发现、多真值发现、文本数据真值发现，以及基于多蚁群优化和基于深度神经网络的真值发现等； 第4部分基于数据依赖的数据质量控制技术(第19~21章)，研究了数据录入辅助预测与推理方法、不一致数据检测与修复方法，以及有限先验知识下的全局数据质量评估； 第5部分系统与平台(第22、23章)，介绍了数据质量控制系统，以及数据治理平台的设计与实现； 第6部分结束语(第24章)，归纳总结了当前面临的风险和挑战。 本书务实求新，系统性强，易读性和可操作性好，既可作为数据质量控制与数据治理领域的进阶用书，又可作为数据资源建设与利用、信息技术等相关学科领域的教学参考或工程实践指导用书。

目录 第1部分概述 第1章绪论 1．1研究背景及意义 1．2基本概念和任务定位 1．2．1实体分辨 1．2．2高维数据实体分辨 1．2．3名称分辨 1．2．4XML数据实体分辨 1．2．5跨模态数据实体分辨 1．2．6冲突消解与真值发现 1．2．7不一致数据检测与修复 1．2．8数据录入辅助预测与修复 1．2．9数据质量评估 1．3本书内容结构安排 本章参考文献 第2章国内外研究进展 2．1引言 2．2高维数据实体分辨的研究进展 2.2.1实体分辨方法 2．2．2多目标蚁群算法 2．2．3特征选择稳定性 2.2.4不平衡数据分类方法 2．3名称分辨的研究进展 2．3．1机构名称分辨的研究现状 2．3．2姓名消歧的研究现状 2．4XML数据实体分辨的研究进展 2．4．1文本比较方法 2．4．2结构比较方法 2．5跨模态数据实体分辨的研究进展 2．5．1单模态表征 2．5．2相似性度量方法 2．5．3相似性匹配方法 2．6真值发现的研究进展 2．6．1结构化数据真值发现 2．6．2文本数据真值发现 2．6．3特殊场景下的真值发现 2．7不一致数据检测与修复的研究进展 2．7．1数据检测 2．7．2数据修复 2．8数据录入辅助预测与推理的研究进展 2．8．1数据预测模型 2．8．2智能人机接口 2．9全局数据质量评估的研究进展 本章小结 本章参考文献 第2部分实体分辨技术 第3章高维数据特征选择的多目标蚁群算法 3．1引言 3．2理论方法 3．2．1两档案设置 3．2．2等效路径信息素增强策略 3．2．3多样性度量指标 3．3算法描述 3．3．1路径选择概率公式 3．3．2变异机制 3．3．3两档案更新 3．3．4信息素更新方式 3．3．5算法伪代码及时间复杂度分析 3．4实验与分析 本章小结 本章参考文献 第4章高维数据特征选择稳定性研究 4．1引言 4．2特征选择稳定性指标分析 4．3特征选择稳定性集成方法分析 4．4演化算法特征选择稳定性提升方法 4．4．1系统描述 4．4．2基于多目标蚁群优化的稳定特征选择 4．5实验与分析 4．5．1EAFSSIS实验分析 4．5．2SFSMOACO实验分析 本章小结 本章参考文献 第5章高维数据实体分辨多分类器方法 5．1引言 5．2分类器度量 5．2．1分类器性能度量 5．2．2分类器相似性度量 5．3基于特征选择的多分类器方法 5．3．1系统模型设计 5．3．2方法实现 5．4实验与分析 5．4．1实验设置与对比方法 5．4．2实验验证与结果分析 本章小结 本章参考文献 第6章高维不平衡数据实体分辨集成学习方法 6．1引言 6．2不平衡数据分类度量指标 6．3遗传欠采样多目标蚁群优化特征选择 6．3．1方法框架 6．3．2V统计量 6．3．3遗传欠采样 6．3．4多目标蚁群算法特征选择 6．3．5特征预处理及算法伪代码描述 6．4实验与分析 6．4．1实验数据与评估指标 6．4．2遗传欠采样分析 6．4．3算法分析 6．5综合验证 6．5．1实验数据与评估指标 6．5．2实验与分析 本章小结 本章参考文献 第7章基于增强相似度数据空间转换的机构别名挖掘 7．1引言 7．2机构作者二部图构造 7．3作者集合间的增强相似度计算 7．4集合型数值型数据空间转换 7．5机构别名挖掘流程及算法 7．5．1机构别名挖掘流程 7．5．2机构别名挖掘算法描述 7．6实验验证 7．6．1实验数据 7．6．2实验方法 7．6．3评价指标 7．6．4实验结果 本章小结 本章参考文献 第8章基于多重集增强相似度数据空间转换的机构别名挖掘 8．1引言 8．2多重集的定义及运算法则 8．3机构作者加权二部图构造 8．4作者多重集间的增强相似度计算 8．5机构别名挖掘步骤及算法描述 8．5．1机构别名挖掘步骤 8．5．2机构别名挖掘算法描述 8．6实验验证 8．6．1实验数据 8．6．2实验方法 8．6．3实验结果 本章小结 本章参考文献 第9章基于合作作者和隶属机构信息的姓名消歧 9．1引言 9．2实体关系图构造 9．3有效路径选择 9．4连接强度计算 9．4．1连接强度 9．4．2路径概率 9．4．3路径权重 9．5姓名消歧步骤及算法描述 9．5．1姓名消歧步骤 9．5．2姓名消歧算法描述 9．6实验验证 9．6．1实验数据 9．6．2实验方法 9．6．3实验结果 本章小结 本章参考文献 第10章面向XML数据实体分辨的树相似度 10．1引言 10．2树相似度 10．3具有文本相似度的扩展子树 10．4效果评估 10．4．1实验设置 10．4．2与其他树相似度的比较 10．4．3参数对分类正确率的影响 本章小结 本章参考文献 第11章基于语义空间结构的多模态数据表征 11．1引言 11．2基于语义结构的数据表征 11．3基于参考点的低维语义结构表征 11．3．1语义结构的参考表征 11．3．2参考点选择策略 11．4实验分析 11．4．1数据集和实验设置 11．4．2最近邻覆盖率测试结果及分析 11．4．3聚类测试结果及分析 11．4．4运行效率测试及复杂度分析 本章小结 本章参考文献 第12章基于语义结构一致性的跨模态相似度度量 12．1引言 12．2基于抽象和关联的跨模态相似度计算框架 12．3语义结构一致性与相似度计算 12．3．1文本与图像特征提取 12．3．2多模态语义结构一致性 12．3．3多模态参考点选择及相似度计算 12．4实验分析 12．4．1数据集和实验设置 12．4．2文本图像相似度验证 本章小结 本章参考文献 第13章考虑“相似性漂移”的多模态匹配 13．1引言 13．2跨模态映射的“相似性漂移”问题 13．3基于近邻传播的匹配方法 13．4基于近邻增强的匹配方法 13．5实验分析 13．5．1数据集和实验设置 13．5．2平均最近邻覆盖率测试 13．5．3跨模态匹配验证 本章小结 本章参考文献 第3部分真值发现技术 第14章基于数据源质量多属性评估的单真值发现 14．1引言 14．2问题定义 14．3基于加权多属性的真值发现算法 14．3．1模型概述 14．3．2数据源质量多属性评估 14．3．3MESOTD算法描述 14．4实验与分析 14．4．1实验数据及方法 14．4．2评价指标 14．4．3实验结果分析 本章小结 本章参考文献 第15章基于多蚁群同步优化的多真值发现 15．1引言 15．2问题定义 15．3多真值发现模型 15．3．1模型概述 15．3．2模型分析 15．4MACSOMTD算法设计 15．4．1算法流程描述 15．4．2蚁群算法设计 15．5实验分析 15．5．1实验数据及对比算法 15．5．2评价指标 15．5．3参数敏感性分析 15．5．4对比结果分析 本章小结 本章参考文献 第16章基于深度神经网络嵌入的结构化数据真值发现 16．1引言 16．2问题定义 16．3TDBNNE算法描述 16．3．1数据源观测值嵌入空间构建 16．3．2基于嵌入空间的真值发现 16．4实验与分析 16．4．1实验设置 16．4．2评价指标 16．4．3实验结果分析 本章小结 本章参考文献 第17章基于蚁群优化的文本数据真值发现 17．1引言 17．2问题定义 17．3Ant_Truth算法描述 17．3．1文本答案预处理 17．3．2文本数据真值发现 17．3．3实验与分析 17．4蚁群算法参数选择 17．4．1进化强度 17．4．2ACOP_ES算法描述 17．4．3实验与分析 本章小结 本章参考文献 第18章基于图卷积神经网络的文本数据真值发现 18．1引言 18．2问题定义 18．3GCN_Truth算法描述 18．3．1基于SIF的文本答案语义表征 18．3．2文本数据真值发现 18．4实验与分析 18．4．1实验设置 18．4．2评价指标 18．4．3实验结果分析 本章小结 本章参考文献 第4部分基于数据依赖的数据质量控制技术 第19章数据录入辅助预测与推理方法研究 19．1引言 19．2数据预测模型 19．2．1最频繁使用模型 19．2．2最近使用模型 19．2．3确定性模型 19．2．4基于上下文的协同式频繁使用模型 19．2．5Usher： 动态监控数据收集质量的系统 19．3基于统计依赖的辅助录入流程 19．3．1基于贝叶斯网络的数据预测和推理研究 19．3．2数据积累对基于贝叶斯网络推理的影响 19．3．3基于贝叶斯网络的关系数据字段排序算法 19．4实验验证与结果分析 19．4．1贝叶斯网络学习 19．4．2基于贝叶斯网络的预测 19．4．3排序算法 本章小结 本章参考文献 第20章不一致数据检测与修复方法研究 20．1引言 20．2数据的检测与修复 20．3检测规则与修复规则的转换 20．3．1修复规则Fixing Rule的形式化定义 20．3．2基于修复规则Fixing Rule抽取常量CFD 20．3．3基于常量条件函数依赖生成Fixing Rule 20．4基于常量CFD和Fixing Rule的不一致数据检测与修复 20．4．1不一致数据检测与修复算法DetecRep 20．4．2DetecRep算法复杂度分析 20．4．3实验验证与结果分析 本章小结 本章参考文献 第21章有限先验知识下的全局数据质量评估 21．1引言 21．2基于贝叶斯网络结构学习的全局数据质量评估 21．3全局数据准确性评估拓展研究 21．3．1基于评分和搜索全局准确性评估方法 21．3．2基于邻接矩阵的度量标准 21．4实验验证与结果分析 21．4．1实验设置 21．4．2实验结果与分析 本章小结 本章参考文献 第5部分系统与平台 第22章数据质量控制系统 22．1引言 22．2数据质量控制系统的发展现状 22．2．1存储层数据质量控制 22．2．2应用层数据质量控制 22．2．3独立数据质量工具 22．2．4大数据质量控制 22．3基于规则的数据质量控制系统 22．3．1系统功能 22．3．2系统架构 22．4大数据质量控制系统 22．4．1系统功能 22．4．2系统架构 本章小结 本章参考文献 第23章数据治理平台 23．1引言 23．2数据治理平台的发展现状 23．2．1数据治理平台概述 23．2．2典型数据治理解决方案 23．3跨域数据质量控制系统 23．3．1系统功能 23．3．2系统架构 23．4目标驱动的数据治理平台 23．4．1平台功能 23．4．2平台架构 本章小结 本章参考文献 第6部分结束语 第24章被忽视的挑战和风险 24．1引言 24．2举步维艰的现实 24．3不得不说的风险和挑战 24．3．1“开源社区”是“自主可控”还是“失去自我” 24．3．2不得不走的“主数据建设”回头路 24．3．3“数据中台”的误导 24．3．4脱离“业务数据需求”的盲目 24．3．5尚不能预判的“挑战” 本章小结 本章参考文献 附录项目资助