大数据治理(理论与方法)/新型工业化新计算数据科学技术与应用系列

本书首先对大数据治理 的背景和基本概念进行简要 介绍，为读者提供大数据治 理的背景知识；然后从政策 、管理和技术等方面对大数 据治理相关的概念和方法加 以介绍，对数据架构管理、 元数据管理、主数据管理、 数据集成、数据质量管理、 数据的标准化、数据资产化 、数据安全与隐私保护等进 行深入探讨，以期为读者提 供一个比较全面的大数据治 理的场景。 本书可作为高等院校“数 据科学与大数据技术”专业 的本科生、研究生的教材， 也可供大数据领域的从业人 员阅读，还可为对大数据治 理感兴趣的广大读者提供参 考。

第1章 大数据治理的背景和基本概念 1.1 大数据治理的定义 1.2 大数据治理的应用 1.2.1 大数据治理的任务 1.2.2 数据治理与数据管理的区别 1.2.3 大数据治理的典型案例 1.3 大数据治理的挑战 1.3.1 大数据的发展和现状 1.3.2 当下面临的挑战 1.4 本书的主要内容 第2章 数据架构管理 2.1 数据架构概述 2.2 IBM数据架构参考模型 2.2.1 逻辑层 2.2.2 垂直层 2.3 企业数据架构参考模型 2.4 CESI大数据参考架构模型 2.5 大数据技术参考架构 2.6 数据湖（DataLake） 2.7 面向大数据的数据架构实现 2.7.1 Hadoop 2.7.2 Storm 2.7.3 Spark 2.7.4 三种架构的比较分析 2.8 数据架构设计原则 第3章 元数据管理 3.1 元数据概述 3.1.1 定义 3.1.2 组织方式 3.1.3 作用和意义 3.2 业务元数据 3.2.1 意义 3.2.2 概念 3.2.3 实践要点 3.3 技术元数据 3.3.1 意义 3.3.2 概念 3.3.3 实践要点 3.4 元数据管理 3.4.1 元数据管理方案 3.4.2 元数据标准和规范 3.4.3 元数据管理的成熟度 第4章 主数据管理 4.1 概述 4.1.1 主数据的概念 4.1.2 主数据的类型 4.1.3 主数据管理的基本思路 4.2 主数据管理系统 4.2.1 主数据管理的架构设计 4.2.2 主数据管理的核心功能 4.2.3 主数据管理的实现风格 4.3 主数据管理的成熟度 第5章 数据集成 5.1 数据集成的基本概念 5.1.1 数据集成的定义 5.1.2 数据集成的分类 5.1.3 数据集成的难点 5.2 传统数据集成 5.2.1 联邦数据库系统 5.2.2 中间件集成 5.2.3 数据仓库 5.3 传统数据集成的关键技术 5.3.1 模式匹配 5.3.2 数据映射 5.4 跨界数据集成 5.4.1 基于阶段的集成 5.4.2 基于特征的集成 5.4.3 基于语义的集成 5.5 智能化时代的数据集成 5.5.1 知识图谱融合 5.5.2 联邦学习 第6章 数据质量管理 6.1 概述 6.1.1 数据质量的定义 6.1.2 数据质量问题 6.2 数据质量评估 6.2.1 数据一致性评估 6.2.2 数据完整性评估 6.2.3 数据时效性评估 6.2.4 数据精确性评估 6.2.5 实体同一性评估 6.3 缺失值填充 6.3.1 什么是缺失值 6.3.2 缺失值处理方法 6.3.3 缺失值处理例析 6.4 实体识别与真值发现 6.4.1 什么是实体识别 6.4.2 基于规则的实体识别方法 6.4.3 什么是真值发现 6.4.4 真值发现方法 6.4.5 真值发现的关键技术 6.5 错误检测与修复 6.5.1 格式内容清洗 6.5.2 逻辑错误清洗 6.5.3 非需求数据清洗 6.5.4 面向图数据的错误检测技术 6.6 面向大数据的数据清洗 6.6.1 大数据清洗的探索 6.6.2 时间序列错误清洗 6.6.3 基于众包的数据清洗 6.6.4 基于用户反馈的数据清洗 6.6.5 面向半结构化数据、图数据的数据清洗 6.7 数据质量标准 6.7.1 ISO 6.7.2 《信息技术数据质量评价指标》 6.7.3 《工业数据质量通用技术规范》 第7章 数据标准化 7.1 数据标准化概述 7.1.1 数据标准 7.1.2 数据标准管理 7.1.3 企业数据标准化 7.2 数据标准化例析 7.2.1 工业大数据 7.2.2 信息技术元数据注册系统 第8章 数据资产化 8.1 数据资产管理概述 8.1.1 数据资产 8.1.2 数据资产管理 8.2 数据资产发现与评估 8.2.1 数据资产发现 8.2.2 数据资产评估 8.3 数据交易与数据定价 8.3.1 数据交易 8.3.2 数据定价 8.4 拓展：大数据拍卖模型 8.4.1 问题背景 8.4.2 基本拍卖模型 8.4.3 扩展的Vickrey拍卖模型 8.4.4 扩展的序贯拍卖模型 第9章 数据安全与隐私保护 9.1 概述 9.1.1 基本概念 9.1.2 数据安全与数据管理生命周期 9.2 数据安全存储、传输与访问 9.2.1 加密存储和传输 9.2.2 访问控制 9.3 数据安全检索与处理 9.3.1 安全检索 9.3.2 安全处理 9.4 隐私保护 9.4.1 基本概念 9.4.2 数据脱敏 9.4.3 k-匿名 9.4.4 差分隐私 9.4.5 图数据隐私保护 9.5 智能化时代的数据安全 9.5.1 推荐系统中的数据投毒攻击 9.5.2 众包环境下的数据投毒攻击 9.5.3 数据投毒攻击的防御