数据质量测量的持续改进

本书分为六部分，共16章。靠前部分（靠前～4章）讨论对数据质量和数据管理意义重大的一组术语，涉及数据的扩展定义、符号性功能、与数据和数据管理相关的角色、与数据管理相关的概念以及数据质量维度的概念。第二部分（第5章和第6章）描述创建DQAF的原因，概括框架的假设、定义和管理思路，并给出48种测量类型的简短描述。第三部分（第7～9章）阐释数据评估方案，涉及数据评估的目标与输入、如何剖析数据、测量与数据质量改进项目的关系以及将持续测量用于维持数据质量的一般原则。第四部分（靠前0章和靠前1章）展示DQAF类别如何用于编制数据质量的需求，以便指定数据质量的联机测量、控制和定期测量。第五部分（靠前2章和靠前3章）讨论定义数据质量战略的环境和方法，涉及数据质量战略的概念与总体策略，还讨论建立组织的数据质量战略的12个指令。第六部分（靠前4～16章）详细讨论DQAF的框架，涉及联机测量中如何收集与计算原始测量数据，如何产生测量结果，以及DQAF测量逻辑数据模型的测量类型共有的功能。

劳拉·塞巴斯蒂安-科尔曼（Laura Sebastian-Coleman），Optum Insight公司数据质量架构师，自2003年以来，一直在大型医疗保健数据仓库从事数据质量方面的工作。Optum Insight专门通过提供分析、技术和咨询服务来改善医疗保健系统的绩效。劳拉已实现数据质量指标和报表，发起并推动Optum Insight的数据质量社区，促进数据消费者的培训项目，并领导建立数据标准和管理元数据的工作。2009年，她带领一队来自Optum和UnitedHealth集团的分析师，研发了很初的数据质量评估框架（DQAF），这是本书的基础。作为一名活跃的专业人士，劳拉曾在麻省理工学院的信息质量会议、信息和数据质量靠前协会（IAIDQ）以及数据治理组织（DGO）主办的会议上发表论文。在2009年与2010年，她曾担任IAIDQ会员服务总监。加入Optum Insight公司之前，劳拉在商业保险行业从事了八年的内部通信和信息技术工作。她拥有IAIDQ颁发的IQCP（信息质量认证专家）证书，这是麻省理工学院的信息质量领域的一种证书，她在富兰克林和马歇尔学院取得了英语和历史学士学位，并在罗切斯特大学（纽约州）取得了英国文学博士学位。 

序言
致谢
作者简介
概述1
第一部分概念和定义
第1章数据13
1.1目的13
1.2数据13
1.3数据表示14
1.4数据事实20
1.5数据作为产品20
1.6数据作为分析的输入21
1.7数据和期望21
1.8信息22
1.9总结思考23
第2章数据、人员和系统25
2.1目的25
2.2企业或组织25
2.3IT与业务26
2.4数据生产者27
2.5数据消费者27
2.6数据代理27
2.7数据管家和数据管家工作28
2.8数据所有者28
2.9数据所有权和数据治理29
2.10IT，业务和数据所有者，终极版29
2.11数据质量项目组30
2.12利益相关者31
2.13系统和系统设计31
2.14总结思考32
第3章数据管理、模型和元数据33
3.1目的33
3.2数据管理33
3.3数据库、数据仓库、数据资产和数据集34
3.4源系统、目标系统和记录系统35
3.5数据模型35
3.6数据模型的类型36
3.7数据的物理特征37
3.8元数据38
3.9元数据是显性知识40
3.10数据链和信息生命周期41
3.11数据谱系和数据出处41
3.12总结思考42
第4章数据质量和测量43
4.1目的43
4.2数据质量43
4.3数据质量维度44
4.4测量45
4.5测量数据46
4.6数据质量测量和业务/IT鸿沟47
4.7有效测量的特点48
4.8数据质量评估49
4.9数据质量维度，DQAF测量类型，特定的数据质量指标50
4.10数据剖析51
4.11数据质量问题和数据管理问题52
4.12合理性检查52
4.13数据质量阈值52
4.14过程控制54
4.15联机数据质量的测量和监控54
4.16总结思考55
第二部分DQAF的概念和测量类型
第5章数据质量评估框架概念58
5.1目的58
5.2DQAF解决的问题58
5.3数据质量期望和数据管理59
5.4DQAF的范围60
5.5DQAF质量维度62
5.6定义DQAF测量类型64
5.7元数据的要求64
5.8测量和评估分类的对象65
5.9测量的功能：收集、计算、比较67
5.10总结思考68
第6章DQAF测量类型69
6.1目的69
6.2数据模型的一致性69
6.3保证正确接收用于处理的数据69
6.4检查接收到的数据的状况70
6.5评估数据处理的结果71
6.6评估数据内容的有效性72
6.7评估数据内容的一致性73
6.8对放置联机测量的注释75
6.9跨表内容完整性定期测量76
6.10评估整体数据库内容77
6.11评估控制和测量78
6.12测量类型：综合清单78
6.13总结思考82
第三部分数据评估方案
第7章初步数据评估86
7.1目的86
7.2初步评估87
7.3初步评估的输入87
7.4数据预期87
7.5数据剖析87
7.6列属性剖析89
7.7结构剖析92
7.8剖析现有数据资产96
7.9从剖析到评估96
7.10初步评估的可交付成果96
7.11总结思考97
第8章数据质量改进项目评估98
8.1目的98
8.2数据质量改进工作98
8.3改进项目中的测量98
第9章持续测量101
9.1目的101
9.2适于持续测量的情况101
9.3示例：医疗保健数据103
9.4持续测量的输入104
9.5重要性和风险106
9.6自动化106
9.7控制106
9.8定期测量107
9.9持续测量的交付成果108
9.10联机与定期测量的对比108
9.11总结思考110
第四部分将DQAF运用到数据需求中
第10章需求、风险和重要性114
10.1目的114
10.2业务需求114
10.3数据质量需求和期望的数据特征116
10.4数据质量需求和数据风险118
10.5影响数据重要性的因素119
10.6指定数据质量指标120
10.7总结思考127
第11章提问128
11.1目的128
11.2提问128
11.3了解项目129
11.4了解源系统130
11.5数据消费者的需求132
11.6数据的状况133
11.7数据模型、转换规则和系统设计134
11.8测量规范过程134
11.9总结思考137
第五部分数据质量战略
第12章数据质量战略140
12.1目的140
12.2战略的概念140
12.3系统战略、数据战略和数据质量战略141
12.4数据质量战略和数据治理142
12.5信息生命周期中的决策点143
12.6数据质量战略一般注意事项144
12.7总结思考145
第13章数据质量战略的指令146
13.1目的146
13.2指令1：获得管理层对数据质量的承诺148
13.3指令2：把数据作为资产149
13.4指令3：应用资源来注重质量150
13.5指令4：建立数据的显性知识151
13.6指令5：把数据作为可测量和改进的流程的一个产品152
13.7指令6：认识到质量是由数据使用者定义的153
13.8指令7：解决造成数据问题的根本原因154
13.9指令8：测量数据质量，监控关键数据156
13.10指令9：保持数据生产者对自己的数据质量（和有关该数据的知识）负责158
13.11指令10：为数据使用者提供所需的数据使用知识158
13.12指令11：数据需要和用途将演进——为演进作规划159
13.13指令12：数据质量超越了数据本身——构建注重质量的文化160
13.14总结思考：使用现状评估161
第六部分DQAF详解
第14章测量功能：收集、计算、比较165
14.1目的165
14.2测量功能：收集、计算、比较165
14.3收集原始测量数据166
14.4计算测量数据167
14.5将测量结果与过去的历史结果比较168
14.6统计168
14.7控制图：统计过程控制的主要手段172
14.8DQAF和统计过程控制172
14.9总结思考173
第15章DQAF测量逻辑模型的功能174
15.1目的174
15.2指标定义表和测量结果表174
15.3可选字段176
15.4分母字段177
15.5自动阈值179
15.6手动阈值180
15.7紧急阈值180
15.8手动或紧急阈值和结果表181
15.9其他系统需求181
15.10支持需求181
15.11总结思考181
第16章DQAF测量类型的各方面182
16.1目的182
16.2DQAF的各方面183
16.3本章的组织结构183
16.4测量类型#1：数据集的完备性——元数据和参照数据的充分性185
16.5测量类型#2：一个字段内的格式一致性187
16.6测量类型#3：跨表的格式一致性188
16.7测量类型#4：一个字段内默认值使用的一致性189
16.8测量类型#5：跨表的默认值使用的一致性189
16.9测量类型#6：用于处理的数据的交付及时性190
16.10测量类型#7：数据集的完备性——对于处理的可用性192
16.11测量类型#8：数据集的完备性——记录数与控制记录相比193
16.12测量类型#9：数据集的完整性——汇总数额字段数据194
16.13测量类型#10：数据集的完备性——将大小与过去的大小作比较195
16.14测量类型#11：记录的完备性——长度196
16.15测量类型#12：字段的完备性——不可为空的字段197
16.16测量类型#13：数据集的完整性——重复数据删除198
16.17测量类型#14：数据集的完整性——重复记录的合理性检查199
16.18测量类型#15：字段内容的完备性——来自数据源的默认值200
16.19测量类型#16：基于日期标准的数据集的完备性202
16.20测量类型#17：基于日期标准的数据集的合理性203
16.21测量类型#18：字段内容的完备性——接收到的数据丢失要处理的关键字段204
16.22测量类型#19：数据集的完备性——经过一个流程的记录数的平衡205
16.23测量类型#20：数据集的完备性——拒绝记录的理由206
16.24测量类型#21：经过一个流程的数据集的完备性——输入与输出的比率207
16.25测量类型#22：经过一个流程的数据集的完备性——数额字段的平衡208
16.26测量类型#23：字段内容的完备性——汇总的数额字段的比率209
16.27测量类型#24：字段内容的完备性——推导的默认值211
16.28测量类型#25：数据处理用时212
16.29测量类型#26：供访问的数据的及时可用性214
16.30测量类型#27：有效性检查，单字段，详细结果215
16.31测量类型#28：有效性检查，卷积汇总218
16.32测量类型#29：有效性检查，表内多列，详细结果219
16.33测量类型#30：一致性列剖析221
16.34测量类型#31：数据集内容的一致性，所表示的实体的不重复计数和记录数比率223
16.35测量类型#32：数据集内容的一致性，两个所表示的实体的不重复计数的比率225
16.36测量类型#33：一致性多列剖析226
16.37测量类型#34：表内时序与业务规则的一致性229
16.38测量类型#35：用时（小时、天、月等）一致性229
16.39测量类型#36：数额字段跨二级字段计算结果的一致性231
16.40测量类型#37：按聚合日期汇总的记录数的一致性233
16.41测量类型#38：按聚合日期汇总的数额字段数据的一致性235
16.42测量类型#39：父/子参照完整性236
16.43测量类型#40：子/父参照完整性237
16.44测量类型#41：有效性检查，跨表，详细结果238
16.45测量类型#42：跨表多列剖析一致性239
16.46测量类型#43：跨表的时序与业务规则的一致性240
16.47测量类型#44：跨表数额列计算结果的一致性241
16.48测量类型#45：按聚合日期汇总的跨表数额列的一致性241
16.49测量类型#46：与外部基准比较的一致性242
16.50测量类型#47：数据集的完备性——针对特定目的的总体充分性243
16.51测量类型#48：数据集的完备性——测量和控制的总体充分性244
16.52总结思考：了解你的数据245
术语表246
参考文献255