智能数据时代

大数据这个概念自诞生以来，已经经历了几次演变。当今社会，对传统大数据中的量的需求已经很容易达到，大数据的竞争转向了数据质量。只有将深入在各种行业情景中非结构化的、与业务流程直接相关的高价值数据挖掘出来，企业才有可能基于自己的业务进行分析甚至预测。因此，大数据时代进入了一个新的纪元——智能数据时代。《智能数据时代：企业大数据战略与实战》作者团队来自大数据行业的领军企业TalkingData，他们站在企业管理者的角度，系统全面地剖析了企业如何转型以适应当今智能数据时代。全书以大数据相关的知识和工具为起点，重点介绍了企业大数据实施的三个方面——数据管理、数据工程和数据科学，并结合一线的大数据实战经验，帮助读者更深刻地理解如何构筑数据驱动型企业。

TalkingData（北京腾云天下科技有限公司）成立于2011年，是中国优选的独立第三方移动数据服务平台。TalkingData一直致力于数据的深耕与数据价值的挖掘，从数据的采集、处理到数据的分析，再到数据的应用与咨询。TalkingData已经形成了一套以“智能数据平台”（SmartDP）为主的完整数据应用体系，并构筑了一套以数据商业化平台、数据服务平台及数据合作平台为核心的数据生态。目前，TalkingData的平均月活跃用户为6.5亿，为超过12万款移动应用以及10万应用开发者提供服务。覆盖的客户主要为金融、地产、快消、零售、出行、政府等行业中的领军企业，连续三年实现业务的三倍快速增长。

前言
第一篇大数据基础知识
第1章大数据的基本定义
1.1大数据分析的出现
1.2大数据如何发掘价值
1.3大数据处理的关键——数据类型
1.4大数据处理的微妙之处
1.5大数据环境下的处理分析工具
1.6智能数据时代到来
第2章数据的艺术
2.1评估可能性的艺术
2.2了解现状
2.3自我评估、完善度、信息架构
2.4愿景部署
2.5现在和将来的数据仓库
2.6实时建议和操作
2.7验证提出的愿景
第3章大数据：有所为有所不为
3.1大数据分析最佳实践
3.2从小做起
3.3关注大局
3.4避免最差实践
3.5步步为营
3.6学会利用异常数据
3.7速度与精度的抉择
3.8内存计算
第二篇大数据工具和技术
第4章分布式世界中的设计
4.1可见性
4.2保持简单的重要性
4.3组合
4.4分布式状态
4.5CAP原则
4.6松耦合系统
4.7速度
4.8总结
第5章大数据分析工具
5.1ApacheHadoop
5.2ApacheSpark
5.3NoSQL数据库
5.4MongoDB
第三篇数据管理
第6章大数据的类型
6.1定义结构化数据
6.2探秘结构化数据来源
6.3关系数据库在大数据中扮演的角色
6.4非结构化数据
6.5内容管理系统在大数据管理中的作用
6.6实时和非实时条件
6.7大数据集成
第7章大数据的新范式：我们想要从大数据系统中获得什么
7.1稳定性和容错性
7.2横向扩容
7.3可扩展性
7.4即席查询
7.5最小化维护
7.6可调试性
7.7完全增量式架构
7.8操作复杂性
7.9极其复杂地实现最终一致性
7.10人为容错的缺陷
7.11Lambda架构
第8章数据管理
8.1数据管理成熟度评估
8.2元数据管理
8.3数据治理
8.4数据质量管理
8.5参考数据与主数据管理
第四篇数据工程
第9章理解数据业务流程
9.1理解商业动机
9.2调查计划
9.3初步研究
9.4专家咨询
9.5识别关键成功因素
9.6优先考虑早期路线图的执行
9.7战略图谱
第10章大数据和云计算
10.1云计算的定义
10.2私有云与公有云计算
10.3IaaS典型平台——亚马逊云平台AWS
10.4PaaS典型平台
10.5SaaS典型平台
第11章数据收集
11.1收集一切
11.2为数据源设置优先级
11.3关联单独的数据
11.4如何收集数据
11.5数据采购
11.6数据保留
第12章数据质量和数据预处理
12.1数据质量：为什么要对数据做预处理
12.2数据预处理的主要工作
第13章数据安全和隐私
13.1数据收集：了解隐私的最前沿
13.2策略考虑因素
13.3实施考虑因素
13.4总结
第五篇数据科学
第14章数据分析
14.1什么是分析
14.2分析的类型
第15章数据探索
15.1概要
15.2数据探索的目标
15.3数据集
15.4描述性统计
15.5数据可视化
15.6数据探索路线图
第16章大数据、数据科学和数据挖掘
16.1先验知识
16.2数据准备
16.3建模
16.4应用
16.5总结
第六篇构筑数据驱动型企业
第17章建立数据驱动文化
17.1数据收集
17.2报告
17.3警报
17.4从报告到警报再到分析
17.5数据驱动的标志
17.6分析成熟度
第18章构建大数据团队
18.1数据科学家
18.2团队挑战
18.3不同的团队，不同的目标
18.4别忘了数据
18.5更多挑战
18.6团队与文化
18.7量化成就
第七篇大数据实战
第19章大数据使用实例
19.1大数据的使用与意义
19.2案例：大数据在金融领域的应用
19.3案例：大数据在地产领域的应用
第20章大数据分析和数据驱动决策的思维实战
20.1无处不在的数据机会
20.2数据科学、数据工程和数据驱动决策
20.3数据处理和大数据
20.4从大数据1.0到大数据2.0
20.5数据和数据科学能力作为战略资产
20.6数据分析思维
20.7具备数据分析技能的管理者
20.8数据挖掘与数据科学
20.9化学反应不只限于试管：数据科学与数据科学家的工作
20.10总结
第21章结语
21.1全面解读
21.2通往大数据之路
21.3思索大数据的真实一面
21.4大数据实践
21.5深度解读大数据处理流程
21.6大数据可视化
21.7大数据隐私

大数据这个概念自诞生以来，已经经历了几次飞跃。时至今日，大数据这个名词频繁地与人工智能、DT、预测等词汇放在一起，看上去数据的发展已经成为与科技发展甚至整个社会发展平行的存在——?一切的颠覆都离不开数据。大数据是一种赋能工具，它的作用是帮助行业加速价值的流通，减少信息不对称，提高交易效率。    市面上大数据行业相关的书籍已经汗牛充栋，然而还没有这样一本书——全面地解析大数据、企业和人之间的关系，站在企业管理者的角度解答如何利用大数据加速发展、攫取更多的价值；更没有人全面告诉企业的管理者，如果想转型以适应当今智能数据时代，应该储备何种知识和人才。TalkingData作为大数据行业的领军企业，决定写这样一本书。    竞争环境：行业快速发展，传统行业加速转型根据IDC的数据显示，到2020年，全球大数据技术和服务市场预计将达到589亿美元，其中大数据基础设施占277亿美元，大数据软件占159亿美元，大数据服务占（包括专业和支持服务）153亿美元。相比于北美等发达地区，中国大数据产业虽然年轻，但是处于快速发展期。根据DT大数据产业创新研究院（DTiii）的预测，从现在到2025年，大数据产业的经济总量将呈指数级增长（如下图），覆盖的行业包括政府、金融、电信、交通、工业、能源、房地产、教育、商业服务、医疗、文娱、农业等。    2015—2025年中国大数据产业增长趋势图注：数据来源于DT大数据产业创新研究院（DTiii，2016）。    除了飞速发展的整个行业总量之外，大数据行业本身也带有快速颠覆迭代的特征。当今社会，对传统大数据中量的需求已经很容易达到，大数据的竞争转向了数据质量。那些深入在各种行业情境中、非结构化的、与业务流程直接相关的数据，成为高价值的数据类型。只有将这部分数据挖掘出来，企业才有可能基于自己的业务进行分析甚至预测。因此，大数据时代进入了一个新的纪元——智能数据时代。    数据和人工智能是智能数据时代的鲜明特征，但是只有数据和人工智能依然不足，还需要人类智慧的参与。数据、人工智能和人类智慧，成为智能数据时代的三大要素。    数据的积累可以为人类提供更多更细的洞察分析，人类经验得以增强，人类智慧得以增长。比如，通过更多来自于手机的用户行为分析，企业可以对自己的用户有更多了解，包括他们的生活喜好、消费习惯等，以此产生更多的营销机会。人工智能本身也需要人类智慧的介入，以引导人工智能的方向，提高人工智能的效率。比如，AlphaGo也需要不断地与人类围棋高手对战，依靠人类智慧的辅助，才能持续提升棋力。    缺乏人类智慧的持续介入，人工智能对数据的加成作用会随着数据的变化逐步弱化甚至失效；缺乏人工智能，人类无法依靠自身处理如此复杂而且快速变化的数据；缺乏数据，人工智能无法存在，人类智慧的积累也会放缓。数据、人工智能和人类智慧互相促进，组成一个正向的循环。比如情景感知领域，基于手机上体现姿态动作的传感器数据，经过人工智能的算法，可以判断手机用户的动作和姿态（包括走路、骑车、驾驶等）。如果判断不够准确，就需要人工介入，对数据再进行整理和增强、对算法进行优化，直到结果达到可用的程度。同时，具有情景感知能力的手机，可以给应用开发者提供更多的应用场景和体验，比如运动健身、金融风控、物流管理、娱乐体验等，相应地也会产生更多的数据——这些新的数据让人类智慧更快积累，也让人工智能更加强大。比如，通过情景感知数据，发现绝大部分用户在使用App的时候手机都是处于手持状态，那么非手持状态的使用场景是否意味着更大的金融风险？人工智能和人类智慧，让数据岂止“大”？智能数据时代的三大要素聚合裂变，已经产生难以想象的价值。    现实差距：人才缺口很多企业在智能数据时代举步维艰，但是也有一些新的企业脱颖而出，利用数据来增强自己的竞争力，在各个领域对传统企业形成巨大的冲击。据A16Z的2016移动互联网报告，以GAFA（谷歌、亚马逊、Facebook、苹果）为代表的数据巨头，已经在数据和技术领域建立起牢固的优势，在年收入规模上比Wintel同盟要大3倍。反过来，它们也在通过数据和技术改变传统行业的形态和模式，包括零售、媒体发行、汽车等。    这些新的数据和技术的先锋具有一些共同的特征：实现了业务数据化和数据资产化，能够用数据来驱动场景化的应用，高效地探索和转化商业价值。这样的企业，已经拥有数据驱动的文化，我们叫做智能企业（Smart Enterprise）：    1.具有灵活的技术平台和数据科学能力，能支撑足够大的数据量级、足够多的数据维度、足够复杂的数据类型、足够灵活的数据格式、足够低的数据洞察延时等，提高各种数据应用场景的交付效率。    2.具有统一的数据管理策略，以管理跨企业的、一致的数据视图，能高效地汇聚数据（包括自有数据和第三方数据），也能高效地输出数据和数据服务。    3.具有端到端的数据工程能力，以支撑业务线的可管理的数据运营，形成数据闭环和持续的业务优化。    若