大数据智能核心技术入门:从大数据到人工智能

"如何从业务到技术， 从学习到实践， 从治理到应用， 构建完整的大数据智能知识结构与技术体系？ 本书会给读者提供一个大数据智能核心技术体系的入门学习和应用参考指南！ "

本书跟从大数据和人工智能应用的融合之路，通过分析和解读整个数据驱动智能核心技术，希望能给读者提供一个大数据智能核心技术体系的入门学习和应用参考指南。本书前半部分内容重在核心技术解读：包括大数据智能的概论、大数据智能核心技术体系的多维解读、深度学习关键技术要点的分析，大数据智能应用三段论和敏捷大数据方法论的提出等内容。后半部分内容重在应用实践的探讨，深入分析了当前大数据智能独角兽Palantir、AlphaGo、Watson等核心产品和技术，并从个人学习到工程实践，从企业应用到政府治理，从业务理解到技术选型等多个层面，逐一解读大数据智能技术在学习、应用过程中面临的关键问题、陷阱，并给出参考意见。本书通过核心技术解读帮助读者学习、理解、应用大数据智能，具有重要的参考价值。本书适合的读者包括关注大数据和人工智能相关技术领域的在校学生、个人学习者和研发工程师、技术主管、企业高管、政府管理人员等。

杜圣东，西南交通大学信息科学与技术学院(人工智能研究院)讲师，大数据与人工智能方向在职博士，硕士与本科毕业于重庆大学计算机学院。兼任多家单位技术顾问和大数据培训专家，曾为中国中车集团、广州地铁集团、成都铁路局等多家企事业单位做大数据和人工智能培训讲座。首次提出了敏捷大数据方法论，在数据挖掘、商业智能、机器学习和交通、政务、医疗大数据等领域有10余年的系统研发、管理与咨询经验。迄今为止，主研国家自然科学基金和国家重点研发计划项目4项、主持企业课题和产品研发20余项，获得专利和软件著作权6项，发表论文10余篇。

第1章 大数据智能概论 1 1 大数据现象的本质 1 大数据源起：先知的诱惑 1 从《琅琊榜》看大数据本质 3 2 大数据是个“筐”，什么都能往里装 5 大数据技术业务概览 6 为什么叫大数据智能 7 3 何谓大数据智能 7 图灵的智能之问 7 大数据如何助力人工智能 9 大数据智能的深度融合之路 11 4 大数据智能三要素 12 数据：智能燃料 13 算法：智能引擎 14 算力：智能加速 15 5 大数据智能的马太效应 16 DT技术新解 16 强者越强，弱者越弱 18 挑战才刚刚开始 19 第2章 多维度解构大数据智能技术 21 1 “四位一体”看大数据智能 21 大数据智能技术的四个维度 22 云计算的支撑地位 24 2 大数据智能产业链版图 26 百家争鸣的DT生态 27 开源的巨大推动力 29 3 大数据智能的关键技术体系 31 大数据智能总体应用架构 31 大数据智能的基础支撑技术 34 大数据智能应用流程优化 39 4 从数据科学看大数据智能 43 什么是数据科学 43 数据科学的核心技术 44 数据科学的技术体系 47 数据科学的艺术 48 5 从商业智能看大数据智能 50 商业智能应用的问题 50 BI如何借力大数据智能 52 大数据智能与BI的融合之路 53 6 智能时代的基础信息架构 54 DT基础设施：云端―数据―智能 54 Hadoop大数据管理：“三个臭皮匠，赛过诸葛亮” 55 OpenStack云计算：一切皆服务 58 TensorFlow深度学习：流动的张量 59 第3章 大数据驱动的深度智能 63 1 深度学习的崛起 63 早期AI的发展 64 “猫”“狗”AI的野蛮生长 65 深度学习正在重塑机器智能 69 2 机器如何智能：从感知到认知 70 何谓机器智能 70 机器智能的三个层次 71 智能技术及应用体系 72 3 机器如何学习：从知识到数据 73 符号派AI的瓶颈 73 浅层学习：小数据驱动的机器学习1.0 76 深度学习：大数据驱动的机器学习2.0 83 4 机器学习五大学派 84 机器学习主流方向 84 机器学习算法不完全概览 87 机器学习技术选型 88 5 神经网络的“三起两落” 90 神经元与神经网络 90 神经网络研究的泡沫与价值 92 6 深度学习原理及核心网络结构 94 机器如何深度学习 94 自动特征工程：抽象与迭代 96 深度学习的关键词 97 深度学习的主流网络结构 100 7 深度强化学习：深度感知+强化决策 108 什么是强化学习 108 AlphaGo的深度强化策略 109 8 深度学习的“深度”价值 110 类脑学习参考 111 无监督自动特征工程 112 多种学习方式的融合 112 9 深度学习的瓶颈与挑战 113 如何从感知到认知 114 如何从监督学习到无监督学习 114 学习方式及应用场景的局限 115 多模态、多任务增量学习和模型重用 116 可解释性、安全性与鲁棒性 116 大数据、大模型与计算资源的瓶颈 118 第4章 敏捷大数据智能 121 1 为什么需要敏捷 121 大数据应用落地的瓶颈 121 敏捷大数据的重要性 123 2 敏捷大数据方法论 126 精益与敏捷思想 127 敏捷大数据定义及核心原则 130 “大”数据“小”应用 132 敏捷大数据应用流程 132 3 微服务、容器与数据融合 134 微服务与容器技术 134 多层次数据融合技术 137 4 敏捷大数据智能技术架构 139 5 结论与展望 144 第5章 大数据智能“独角兽”探秘 146 1 Palantir的本体人机共生 146 B2B大数据领域的“独角兽” 146 Palantir的产品体系及应用案例 147 Palantir架构设计：敏捷大数据的优美实现 151 Palantir数据融合：本体论与数据索引映射 152 Palantir智能计算：多维关联挖掘与全链分析 155 Palantir人机交互：动态可视化与人机共生 156 总结与启示 158 2 Google的深度智能样板工程 159 “狗”的诞生 160 AlphaGo的“类脑学习”框架 160 AlphaGo“零”的进化 162 总结与启示 164 3 IBM的认知智能 164 Watson的源起 165 认知智能与自然语言理解 166 Watson的认知智能平台架构 168 Watson DeepQA关键技术 169 Watson认知智能的强与弱 171 总结与启示 172 4 TensorFlow的Android式进化 173 TensorFlow的开源 173 为什么要讲Android 174 Google云端大数据智能战略 175 总结与启示 177 第6章 大数据智能个人学习篇：入门与实践 178 1 智能时代的学习革命 178 机器智能的助力 178 牛津大学的职业淘汰率研究 179 2 大数据智能技术“盲人摸象” 181 3 大数据智能“3+3”学习路线 183 学习的三个阶段：把握技术发展的时间线 183 学习的三种方式：应用导向是关键 186 4 如何避免大数据智能学习的误区 189 要业务驱动，不要技术驱动 189 要以点带面，不要贪大求全 190 要善用开源技术，不要重“造轮子” 191 要勇于实践，不要纸上谈兵 192 5 Kaggle，众包与大数据教育 193 6 三种核心职业角色 194 数据分析师：重在业务理解和探索 196 数据工程师：重在数据管理和系统实现 196 数据科学家：重在解决问题和统筹决策 197 7 理性看待所谓的“风口” 198 第7章 大数据智能企业应用篇：战略与规划 201 1 智能时代的商业革命 201 2 大数据智能应用全周期模型 203 3 如何避免大数据智能应用的陷阱 207 第一问：我属于什么级别的“玩家” 207 第二问：大数据于我是伪需求还是真需求 207 第三问：如何自行定位大数据应用价值 208 第四问：技术驱动、数据驱动还是业务场景驱动 209 第五问：我是否准备好打一场大数据应用持久战 210 第六问：我是否清楚大数据偏见、技术局限与管理风险 213 4 大数据应用战略 214 第8章 大数据智能政府管理篇：治理与决策 217 1 智能时代的治理革命 217 2 政务大数据治理挑战 218 第一问：如何处理集中与开放的矛盾 219 第二问：如何推进政务大数据治理和决策优化 219 第三问：如何降低政务数据治理带来的负面影响 220 3 政务大数据治理与应用框架 220 管理和治理是基础 221 技术和算法是手段 222 决策和服务是目的 223 4 政务大数据决策安全 224 国防决策安全 224 公共决策安全 224 经济决策安全 225 科技决策安全 226 5 应用标准与落地应用的悖论 226 数据安全标准 227 数据质量标准 227 数据交互标准 227 数据开放标准 228 6 政务治理的现代化 228 第9章 结语 230 1 认知泡沫与应用价值 230 2 机器智能与人类智能 231 3 人技融合，学以“治”用 234 4 智能时代，我们将走向何方 235 致谢 236

"自序 我们所生活的世界，就像一片数据混沌（Data Chaos），大数据爆炸式增长并以惊人的速度进行传播，社交网络的实时性打破了数据发布的时空限制，信息流动的速度、广度和深度让传统管理决策模式面临挑战，还有科技高速发展所带来的冲击都在加大未来的不确定性。如何从数据混沌中发现规律，成为预测未来的“先知”，是历代人类的梦想。不管是古人的占卜，前几年的专家系统、数据挖掘、商业智能，还是当下的机器学习、人工智能、深度学习等技术应用，都源于降低未来的不确定性这一本源需求。软件在加速吞噬物理世界，大数据在淹没我们有限的大脑认知，而大部分人对其技术原理和特性却知之甚少。我们寄希望于大数据智能技术这根“救命稻草”，帮助我们面向过去，发现数据规律，归纳已知；面向未来，学习数据趋势，预测未知，从而提升对事物的理解和决策处置能力。然而，要达到这一目标并不容易，人工智能发展60年，进展缓慢，直到现在才出现些许曙光。 DT（Data Technology）时代，大数据驱动的人工智能技术生逢其时，从战胜人类顶尖棋手、帮助发现引力波到自动驾驶、精准医疗、安全防控等，就像望远镜改变了我们对宇宙的看法，显微镜改变了我们对微观世界的认知，而通过大数据智能技术来解构我们亲手塑造的数字世界，代表了一种新的认知范式。可以预见的是，随着深度智能技术的高速发展和这一拨“猫”“狗”AI工程的野蛮生长，人类正在大踏步迈入大数据智能时代。面对兴起的大数据智能热潮，如何应对新兴技术应用带来的挑战？我们又有多少深入的理解？对于技术、架构、算法、伦理、趋势知多少？甲骨文CEO Larry Ellison（拉里·埃里森）曾说过：“信息科技是唯一能媲美好莱坞的产业，技术明星可能比荧幕明星陨落得更快。”前沿信息技术从来不缺流行词，从IT到DT，从移动互联网到物联网，从云计算到框计算，从数据库到数据湖，从云存储到区块链，从大数据到大数据智能。当谈及人工智能时，更是这样，有机器智能，还有计算智能；有机器学习，还有深度学习；有感知计算，还有认知计算；有Watson还有AlphaGo；有TensorFlow还有Pytorch。一堆眼花缭乱的技术名词和系统框架，让人云里雾里，内行要全面掌握已是困难重重，外行要摸出门道，可谓难上加难。 面对庞杂的大数据智能科学与技术生态体系，还有眼花缭乱的技术热词，有的是新瓶装旧酒，有的是全新的技术理念和架构，有的是一阵风突然冒出又很快散去，有的是三起两落几十年而不倒……上述种种技术我们如何快速入门，把握重点，理解本质，并有效学习和应用？这是一大挑战！市面上的同领域作品要么偏社科解读，浮于概念介绍；要么偏技术细节，局限于某个技术点。 如何从业务到技术，从学习到实践，从治理到应用，抽丝剥茧、拨开数据驱动智能科学与技术迷雾，洞察大数据和人工智能相关技术生态的全景视图，构建完整的大数据智能知识结构与技术体系？这是一大难题！笔者跟从大数据和人工智能应用的融合之路，通过分析和解读整个数据驱动智能科学技术，希望能给读者提供一个大数据智能核心技术体系的入门学习和应用参考指南。本书写作初衷即基于此，无奈水平有限、涉猎有限、精力有限，难免有遗误的地方，还望同行批评指正。如能为读者提供一点点有益的参考，则心愿足矣。 杜圣东 2018年10月"