大数据通识教程（微课版）数字文明与数字治理

“文明”是人类经过教化后达到的一种状态，代表着社会的进步。自人类社会发端以来，人类文明就进入了一个漫长的演进过程。从原始文明、农业文明、工业文明到数字文明，每一次新文明的诞生都代表着文明形态的重塑和社会的变更。数字文明是一种基于大数据、云计算、物联网、区块链等新一代技术，以高科技为主要特征的文明，其核心是网络化、信息化与智能化的深度融合。它在提高生产力水平、丰富物质供给的同时，也塑造了一个全新的人类文明形态。 “大数据导论”是一门知识性和应用性都很强的课程。本书针对各专业大学生的大数据通识教育需求，系统、全面地介绍关于大数据技术及其应用的基础知识和技能，包括走进数字文明、数字化转型与数字经济、大数据思维变革、大数据商业规则、大数据促进医疗与健康、大数据与城市大脑、大数据可视化、大数据预测分析、大数据处理与存储、大数据与云计算、大数据与人工智能、大数据安全与法律、数据科学与职业技能以及大数据的未来等内容，具有较强的可读性和实用性。

史麒豪，浙江大学计算机科学与技术专业博士，学科博士后。长期从事社交影响力传播、图传播算法与博弈论研究，已在ICDE,AAAI,WWW,CIKM,ICDM 等相关国际顶级会议与KBS，ESWA，Neurocomputing等高水平SCI 期刊发表十余篇文章。同时长期担任AAAI，KDD，TNNLS，TKDE等国际会议与期刊的审稿人。主持和参与了多项国家级、省部级课题及企业、政府信息化项目。其中作为项目负责人，主持国家自然科学基金项目1项。作为课题骨干，参与获2018 年浙江省科学技术一等奖的省部级课题1项。 扬武剑 男，副教授，浙大城市学院城市大脑研究院院长助理，浙大城市学院城市数字治理创新班负责人。 主要从事城市数字治理、人工智能、电子商务等领域学术理论和关键技术研究，主持主参科研项目多项，其中国家级2项，省部级6项，重大横向8项，发表SCI/EI收录论文10多篇，科研成果获浙江省科技进步奖三等奖2项、华夏建设科学技术奖三等奖2项。主持教育部产学合作协同育人项目2项、省级虚拟仿真实验教学项目1项，获学校教学质量奖20多次。主编出版高等院校实践类教程《电子商务概论》和高等院校“十二五”规划教材《电子商务实务》

【导读案例】“数字文明”到底是个什么文明？ 1 1.1　数字劳动推动数字文明　4 1.2　大数据时代　5 1.2.1　天文学——信息爆炸的起源　6 1.2.2　爆发式增长的数据量　7 1.2.3　大数据的定义　9 1.2.4　用3V描述大数据特征　9 1.2.5　广义的大数据　11 1.3　大数据结构类型　12 1.4　大数据的发展　13 1.4.1　硬件性价比提高与软件技术进步　13 1.4.2　云计算的普及　14 1.4.3　大数据作为BI的进化形式　14 1.4.4　从交易数据到交互数据　15 【习题】　16 【导读案例】数字文明如何作答四问？　19 2.1　什么是数字化　21 2.1.1　数字化的概念　21 2.1.2　从历史发展看数字化　23 2.1.3　从技术层面看数字化　25 2.1.4　数字化的意义　26 2.2　数字化转型　26 2.2.1　购物流程的变化　27 2.2.2　信息化与数字化　27 2.2.3　数字化企业解决方案　28 2.3　数字孪生　29 2.3.1　数字孪生的原理　29 2.3.2　数据孪生基本组成　30 2.3.3　数字孪生的研究　31 2.3.4　数字孪生与数字生产线　31 2.4　数字经济　34 2.4.1　数字经济的概念　34 2.4.2　数字经济的要素　35 2.4.3　数字经济的研究　36 【习题】　37 【导读案例】购物网站的推荐系统　40 3.1　大数据思维　43 3.2　转变之一：样本=总体　44 3.2.1　小数据时代的随机采样　45 3.2.2　全数据模式：样本=总体　47 3.3　转变之二：接受数据的混杂性　48 3.3.1　允许不精确　48 3.3.2　大数据简单算法与小数据复杂算法　50 3.3.3　纷繁的数据越多越好　51 3.3.4　混杂性是标准途径　52 3.4　转变之三：数据的相关关系　53 3.4.1　关联物，预测的关键　53 3.4.2　“是什么”，而不是“为什么”　55 3.4.3　通过因果关系了解世界　56 3.4.4　通过相关关系了解世界　57 【习题】　58 【导读案例】准确预测地震　59 4.1　大数据的跨界年度　60 4.1.1　商业动机和驱动力　61 4.1.2　企业的大数据行动　62 4.1.3　数据驱动的企业文化　63 4.2　将信息变成竞争优势　65 4.2.1　数据价格下降而需求上升　66 4.2.2　大数据应用程序兴起　66 4.2.3　企业构建大数据战略　67 4.3　大数据营销　68 4.3.1　像媒体公司一样思考　68 4.3.2　面对新的机遇与挑战　69 4.3.3　自动化营销　70 4.3.4　创建高容量和高价值内容　71 4.3.5　用投资回报率评价营销效果　71 4.4　内容创作与众包　72 【习题】　73 【导读案例】大数据变革公共卫生　76 5.1　大数据与循证医学　78 5.2　大数据带来的医疗新突破　80 5.2.1　量化自我，关注个人健康　80 5.2.2　可穿戴的个人健康设备　81 5.2.3　大数据时代的医疗信息　83 5.2.4　CellMiner，对抗癌症的新工具　84 5.3　医疗信息数字化　86 5.4　搜索：超级大数据的最佳伙伴　88 5.5　数据决策的崛起　89 5.5.1　数据辅助诊断　90 5.5.2　你考虑过……了吗　90 5.5.3　大数据分析使数据决策崛起　92 【习题】　92 【导读案例】城市大脑是这样炼成的　95 6.1　智慧交通驶入快车道　98 6.1.1　导航和感知更精准　99 6.1.2　机场管理更精细　99 6.1.3　数字航道动态监测　100 6.1.4　创新驱动赋能增效　101 6.2　城市大脑建设　102 6.2.1　对城市大脑的认识　102 6.2.2　城市大脑产生根源和背景　103 6.2.3　城市大脑的未来目标　104 6.2.4　城市大脑的重要性　105 6.3　大数据——智慧城市的“核心”　105 6.3.1　城市大脑与数据可视化　106 6.3.2　城市大脑与数据共享　106 6.3.3　大数据驱动城市大脑　106 6.4　城市大数据治理　107 6.4.1　数据治理内容　107 6.4.2　数据治理类型　108 6.4.3　元数据管理　110 6.4.4　数据治理方案　111 6.4.5　数据治理模型　112 6.4.6　数据治理工具　113 【习题】　113 【导读案例】南丁格尔“极区图”　116 7.1　数据与可视化　118 7.1.1　数据的可变性　118 7.1.2　数据的不确定性　120 7.1.3　数据的背景信息　120 7.1.4　打造最好的可视化效果　122 7.2　数据与图形　122 7.2.1　数据与走势　123 7.2.2　视觉信息的科学解释　124 7.3　视觉分析　125 7.3.1　热点图　125 7.3.2　时间序列图　126 7.3.3　网络图　126 7.3.4　空间数据制图　127 7.4　实时可视化　128 7.5　数据可视化的运用　128 【作　业】　130 【导读案例】葡萄酒的品质　133 8.1　什么是预测分析　137 8.1　1 预测分析的作用　138 8.1.2　数据具有内在预测性　140 8.1.3　定量分析与定性分析　140 8.2　统计分析　141 8.2.1　A/B测试　141 8.2.2　相关性分析　142 8.2.3　回归性分析　143 8.3　数据挖掘　144 8.4　大数据分析生命周期　145 8.4.1　商业案例评估　145 8.4.2　数据标识　146 8.4.3　数据获取与过滤　147 8.4.4　数据提取　147 8.4.5　数据验证与清理　148 8.4.6　数据聚合与表示　149 8.4.7　数据分析　150 8.4.8　数据可视化　150 8.4.9　分析结果的使用　151 【习题】　151 【导读案例】什么是开源？　154 9.1　开源技术商业支援　156 9.2　Hadoop基础　157 9.2.1　Hadoop的由来　157 9.2.2　Hadoop的优势　158 9.3　分布式处理　159 9.3.1　分布式系统　159 9.3.2　分布式文件系统　160 9.3.3　并行与分布式数据处理　160 9.3.4　分布式存储　161 9.4　NoSQL数据库　161 9.4.1　主要特征　162 9.4.2　键-值存储　164 9.4.3　文档存储　165 9.4.4　列簇存储　166 9.4.5　图存储　167 9.4.6　与RDBMS的主要区别　168 9.5　NewSQL数据库　169 【习题】　170 【导读案例】数字经济时代云发展趋势　173 10.1　与数字化相关的技术　175 10.2　云计算概述　177 10.2.1　云计算定义　177 10.2.2　云基础设施　179 10.3　计算虚拟化　180 10.4　网络虚拟化　181 10.4.1　网卡虚拟化　181 10.4.2　虚拟交换机　182 10.4.3　接入层虚拟化　182 10.4.4　覆盖网络虚拟化　183 10.4.5　软件定义网络（SDN）　183 10.5　存储虚拟化　184 10.6　云计算服务形式　185 10.6.1　云计算的服务层次　185 10.6.2　大数据与云相辅相成　186 10.6.3　云的挑战　187 10.7　大数据与云计算　187 【习题】　188 【导读案例】大数据与人工智能的关系　191 11.1　人工智能概述　192 11.2　机器学习基础　193 11.2.1　机器学习的定义　194 11.2.2　基本结构　195 11.2.3　研究领域　196 11.3　机器学习分类　196 11.3.1　基于学习策略分类　196 11.3.2　基于知识表示形式分类　197 11.3.3　按应用领域分类　198 11.3.4　按学习形式分类　198 11.4　神经网络与深度学习　201 11.4.1　人工神经网络的特征　201 11.4.2　深度学习的意义　202 11.4.3　深度学习的方法　203 11.4.4　深度学习的实现　205 11.5　机器学习与深度学习　207 【习题】　208 【导读案例】中国《个人信息保护法》施行　211 12.1　大数据的安全问题　213 12.1.1　采集汇聚安全　213 12.1.2　存储处理安全　214 12.1.3　共享使用安全　215 12.2　大数据的管理维度　216 12.3　大数据的安全体系　216 12.3.1　安全技术体系　217 12.3.2　大数据安全治理　218 12.3.3　大数据安全测评　218 12.3.4　大数据安全运维　218 12.3.5　以数据为中心的安全要素　219 12.4　大数据伦理与法规　220 12.4.1　大数据的伦理问题　220 12.4.2　大数据的伦理规则　221 12.4.3　数据安全法施行　222 【习题】　223 【导读案例】得数据者得天下　226 13.1　计算思维　229 13.1.1　计算思维的概念　229 13.1.2　计算思维的作用　230 13.1.3　计算思维的特点　232 13.2　数据工程师的社会责任　233 13.2.1　职业化和道德责任　233 13..2　ACM职业道德责任　234 13.2.3　软件工程师道德基础　235 13.3　数据科学与职业技能　236 13.3.1　数据科学重要技能　236 13.3.2　重要数据科学技能　237 13.3.3　技能因职业角色而异　238 13.3.4　大数据生态系统关键角色　240 【习题】　241 【导读案例】加快建立完善数据产权制度　244 14.1　连接开放数据　245 14.1.1　LOD运动　246 14.1.2　利用开放数据的创业型公司　247 14.2　大数据资产的崛起　248 14.2.1　数据市场的兴起　248 14.2.2　不同的商业模式　248 14.2.3　将原创数据变为增值数据　249 14.2.4　大数据催生新的应用程序　249 14.2.5　在大数据“空白”中提取最大价值　250 14.3　大数据发展趋势　250 14.3.1　信息领域的突破性发展　251 14.3.2　未来发展趋势的专家预测　252 14.4　大数据技术展望　254 14.4.1　数据管理仍然很难　254 14.4.2　数据孤岛继续激增　254 14.4.3　流媒体分析的突破　255 14.4.4　技术发展带来技能转变　255 14.4.5　“快速数据”和“可操作数据”　256 14.4.6　预测分析将数据转化为预测　256 【习题】　257 【导读案例】“数字文明”到底是个什么文明？　1 1.1　数字劳动推动数字文明　4 1.2　大数据时代　5 1.2.1　天文学——信息爆炸的起源　6 1.2.2　爆发式增长的数据量　7 1.2.3　大数据的定义　9 1.2.4　用3V描述大数据特征　9 1.2.5　广义的大数据　11 1.3　大数据结构类型　12 1.4　大数据的发展　13 1.4.1　硬件性价比提高与软件技术进步　13 1.4.2　云计算的普及　14 1.4.3　大数据作为BI的进化形式　14 1.4.4　从交易数据到交互数据　15 【习题】　16 【导读案例】数字文明如何作答四问？　19 2.1　什么是数字化　21 2.1.1　数字化的概念　21 2.1.2　从历史发展看数字化　23 2.1.3　从技术层面看数字化　25 2.1.4　数字化的意义　26 2.2　数字化转型　26 2.2.1　购物流程的变化　27 2.2.2　信息化与数字化　27 2.2.3　数字化企业解决方案　28 2.3　数字孪生　29 2.3.1　数字孪生的原理　29 2.3.2　数据孪生基本组成　30 2.3.3　数字孪生的研究　31 2.3.4　数字孪生与数字生产线　31 2.4　数字经济　34 2.4.1　数字经济的概念　34 2.4.2　数字经济的要素　35 2.4.3　数字经济的研究　36 【习题】　37 【导读案例】购物网站的推荐系统　40 3.1　大数据思维　43 3.2　转变之一：样本=总体　44 3.2.1　小数据时代的随机采样　45 3.2.2　全数据模式：样本=总体　47 3.3　转变之二：接受数据的混杂性　48 3.3.1　允许不精确　48 3.3.2　大数据简单算法与小数据复杂算法　50 3.3.3　纷繁的数据越多越好　51 3.3.4　混杂性是标准途径　52 3.4　转变之三：数据的相关关系　53 3.4.1　关联物，预测的关键　53 3.4.2　“是什么”，而不是“为什么”　55 3.4.3　通过因果关系了解世界　56 3.4.4　通过相关关系了解世界　57 【习题】　58 【导读案例】准确预测地震　59 4.1　大数据的跨界年度　60 4.1.1　商业动机和驱动力　61 4.1.2　企业的大数据行动　62 4.1.3　数据驱动的企业文化　63 4.2　将信息变成竞争优势　65 4.2.1　数据价格下降而需求上升　66 4.2.2　大数据应用程序兴起　66 4.2.3　企业构建大数据战略　67 4.3　大数据营销　68 4.3.1　像媒体公司一样思考　68 4.3.2　面对新的机遇与挑战　69 4.3.3　自动化营销　70 4.3.4　创建高容量和高价值内容　71 4.3.5　用投资回报率评价营销效果　71 4.4　内容创作与众包　72 【习题】　73 【导读案例】大数据变革公共卫生　76 5.1　大数据与循证医学　78 5.2　大数据带来的医疗新突破　80 5.2.1　量化自我，关注个人健康　80 5.2.2　可穿戴的个人健康设备　81 5.2.3　大数据时代的医疗信息　83 5.2.4　CellMiner，对抗癌症的新工具　84 5.3　医疗信息数字化　86 5.4　搜索：超级大数据的最佳伙伴　88 5.5　数据决策的崛起　89 5.5.1　数据辅助诊断　90 5.5.2　你考虑过……了吗　90 5.5.3　大数据分析使数据决策崛起　92 【习题】　92 【导读案例】城市大脑是这样炼成的　95 6.1　智慧交通驶入快车道　98 6.1.1　导航和感知更精准　99 6.1.2　机场管理更精细　99 6.1.3　数字航道动态监测　100 6.1.4　创新驱动赋能增效　101 6.2　城市大脑建设　102 6.2.1　对城市大脑的认识　102 6.2.2　城市大脑产生根源和背景　103 6.2.3　城市大脑的未来目标　104 6.2.4　城市大脑的重要性　105 6.3　大数据——智慧城市的“核心”　105 6.3.1　城市大脑与数据可视化　106 6.3.2　城市大脑与数据共享　106 6.3.3　大数据驱动城市大脑　106 6.4　城市大数据治理　107 6.4.1　数据治理内容　107 6.4.2　数据治理类型　108 6.4.3　元数据管理　110 6.4.4　数据治理方案　111 6.4.5　数据治理模型　112 6.4.6　数据治理工具　113 【习题】　113 【导读案例】南丁格尔“极区图”　116 7.1　数据与可视化　118 7.1.1　数据的可变性　118 7.1.2　数据的不确定性　120 7.1.3　数据的背景信息　120 7.1.4　打造最好的可视化效果　122 7.2　数据与图形　122 7.2.1　数据与走势　123 7.2.2　视觉信息的科学解释　124 7.3　视觉分析　125 7.3.1　热点图　125 7.3.2　时间序列图　126 7.3.3　网络图　126 7.3.4　空间数据制图　127 7.4　实时可视化　128 7.5　数据可视化的运用　128 【作　业】　130 【导读案例】葡萄酒的品质　133 8.1　什么是预测分析　137 8.1　1 预测分析的作用　138 8.1.2　数据具有内在预测性　140 8.1.3　定量分析与定性分析　140 8.2　统计分析　141 8.2.1　A/B测试　141 8.2.2　相关性分析　142 8.2.3　回归性分析　143 8.3　数据挖掘　144 8.4　大数据分析生命周期　145 8.4.1　商业案例评估　145 8.4.2　数据标识　146 8.4.3　数据获取与过滤　147 8.4.4　数据提取　147 8.4.5　数据验证与清理　148 8.4.6　数据聚合与表示　149 8.4.7　数据分析　150 8.4.8　数据可视化　150 8.4.9　分析结果的使用　151 【习题】　151 【导读案例】什么是开源？　154 9.1　开源技术商业支援　156 9.2　Hadoop基础　157 9.2.1　Hadoop的由来　157 9.2.2　Hadoop的优势　158 9.3　分布式处理　159 9.3.1　分布式系统　159 9.3.2　分布式文件系统　160 9.3.3　并行与分布式数据处理　160 9.3.4　分布式存储　161 9.4　NoSQL数据库　161 9.4.1　主要特征　162 9.4.2　键-值存储　164 9.4.3　文档存储　165 9.4.4　列簇存储　166 9.4.5　图存储　167 9.4.6　与RDBMS的主要区别　168 9.5　NewSQL数据库　169 【习题】　170 【导读案例】数字经济时代云发展趋势　173 10.1　与数字化相关的技术　175 10.2　云计算概述　177 10.2.1　云计算定义　177 10.2.2　云基础设施　179 10.3　计算虚拟化　180 10.4　网络虚拟化　181 10.4.1　网卡虚拟化　181 10.4.2　虚拟交换机　182 10.4.3　接入层虚拟化　182 10.4.4　覆盖网络虚拟化　183 10.4.5　软件定义网络（SDN）　183 10.5　存储虚拟化　184 10.6　云计算服务形式　185 10.6.1　云计算的服务层次　185 10.6.2　大数据与云相辅相成　186 10.6.3　云的挑战　187 10.7　大数据与云计算　187 【习题】　188 【导读案例】大数据与人工智能的关系　191 11.1　人工智能概述　192 11.2　机器学习基础　193 11.2.1　机器学习的定义　194 11.2.2　基本结构　195 11.2.3　研究领域　196 11.3　机器学习分类　196 11.3.1　基于学习策略分类　196 11.3.2　基于知识表示形式分类　197 11.3.3　按应用领域分类　198 11.3.4按学习形式分类　198 11.4　神经网络与深度学习　201 11.4.1　人工神经网络的特征　201 11.4.2　深度学习的意义　202 11.4.3　深度学习的方法　203 11.4.4　深度学习的实现　205 11.5　机器学习与深度学习　207 【习题】　208 【导读案例】中国《个人信息保护法》施行　211 12.1　大数据的安全问题　213 12.1.1　采集汇聚安全　213 12.1.2　存储处理安全　214 12.1.3　共享使用安全　215 12.2　大数据的管理维度　216 12.3　大数据的安全体系　216 12.3.1　安全技术体系　217 12.3.2　大数据安全治理　218 12.3.3　大数据安全测评　218 12.3.4　大数据安全运维　218 12.3.5　以数据为中心的安全要素　219 12.4　大数据伦理与法规　220 12.4.1　大数据的伦理问题　220 12.4.2　大数据的伦理规则　221 12.4.3　数据安全法施行　222 【习题】　223 【导读案例】得数据者得天下　226 13.1　计算思维　229 13.1.1　计算思维的概念　229 13.1.2　计算思维的作用　230 13.1.3　计算思维的特点　232 13.2　数据工程师的社会责任　233 13.2.1　职业化和道德责任　233 13.2.2　ACM职业道德责任　234 13.2.3　软件工程师道德基础　235 13.3　数据科学与职业技能　236 13.3.1　数据科学重要技能　236 13.3.2　重要数据科学技能　237 13.3.3　技能因职业角色而异　238 13.3.4　大数据生态系统关键角色　240 【习题】　241 【导读案例】加快建立完善数据产权制度　244 14.1　连接开放数据　245 14.1.1　LOD运动　246 14.1.2　利用开放数据的创业型公司　247 14.2　大数据资产的崛起　248 14.2.1　数据市场的兴起　248 14.2.2　不同的商业模式　248 14.2.3　将原创数据变为增值数据　249 14.2.4　大数据催生新的应用程序　249 14.2.5　在大数据“空白”中提取最大价值　250 14.3　大数据发展趋势　250 14.3.1　信息领域的突破性发展　251 14.3.2　未来发展趋势的专家预测　252 14.4　大数据技术展望　254 14.4.1　数据管理仍然很难　254 14.4.2　数据孤岛继续激增　254 14.4.3　流媒体分析的突破　255 14.4.4　技术发展带来技能转变　255 14.4.5　“快速数据”和“可操作数据”　256 14.4.6　预测分析将数据转化为预测　256 【习题】　257