大数据技术与应用项目教程

本书系统、全面地介绍关于大数据技术与应用的基本知识和技能，详细介绍了大数据与数据治理、大数据思维变革、大数据可视化、大数据商业规则、大数据促进医疗与健康、大数据激发创造力、大数据预测分析、大数据存储技术、大数据处理技术、大数据与云计算、大数据与人工智能、大数据安全与法律、数据科学及其职业、大数据发展展望等内容，深入浅出，具有较强的系统性、可读性和实用性。本书是为职业教育本科、高等职业院校相关专业的“大数据导论”“大数据基础”“大数据概论”等课程全新设计编写，具有丰富实践特色的教材，可供有一定实践经验的软件开发人员、管理人员参考，也可作为继续教育的教材。

周苏，浙大城市学院教授，清华大学访问学者，科技部相关机构认证创新工程师（二级），清华大学《计算机教育》杂志“周苏专栏”作者。自1999年参加独立学院工作以来，潜心体验大众化教育背景下的教学活动并探索其规律，认真踏实地进行教改研究，在教材研究与建设，教学方法改革与创新等方面积累了丰富的经验，成绩显著，在独立学院和应用型院校计算机学科的教学方法上走出了具有开创性的步伐，得到全国同行的广泛认同。从事计算机专业教学四十载，近年来更是追逐大数据、人工智能、元宇宙、低空经济的技术发展浪潮，在杭州电子科技大学、浙大城市学院、浙江商业职业技术学院等开设人工智能通识、生成式人工智能、AIGC通识、低空技术基础等课程，与时俱进。曾获“浙江省高等教育教学成果奖”二等奖，国家科学技术部“创新方法成就奖”，浙江大学“先进工作者”称号。

前言课程教学进度表项目1大数据与数据治理【学习目标】【知识学习】11智能时代的数字文明12什么是大数据121信息爆炸的起源122大数据的定义123用3V描述大数据特征124广义的大数据13大数据的结构类型14数据治理及其内涵141什么是数据资产142数据治理的内涵15大数据的由来151硬件性价比提高与软件技术进步152云计算的普及153大数据作为BI的进化形式154从交易数据分析到交互数据分析【项目实施】任务11典型案例：准确预测地震任务12了解大数据及其在线支持【习题】项目2大数据思维变革【学习目标】【知识学习】21转变之一：样本=总体211小数据时代的随机采样212全数据模式：样本=总体22转变之二：接受数据的混杂性221允许不精确222大数据简单算法与小数据复杂算法223从纷繁数据中获取事物发展的概率224混杂性是标准途径23转变之三：数据的相关关系231关联物，预测的关键232“是什么”，而不是“为什么”233对小数据的因果关系分析234对大数据的相关关系分析【项目实施】任务21典型案例：电商推荐系统任务22深入理解大数据的三个思维变革【习题】项目3大数据可视化【学习目标】【知识学习】31数据与可视化311数据的可变性312数据的不确定性313数据的背景信息314打造最好的可视化效果32数据与图形321数据与走势322视觉信息的科学解释33视觉分析331热点图332时间序列图333网络图334空间数据制图34实时可视化35数据可视化的运用【项目实施】任务31典型案例：南丁格尔玫瑰图任务32绘制泰坦尼克镶嵌图【习题】项目4大数据商业规则【学习目标】【知识学习】41大数据的跨界年度411大数据的崛起412谷歌的大数据行动413亚马逊的大数据行动42将信息变成竞争优势421数据价格下降而需求上升422大数据应用程序兴起423实时响应用户的要求424企业构建大数据战略43大数据营销431像媒体公司一样思考432面对新的机遇与挑战433自动化营销434创建高容量和高价值内容435内容营销436内容创作与众包437用投资回报率评价营销效果【项目实施】任务41典型案例：大数据企业的缩影——谷歌任务42大数据营销的优势与核心内涵【习题】项目5大数据促进医疗与健康【学习目标】【知识学习】51大数据与循证医学52大数据带来医疗新突破521量化自我，关注个人健康522可穿戴的个人健康设备523大数据时代的医疗信息53医疗信息数字化54搜索：超级大数据的最佳伙伴55数据决策的崛起551数据辅助诊断552你考虑过……了吗553大数据分析使数据决策崛起【项目实施】任务51典型案例：大数据变革公共卫生任务52熟悉大数据在医疗健康领域的应用【习题】项目6大数据激发创造力【学习目标】【知识学习】61大数据帮助改善设计611与玩家共同设计游戏612以人为本的汽车设计理念613寻找最佳音响效果614建筑，数据取代直觉62大数据操作回路621信号与噪声622大数据反馈回路623最小数据规模624大数据应用的优势63数字孪生631数字孪生的原理632数字孪生基本组成633数字孪生的研究634数字孪生与数字生产线64将数据转化为资产641将原创数据变为增值数据642大数据催生崭新的应用程序643在大数据“空白”中提取最大价值【项目实施】任务61典型案例：脸书的设计决策任务62熟悉大数据激发创造力方法【习题】项目7大数据预测分析【学习目标】【知识学习】71什么是预测分析711预测分析的作用712数据具有内在预测性713定量分析与定性分析72统计分析721A/B测试722相关性分析723回归性分析724数据挖掘73大数据分析生命周期731商业案例评估732数据标识733数据获取与过滤734数据提取735数据验证与清理736数据聚合与表示737数据分析738数据可视化739分析结果的使用【项目实施】任务71典型案例：葡萄酒的品质任务72大数据准备度自我评分表【习题】项目8大数据存储技术【学习目标】【知识学习】81分布式处理811分布式系统812分布式文件系统813并行与分布式数据处理814分布式存储82大数据存储概念821分片与复制822CAP定理823BASE设计原理824存储虚拟化83NoSQL数据库831主要特征832键-值存储833文档存储834列簇存储835图存储836NoSQL与RDBMS的主要区别84NewSQL数据库【项目实施】任务81典型案例：亚马逊，数据在云端任务82熟悉大数据存储技术【习题】项目9大数据处理技术【学习目标】【知识学习】91开源技术商业支援92大数据技术架构93Hadoop数据处理基础931Hadoop的由来932Hadoop的优势933Hadoop的发行版本934Hadoop与NoSQL94大数据处理模式941处理的特点与工作量942SCV原则943批处理模式944实时处理模式【项目实施】熟悉大数据技术架构与处理【习题】项目10大数据与云计算【学习目标】【知识学习】101什么是云计算1011云计算的定义1012云基础设施102计算虚拟化103网络虚拟化1031网卡虚拟化1032虚拟交换机1033接入层虚拟化1034覆盖网络虚拟化1035软件定义网络104云计算服务形式105大数据与云计算1051大数据与云计算相辅相成1052对大数据处理的意义1053数据即服务106云的挑战【项目实施】任务101典型案例：我国大数据、云计算处世界第一梯队任务102深入理解云计算与大数据的相辅相成【习题】项目11大数据与人工智能【学习目标】【知识学习】111人工智能概述112机器学习基础1121基本概念1122基本结构1123研究领域1124学习分类1125神经网络方法113语义分析1131自然语言处理1132文本分析1133语义检索114大数据与大语言模型1141人工智能大语言模型1142大数据与大模型【项目实施】熟悉阿里云大模型“通义千问”【习题】项目12大数据安全与法律【学习目标】【知识学习】121消费者的隐私权122大数据的安全问题1221采集汇聚安全1222存储处理安全1223共享使用安全123大数据的管理维度124大数据的安全体系1241大数据安全治理1242大数据安全测评1243大数据安全运维1244以数据为中心的安全防护要素1245主动防御协同体系1246协同安全防护流程125大数据伦理与法规 1251大数据的伦理问题1252大数据的伦理规则1253数据安全法1254大数据安全法规【项目实施】任务121典型案例：《中华人民共和国个人信息保护法》施行任务122熟悉大数据安全定义与法规【习题】项目13数据科学及其职业【学习目标】【知识学习】131计算思维1311计算思维的概念1312计算思维的作用1313计算思维的特点132数据工程师的社会责任1321职业化和道德责任1322软件工程师道德规范1323《计算学科教学计划》社会和职业要求133数据科学与职业技能1331数据科学重要技能1332重要数据科学技能1333技能因职业角色而异134大数据人才培养1341大数据生态系统关键角色1342大数据人才所需的技能1343大数据人才所需的素质【项目实施】熟悉数据科学及其职业【习题】项目14大数据发展展望【学习目标】【知识学习】141大数据资产的崛起1411数据市场的兴起1412不同的商业模式1413将原创数据变为增值数据1414大数据催生新的应用程序1415在大数据“空白”中提取最大价值142大数据发展趋势143大数据技术展望1431数据管理仍然很难1432数据孤岛继续激增1433流媒体分析的突破1434技术发展带来技能转变1435“快速数据”和“可操作数据”1436预测分析将数据转化为预测【项目实施】任务141典型案例：拥有原创数据的优势任务142课程学习与实践总结【习题】附录习题参考答案参考文献