大数据与人工智能导论（微课版）

本书主要介绍大数据与人工智能相关知识。全书共10章，包括大数据与人工智能概述，大数据与人工智能产业概况，大数据技术，人工智能技术，机器学习，强化学习、深度学习与集成学习，其他新兴技术，人工智能与大数据人才概述，人工智能伦理，数据安全等内容。本书通过在章前设定学习目标的方式，帮助读者掌握各章的核心内容，并以简明扼要的图文方式对概念和技术进行全面论述。本书编者编写了相关的扩展案例，以在线文档的方式供读者扩展阅读；此外，本书每章最后还提供一定数量的习题，以供读者巩固所学知识。 本书可作为高等院校计算机科学与技术、人工智能、软件工程、物联网工程、网络空间安全等专业的教材，也可供大数据和人工智能领域的技术人员学习使用，还可作为非计算机相关专业的研究人员学习大数据与人工智能的参考用书。

韩博： 西安交通大学网络空间安全学院党总支书记、研究员，兼任共建于浙江的西交网络空间安全研究院副院长。曾任西安交通大学网络与信息中心副主任、新闻与新媒体学院党总支副书记等行政职务，曾挂任原西安市工业和信息化委员会副主任、原西安市中小企业促进局副局长、原西安市大数据资源管理局副局长。曾主导西安市大数据产业发展局成立，负责了西安市“最多跑一次”信息化项目；牵头西安市相关委办局编著人工智能、航空航天、光电芯片、新材料、新能源、智能制造、信息技术、生物医药等领域产业发展规划和分管领域的规划编制工作，协助负责国内领头的互联网企业在西安市落地；一线参与西安市军民融合暨大数据产业发展工作。现为管晓宏院士网络化系统工程三秦楷模团队暨全国高校黄大年式教师团队核心成员，从事自主可控的网络安全芯片及系统、数据安全和隐私保护等前沿技术研究。

【章名目录】 第　1章 大数据与人工智能概述　1 第　2章 大数据与人工智能产业概况　14 第3章　大数据技术　34 第4章　人工智能技术　97 第5章　机器学习　106 第6章　强化学习、深度学习与集成学习　135 第7章　其他新兴技术　148 第8章　人工智能与大数据人才概述　168 第9章　人工智能伦理　181 第　10章 数据安全　193 【详细目录】 第　1章 大数据与人工智能概述　1 1.1　大数据的概念、特征与发展历程　1 1.1.1　大数据的概念与特征　1 1.1.2　大数据的发展历程　3 1.2　人工智能的概念与发展历程　4 1.2.1　人工智能的概念　4 1.2.2　人工智能的发展历程　5 1.3　数字时代的思维变革与技术支持　7 1.3.1　数字时代的挑战与数据思维模式的转变　7 1.3.2　发展基石：算子、算力　8 1.4　大数据与人工智能的关系　10 1.4.1　大数据与人工智能　10 1.4.2　小数据与人工智能　11 1.5　本章小结　12 1.6　习题　13 第　2章 大数据与人工智能产业概况　14 2.1　大数据与人工智能的应用现状　14 2.1.1　应用领域　14 2.1.2　发展趋势　24 2.2　我国相关产业的布局　25 2.2.1　大数据产业相关布局　26 2.2.2　人工智能产业相关布局　27 2.3　大数据与人工智能产业的发展机遇与面临的挑战　27 2.3.1　大数据与人工智能产业的发展机遇　28 2.3.2　大数据与人工智能产业面临的挑战　30 2.4　本章小结　33 2.5　习题　33 第3章　大数据技术　34 3.1　大数据采集　34 3.1.1　大数据来源　34 3.1.2　大数据采集设备　35 3.1.3　大数据采集方法　36 3.2　大数据预处理　40 3.2.1　数据预处理技术基本概述　40 3.2.2　大数据预处理流程　42 3.3　大数据存储与管理　48 3.3.1　大数据存储的概念　49 3.3.2　大数据存储技术　64 3.4　大数据可视化　80 3.4.1　数据可视化概念　81 3.4.2　大数据可视化方法　81 3.4.3　可视化工具　84 3.5　典型大数据计算平台　86 3.5.1　Hadoop　86 3.5.2　Apache Spark　90 3.5.3　Apache Storm　95 3.6　本章小结　96 3.7　习题　96 第4章　人工智能技术　97 4.1　人工智能技术的概念　97 4.2　自然语言处理　97 4.2.1　自然语言处理的定义　98 4.2.2　自然语言处理的原理　98 4.2.3　自然语言处理的发展历史　98 4.2.4　自然语言处理的前景　99 4.3　机器视觉　100 4.3.1　机器视觉的定义　100 4.3.2　机器视觉的原理　101 4.3.3　机器视觉的发展历史　101 4.3.4　机器视觉的前景　102 4.4　语音识别　103 4.4.1　语音识别的定义　103 4.4.2　语音识别的原理　103 4.4.3　语音识别的发展历史　104 4.4.4　语音识别的前景　104 4.5　本章小结　105 4.6　习题　105 第5章　机器学习　106 5.1　机器学习概述　106 5.1.1　机器学习的定义　106 5.1.2　机器学习的发展历史　107 5.1.3　机器学习算法分类　109 5.2　机器学习基本概念　110 5.2.1　样本数据、数据集和特征　110 5.2.2　分类、回归与聚类　111 5.3　机器学习模型评估与性能度量　112 5.3.1　模型评估　113 5.3.2　性能度量　115 5.4　机器学习算法　118 5.4.1　线性模型　119 5.4.2　决策树　123 5.4.3　神经网络　126 5.4.4　支持向量机　129 5.4.5　朴素贝叶斯　130 5.4.6　聚类　131 5.4.7　降维与度量学习　132 5.4.8　特征选择　133 5.5　本章小结　134 5.6　习题　134 第6章　强化学习、深度学习与集成学习　135 6.1　强化学习　135 6.1.1　强化学习要素　136 6.1.2　K-臂游戏机　137 6.1.3　蒙特卡洛强化学习　138 6.1.4　时序差分学习　138 6.1.5　强化学习的相关技术　140 6.2　深度学习　141 6.2.1　走进深度学习　141 6.2.2　前馈神经网络　141 6.2.3　卷积网络　142 6.2.4　循环网络　142 6.2.5　Transformer　142 6.3　集成学习　143 6.3.1　Boosting　144 6.3.2　Bagging　145 6.3.3　其他集成学习技术　146 6.4　本章小结　147 6.5　习题　147 第7章　其他新兴技术　148 7.1　物联网　148 7.1.1　物联网的概念及背景　148 7.1.2　物联网的应用　148 7.2　云计算　152 7.2.1　云计算的概念及背景　152 7.2.2　云计算的应用　158 7.3　图计算　159 7.3.1　图计算的概念及背景　159 7.3.2　图计算的应用　160 7.4　边缘计算　161 7.4.1　边缘计算的概念及背景　161 7.4.2　边缘计算的应用　162 7.5　区块链　163 7.5.1　区块链的概念及背景　163 7.5.2　区块链的应用　165 7.6　本章小结　167 7.7　习题　167 第8章　人工智能与大数据人才概述　168 8.1　人工智能与大数据人才现状分析　168 8.1.1　人才现状分析　168 8.1.2　人工智能与大数据人才地图　173 8.2　人工智能与大数据人才能力要求　175 8.2.1　人工智能人才要求　175 8.2.2　大数据人才要求　178 8.3　本章小结　180 8.4　习题　180 第9章　人工智能伦理　181 9.1　人工智能伦理概述　181 9.1.1　人工智能——人类新前沿　181 9.1.2　人工智能伦理的历史经验　182 9.2　人工智能伦理具体内容　183 9.2.1　人工智能伦理是什么　183 9.2.2　人工智能道德与权利　184 9.2.3　人工智能安全问题　189 9.3　构建友好人机交互关系　189 9.3.1　构建人工智能道德　190 9.3.2　为人工智能道德设计架构　190 9.3.3　确保人工智能系统的安全和保障　190 9.4　本章小结　192 9.5　习题　192 第　10章 数据安全　193 10.1　数据安全内涵与重要性　193 10.1.1　数据安全内涵　193 10.1.2　数据安全重要性　195 10.2　数据安全需求与挑战　196 10.2.1　数据产业新生态及发展趋势　196 10.2.2　产业升级和技术发展下的数据安全新挑战　197 10.2.3　数据安全产业人才需求　199 10.3　数据安全应对策略　201 10.3.1　管理——法规、政策的建立与执行　201 10.3.2　技术——数据全生命周期安全　203 10.4　本章小结　205 10.5　习题　205 后记　206