大数据应用基础教程

《大数据应用基础教程》以Python程序设计为前置课程，使用房屋中介数据的为主要案例数据集，用生活常识阐述大数据采集、处理、分析、分布式计算的基本原理。以“提出问题—选择模型—解决问题”以主线，引导学生建立数据思维，提升数据素养。 数据分析创新平台技术；代码设计验证应用案例；生活常识阐释科学原理

《大数据应用基础教程》旨在培养大学低年级本科生的大数据应用能力，使其初步建立数据思维，以满足“新工科”“新医科”“新农科”“新文科”建设背景下高校培养学生数据素养能力的新要求。
全书共3篇。基础篇（第1、2章）主要内容为大数据概述、Python及常用类库；数据分析篇（第
3～7章）重点阐述数据获取、存储、预处理、可视化和分析方法；大数据平台篇（第8～11章）着重介绍Linux操作系统基础、大数据管理平台、分布式存储和分布式处理。全书提供了大量应用实例，每章后附有习题。为了便于读者在单机条件下构建分布式环境，附录中介绍了基于虚拟机的Linux系统安装、Hadoop及Spark安装。
本书适合作为高等院校非计算机专业低年级本科生大数据公共课程的教材，也可供对大数据感兴趣的广大科技工作者和研究人员参考。

基础篇
第1章大数据概述003
1.1数据和大数据003
1.1.1数据的高速增长003
1.1.2大数据004
1.1.3科学的范式006
1.2大数据从哪里来007
1.3大数据的应用场景008
1.4大数据对思维方式的影响010
1.5数据挖掘与机器学习011
1.6数据科学项目的基本流程012
1.7数据安全和大数据伦理013
1.7.1数据安全013
1.7.2大数据伦理015
1.8国家层面的大数据问题016
1.8.1数据主权016
1.8.2大数据与国家治理017
1.8.3大数据重塑世界新格局018
1.8.4中国国家大数据战略019
1.9云计算020
1.9.1云计算的特征022
1.9.2云计算的典型服务模式022
1.9.3云计算服务部署的环境023
1.9.4云计算和大数据的关系023
1.10物联网023
1.11数字经济025
1.11.1大数据与数字经济026
1.11.2进一步推动我国数字经济发展029
本章小结030
习题032
第2章Python及常用类库033
2.1Python简介033
2.1.1Python的诞生033
2.1.2Python社区034
2.1.3Python的版本034
2.1.4使用Python进行数据分析的原因036
2.2Python的安装与运行037
2.2.1Anaconda简介及安装037
2.2.2Python的运行041
2.2.3小结046
2.3Python语言基础046
2.3.1数据结构046
2.3.2代码结构058
2.3.3小结069
2.4Python数据分析的常用类库069
2.4.1NumPy简介069
2.4.2pandas简介076
2.4.3小结095
本章小结095
习题096
数据分析篇
第3章数据获取101
3.1数据来源101
3.2网络数据爬取103
3.2.1网络爬虫概述103
3.2.2网页访问的基础知识104
3.2.3网页数据爬取109
3.2.4网页内容解析111
3.2.5常见的“爬取与反爬”攻防策略115
3.3网络数据采集器118
3.3.1常见采集器118
3.3.2八爪鱼采集案例118
3.4使用Selenium获取数据122
3.4.1安装Selenium122
3.4.2使用Selenium获取页面元素124
3.4.3Selenium应用：链家二手房数据获取126
本章小结130
习题130
第4章数据存储131
4.1文件131
4.2传统数据库技术133
4.2.1数据库管理系统133
4.2.2数据库的概念模型134
4.2.3关系型数据库135
4.2.4结构化查询语言SQL136
4.2.5MySQL数据库管理137
4.2.6基于MySQLmonitor的基本数据库操作141
4.2.7基于HeidiSQL的基本数据库操作145
4.3NoSQL数据库148
4.3.1NoSQL的发展背景148
4.3.2NoSQL数据库的类型149
本章小结152
习题152
第5章数据预处理153
5.1数据质量问题153
5.1.1现实世界的“脏”数据153
5.1.2数据质量问题的产生原因155
5.1.3数据质量审核156
5.2数据预处理技术158
5.2.1数据清洗158
5.2.2数据集成159
5.2.3数据变换160
5.2.4数据归约161
5.3预处理案例162
本章小结166
习题166
第6章数据可视化167
6.1数据可视化概述167
6.1.1什么是数据可视化167
6.1.2常用的数据可视化工具168
6.1.3Python可视化工具库169
6.2Matplotlib数据可视化170
6.2.1Matplotlib绘图基础170
6.2.2Matplotlib常用绘图172
6.2.3使用mplot3d绘制3D图形180
6.3pandas数据可视化185
6.3.1pandas绘图基础185
6.3.2pandas常用绘图186
6.4seaborn数据可视化191
6.4.1seaborn绘图基础191
6.4.2seaborn常用绘图197
6.5pyecharts数据可视化201
6.5.1pyecharts绘图基础201
6.5.2pyecharts常用绘图201
本章小结208
习题208
第7章数据分析方法211
7.1数据分析方法的数学基础211
7.1.1理解复合函数求导211
7.1.2理解多元函数偏导212
7.1.3理解最小二乘法212
7.1.4理解梯度213
7.1.5理解概率213
7.1.6理解条件概率214
7.1.7理解贝叶斯公式214
7.2回归215
7.2.1回归的基本概念及方法215
7.2.2回归预测的性能度量217
7.2.3线性回归218
7.3分类227
7.3.1分类的基本方法227
7.3.2分类任务的性能度量228
7.3.3逻辑回归229
7.3.4支持向量机240
7.3.5决策树理论254
7.3.6朴素贝叶斯258
7.3.7k-近邻（k-NN）算法262
7.4聚类266
7.4.1聚类算法266
7.4.2K-means聚类算法267
7.4.3K-means聚类案例268
7.5文本分析276
7.5.1文本分析的基本步骤277
7.5.2文本分析的基本概念277
7.5.3文本分析案例278
本章小结286
习题286
大数据平台篇
第8章Linux操作系统基础289
8.1Linux操作系统简介289
8.1.1操作系统289
8.1.2Linux操作系统290
8.1.3大数据平台基于Linux操作系统的原因293
8.2Linux基本命令293
8.2.1目录与文件操作命令293
8.2.2文本过滤与处理298
8.2.3Shell输入输出命令300
8.2.4进程管理命令301
8.2.5日常操作命令303
本章小结306
习题306