Python数据分析实战(第2版)

 

Python简单易学，拥有丰富的库，并且具有极强的包容性。本书展示了如何利用Python语言的强大功能，以最小的编程代价对数据进行提取、处理和分析。这一版除了介绍数据分析和Python基础知识、NumPy库和pandas库，使用pandas读写和处理数据，用matplotlib库实现数据可视化，用scikit-learn库进行机器学习，D3库嵌入和识别手写体数字，还新增了用TensorFlow进行深度学习，用NLTK分析文本数据，用OpenCV分析图像及实现计算机视觉等内容。

法比奥·内利（Fabio Nelli），IRBM科学园IT科学应用专家，曾为IBM、EDS等企业提供咨询。目前从事Java应用开发，对接科学仪器和Oracle数据库，生成数据和Web服务器应用，为研究人员提供实时分析结果。他还是Meccanismo Complesso社区的项目协调人。

第1章数据分析简介1
1.1数据分析1
1.2数据分析师的知识范畴2
1.2.1计算机科学2
1.2.2数学和统计学3
1.2.3机器学习和人工智能3
1.2.4数据来源领域3
1.3理解数据的性质4
1.3.1数据到信息的转变4
1.3.2信息到知识的转变4
1.3.3数据的类型4
1.4数据分析过程4
1.4.1问题定义5
1.4.2数据抽取6
1.4.3数据准备6
1.4.4数据探索和可视化7
1.4.5预测建模7
1.4.6模型验证8
1.4.7部署8
1.5定量和定性数据分析9
1.6开放数据9
1.7Python和数据分析10
1.8结论11
第2章Python世界简介12
2.1Python——编程语言12
2.2Python2和Python314
2.2.1安装Python15
2.2.2Python发行版15
2.2.3使用Python17
2.2.4编写Python代码18
2.2.5IPython22
2.3PyPI仓库——Python包索引25
2.4SciPy29
2.4.1NumPy29
2.4.2pandas29
2.4.3matplotlib30
2.5小结30
第3章NumPy库31
3.1NumPy简史31
3.2NumPy安装31
3.3ndarray：NumPy库的心脏32
3.3.1创建数组33
3.3.2数据类型34
3.3.3dtype选项34
3.3.4自带的数组创建方法35
3.4基本操作36
3.4.1算术运算符36
3.4.2矩阵积37
3.4.3自增和自减运算符38
3.4.4通用函数39
3.4.5聚合函数39
3.5索引机制、切片和迭代方法40
3.5.1索引机制40
3.5.2切片操作41
3.5.3数组迭代42
3.6条件和布尔数组44
3.7形状变换44
3.8数组操作45
3.8.1连接数组45
3.8.2数组切分46
3.9常用概念48
3.9.1对象的副本或视图48
3.9.2向量化48
3.9.3广播机制49
3.10结构化数组51
3.11数组数据文件的读写52
3.11.1二进制文件的读写53
3.11.2读取文件中的列表形式数据53
3.12小结54
第4章pandas库简介55
4.1pandas：Python数据分析库55
4.2安装pandas56
4.2.1用Anaconda安装56
4.2.2用PyPI安装56
4.2.3在Linux系统的安装方法57
4.2.4用源代码安装57
4.2.5Windows模块仓库57
4.3测试pandas是否安装成功57
4.4开始pandas之旅58
4.5pandas数据结构简介58
4.5.1Series对象59
4.5.2DataFrame对象65
4.5.3Index对象71
4.6索引对象的其他功能72
4.6.1更换索引72
4.6.2删除74
4.6.3算术和数据对齐75
4.7数据结构之间的运算76
4.7.1灵活的算术运算方法76
4.7.2DataFrame和Series对象之间的运算77
4.8函数应用和映射78
4.8.1操作元素的函数78
4.8.2按行或列执行操作的函数78
4.8.3统计函数79
4.9排序和排位次80
4.10相关性和协方差82
4.11NaN数据84
4.11.1为元素赋NaN值84
4.11.2过滤NaN84
4.11.3为NaN元素填充其他值85
4.12等级索引和分级85
4.12.1重新调整顺序和为层级排序87
4.12.2按层级统计数据88
4.13小结88
第5章pandas：数据读写89
5.1I/OAPI工具89
5.2CSV和文本文件90
5.3读取CSV或文本文件中的数据90
5.3.1用RegExp解析TXT文件92
5.3.2从TXT文件读取部分数据94
5.3.3将数据写入CSV文件94
5.4读写HTML文件96
5.4.1写入数据到HTML文件96
5.4.2从HTML文件读取数据98
5.5从XML读取数据99
5.6读写MicrosoftExcel文件101
5.7JSON数据102
5.8HDF5格式105
5.9pickle——Python对象序列化106
5.9.1用cPickle实现Python对象序列化106
5.9.2用pandas实现对象序列化107
5.10对接数据库108
5.10.1SQLite3数据读写108
5.10.2PostgreSQL数据读写110
5.11NoSQL数据库MongoDB数据读写112
5.12小结113
第6章深入pandas：数据处理114
6.1数据准备114
合并115
6.2拼接118
6.2.1组合121
6.2.2轴向旋转122
6.2.3删除124
6.3数据转换124
6.3.1删除重复元素125
6.3.2映射125
6.4离散化和面元划分129
6.5排序133
6.6字符串处理134
6.6.1内置的字符串处理方法134
6.6.2正则表达式135
6.7数据聚合137
6.7.1GroupBy137
6.7.2实例138
6.7.3等级分组139
6.8组迭代140
6.8.1链式转换140
6.8.2分组函数141
6.9高级数据聚合142
6.10小结145
第7章用matplotlib实现数据可视化146
7.1matplotlib库146
7.2安装147
7.3IPython和JupyterQtConsole147
7.4matplotlib架构148
7.4.1Backend层149
7.4.2Artist层149
7.4.3Scripting层（pyplot）150
7.4.4pylab和pyplot150
7.5pyplot151
7.6绘图窗口152
7.6.1设置图形的属性153
7.6.2matplotlib和NumPy155
7.7使用kwargs157
7.8为图表添加更多元素159
7.8.1添加文本159
7.8.2添加网格162
7.8.3添加图例163
7.9保存图表165
7.9.1保存代码165
7.9.2将会话转换为HTML文件167
7.9.3将图表直接保存为图片168
7.10处理日期值168
7.11图表类型170
7.12线性图170
7.13直方图177
7.14条状图178
7.14.1水平条状图180
7.14.2多序列条状图181
7.14.3为pandasDataFrame生成多序列条状图182
7.14.4多序列堆积条状图183
7.14.5为pandasDataFrame绘制堆积条状图186
7.14.6其他条状图187
7.15饼图187
7.16高级图表190
7.16.1等值线图190
7.16.2极区图192
7.17mplot3d工具集194
7.17.13D曲面194
7.17.23D散点图195
7.17.33D条状图196
7.18多面板图形197
7.18.1在其他子图中显示子图197
7.18.2子图网格199
7.19小结200
第8章用scikit-learn库实现机器学习201
8.1scikit-learn库201
8.2机器学习201
8.2.1有监督和无监督学习201
8.2.2训练集和测试集202
8.3用scikit-learn实现有监督学习202
8.4Iris数据集202
8.5K-近邻分类器207
8.6Diabetes数据集210
8.7线性回归：最小平方回归211
8.8支持向量机214
8.8.1支持向量分类215
8.8.2非线性SVC218
8.8.3绘制SVM分类器对Iris数据集的分类效果图220
8.8.4支持向量回归222
8.9小结224
第9章用TensorFlow库实现深度学习225
9.1人工智能、机器学习和深度学习225
9.1.1人工智能225
9.1.2机器学习是人工智能的分支226
9.1.3深度学习是机器学习的分支226
9.1.4人工智能、机器学习和深度学习的关系226
9.2深度学习227
9.2.1神经网络和GPU227
9.2.2数据可用：开源数据资源、物联网和大数据228
9.2.3Python228
9.2.4Python深度学习框架228
9.3人工神经网络229
9.3.1人工神经网络的结构229
9.3.2单层感知器230
9.3.3多层感知器232
9.3.4人工神经网络和生物神经网络的一致性232
9.4TensorFlow233
9.4.1TensorFlow：Google开发的框架233
9.4.2TensorFlow：数据流图233
9.5开始TensorFlow编程234
9.5.1安装TensorFlow234
9.5.2JupyterQtConsole编程234
9.5.3TensorFlow的模型和会话234
9.5.4张量236
9.5.5张量运算238
9.6用TensorFlow实现SLP239
9.6.1开始之前239
9.6.2待分析的数据239
9.6.3SLP模型定义241
9.6.4学习阶段243
9.6.5测试阶段和正确率估计246
9.7用TensorFlow实现MLP（含一个隐含层）248
9.7.1MLP模型的定义249
9.7.2学习阶段250
9.7.3测试阶段和正确率计算253
9.8用TensorFlow实现多层感知器（含两个隐含层）255
9.8.1测试阶段和正确率计算259
9.8.2实验数据评估260
9.9小结262
第10章数据分析实例——气象数据263
10.1待检验的假设：靠海对气候的影响263
10.2数据源265
10.3用JupyterNotebook分析数据266
10.4分析预处理过的气象数据269
10.5风向频率玫瑰图279
10.5小结283
第11章JupyterNotebook内嵌
JavaScript库D3284
11.1开放的人口数据源284
11.2JavaScript库D3286
11.3绘制簇状条状图290
11.4地区分布图293
11.52014年美国人口地区分布图296
11.6小结300
第12章识别手写体数字301
12.1手写体识别301
12.2用scikit-learn识别手写体数字301
12.3Digits数据集302
12.4使用估计器学习并预测304
12.5用TensorFlow识别手写体数字306
12.6使用神经网络学习并预测307
12.7小结310
第13章用NLTK分析文本数据311
13.1文本分析技术311
13.1.1自然语言处理工具集311
13.1.2导入NLTK库和NLTK下载器312
13.1.3在NLTK语料库检索单词314
13.1.4分析词频315
13.1.5从文本选择单词317
13.1.6二元组和搭配318
13.2网络文本数据的应用319
13.2.1从HTML文档抽取文本320
13.2.2情感分析320
13.3小结322
第14章用OpenCV库实现图像分析和视觉计算323
14.1图像分析和计算视觉323
14.2OpenCV和Python324
14.3OpenCV和深度学习324
14.4安装OpenCV324
14.5图像处理和分析的第1类方法324
14.5.1开始之前324
14.5.2加载和显示图像325
14.5.3图像处理326
14.5.4保存新图327
14.5.5图像的基本操作327
14.5.6图像混合330
14.6图像分析331
14.7边缘检测和图像梯度分析332
14.7.1边缘检测332
14.7.2图像梯度理论332
14.7.3用梯度分析检测图像边缘示例333
14.8深度学习示例：面部识别337
14.9小结339
附录A用LaTeX编写数学表达式340
附录B开放数据源350