数据科学实战手册 第2版

  

   本书对想学习数据分析的人来说是一本很好实用的参考书，书中有多个真实的数据分析案例，几乎是以手把手的方式教你一步一步地完成从数据分析的准备到分析结果报告的整个流程。无论是数据分析工作的从业者，还是有志于未来从事数据分析工作的在校大学生，都能从本书中获取一些新知识、新思想。

同时，本书也是一本学习和提高R及Python编程的参考书。很多人有这样的感触，单纯地学习编程语言是很枯燥的过程，但利用本书学习R和Python语言可以很好地解决这个问题，生动实用的数据集以及很好有意思的分析结果会极大地激发读者学习的兴趣。

本书案例包括汽车数据分析、税收数据分析、就业数据分析、股市数据分析、社交网络分析、大规模电影推荐、Twitter数据分析、新西兰海外游客预测分析以及德国信用数据分析等。

  

   第1章准备数据科学环境1

1.1理解数据科学管道2

1.1.1操作流程2

1.1.2工作原理3

1.2在Windows、MacOSX和Linux上安装R4

1.2.1准备工作4

1.2.2操作流程4

1.2.3工作原理6

1.3在R和RStudio中安装扩展包6

1.3.1准备工作6

1.3.2操作流程6

1.3.3工作原理8

1.3.4更多内容8

1.4在Linux和MacOSX上安装Python9

1.4.1准备工作9

1.4.2操作流程9

1.4.3工作原理9

1.5在Windows上安装Python10

1.5.1操作流程10

1.5.2工作原理11

1.6在MacOSX和Linux上安装Python数据库11

1.6.1准备工作11

1.6.2操作流程12

1.6.3工作原理12

1.6.4更多内容13

1.7安装更多Python包13

1.7.1准备工作14

1.7.2操作流程14

1.7.3工作原理15

1.7.4更多内容15

1.8安装和使用virtualenv15

1.8.1准备工作16

1.8.2操作流程16

1.8.3工作原理18

1.8.4更多内容18

第2章基于R的汽车数据可视化分析19

2.1简介19

2.2获取汽车燃料效率数据20

2.2.1准备工作20

2.2.2操作流程20

2.2.3工作原理21

2.3为你的第一个分析项目准备好R21

2.3.1准备工作21

2.3.2操作流程21

2.3.3更多内容22

2.4将汽车燃料效率数据导入R22

2.4.1准备工作22

2.4.2操作流程22

2.4.3工作原理24

2.4.4更多内容24

2.5探索并描述燃料效率数据25

2.5.1准备工作25

2.5.2操作流程25

2.5.3工作原理27

2.5.4更多内容28

2.6分析汽车燃料效率数据随时间的变化情况29

2.6.1准备工作29

2.6.2操作流程29

2.6.3工作原理37

2.6.4更多内容38

2.7研究汽车的品牌和型号38

2.7.1准备工作39

2.7.2操作流程39

2.7.3工作原理41

2.7.4更多内容41

第3章基于Python的税收数据应用导向分析42

3.1简介42

3.2高收入数据分析的准备工作44

3.2.1准备工作44

3.2.2操作流程44

3.2.3工作原理45

3.3导入并探索性地分析世界高收入数据集45

3.3.1准备工作45

3.3.2操作流程45

3.3.3工作原理51

3.3.4更多内容52

3.4分析并可视化美国高收入数据53

3.4.1准备工作53

3.4.2操作流程53

3.4.3工作原理59

3.5进一步分析美国高收入群体60

3.5.1准备工作60

3.5.2操作流程60

3.5.3工作原理64

3.6使用Jinja2汇报结果64

3.6.1准备工作64

3.6.2操作流程64

3.6.3工作原理69

3.6.4更多内容69

3.7基于R的数据分析再实现70

3.7.1准备工作70

3.7.2操作流程70

3.7.3更多内容74

第4章股市数据建模75

4.1简介75

4.2获取股市数据76

4.3描述数据78

4.3.1准备工作78

4.3.2操作流程78

4.3.3工作原理79

4.3.4更多内容79

4.4清洗并探索性地分析数据80

4.4.1准备工作80

4.4.2操作流程80

4.4.3工作原理85

4.5生成相对估值85

4.5.1准备工作86

4.5.2操作流程86

4.5.3工作原理89

4.6筛选股票并分析历史价格90

4.6.1准备工作90

4.6.2操作流程90

4.6.3工作原理95

第5章就业数据可视化探索96

5.1简介96

5.2分析前的准备工作97

5.2.1准备工作97

5.2.2操作流程97

5.2.3工作原理98

5.3将就业数据导入R99

5.3.1准备工作99

5.3.2操作流程99

5.3.3工作原理99

5.3.4更多内容100

5.4探索就业数据101

5.4.1准备工作101

5.4.2操作流程101

5.4.3工作原理102

5.5获取、合并附加数据103

5.5.1准备工作103

5.5.2操作流程103

5.5.3工作原理105

5.6添加地理信息105

5.6.1准备工作106

5.6.2操作流程106

5.6.3工作原理108

5.7提取州和县级水平的薪资及就业信息109

5.7.1准备工作109

5.7.2操作流程110

5.7.3工作原理111

5.8可视化薪资的地理分布112

5.8.1准备工作112

5.8.2操作流程113

5.8.3工作原理115

5.9分行业探索就业机会的地理分布115

5.9.1操作流程116

5.9.2工作原理117

5.9.3更多内容117

5.10绘制地理时间序列的动画地图118

5.10.1准备工作118

5.10.2操作流程118

5.10.3工作原理122

5.10.4更多内容122

5.11函数基本性能测试122

5.11.1准备工作123

5.11.2操作流程123

5.11.3工作原理125

5.11.4更多内容125

第6章汽车数据可视化（基于Python）126

6.1简介126

6.2IPython入门127

6.2.1准备工作127

6.2.2操作流程127

6.2.3工作原理130

6.3熟悉JupyterNotebook130

6.3.1准备工作130

6.3.2操作流程130

6.3.3工作原理132

6.3.4更多内容132

6.4为分析汽车燃料效率做好准备133

6.4.1准备工作133

6.4.2操作流程133

6.4.3工作原理134

6.4.4更多内容134

6.5用Python探索并描述汽车燃料效率数据135

6.5.1准备工作135

6.5.2操作流程135

6.5.3工作原理138

6.5.4更多内容138

6.6用Python分析汽车燃料效率随时间变化的情况139

6.6.1准备工作139

6.6.2操作流程139

6.6.3工作原理144

6.6.4更多内容145

6.7用Python研究汽车的品牌和型号146

6.7.1准备工作146

6.7.2操作流程146

6.7.3工作原理149

第7章社交网络分析（基于Python）151

7.1简介151

7.2准备用Python进行社交网络的分析工作153

7.2.1准备工作153

7.2.2操作流程154

7.2.3工作原理154

7.2.4更多内容154

7.3导入网络155

7.3.1准备工作155

7.3.2操作流程155

7.3.3工作原理156

7.4探索英雄网络的子图157

7.4.1准备工作157

7.4.2操作流程158

7.4.3工作原理160

7.4.4更多内容160

7.5找出强关联160

7.5.1准备工作161

7.5.2操作流程161

7.5.3工作原理163

7.5.4更多内容164

7.6找出关键人物164

7.6.1准备工作164

7.6.2操作流程164

7.6.3工作原理168

7.6.4更多内容168

7.7探索所有渠道特征174

7.7.1准备工作174

7.7.2操作流程174

7.7.3工作原理175

7.8社交网络中的聚类和社群发现175

7.8.1准备工作176

7.8.2操作流程176

7.8.3工作原理179

7.8.4更多内容179

7.9可视化图180

7.9.1准备工作180

7.9.2操作流程180

7.9.3工作原理181

7.10R中的社交网络分析182

7.10.1准备工作182

7.10.2操作流程183

7.10.3工作原理188

第8章大规模电影推荐（基于Python）189

8.1简介189

8.2对偏好建模191

8.2.1操作流程191

8.2.2工作原理191

8.3理解数据192

8.3.1准备工作192

8.3.2操作流程193

8.3.3工作原理194

8.3.4更多内容194

8.4提取电影评分数据195

8.4.1准备工作195

8.4.2操作流程195

8.4.3工作原理197

8.5寻找高评分电影199

8.5.1准备工作199

8.5.2操作流程199

8.5.3工作原理200

8.5.4更多内容201

8.6改善电影评分系统201

8.6.1准备工作201

8.6.2操作流程201

8.6.3工作原理202

8.6.4更多内容203

8.7计算用户在偏好空间中的距离203

8.7.1准备工作204

8.7.2操作流程204

8.7.3工作原理205

8.7.4更多内容206

8.8计算用户之间的相关性206

8.8.1准备工作206

8.8.2操作流程207

8.8.3工作原理208

8.8.4更多内容208

8.9为用户寻找很好影评人208

8.9.1准备工作209

8.9.2操作流程209

8.9.3工作原理210

8.10预测用户电影评分211

8.10.1准备工作211

8.10.2操作流程211

8.10.3工作原理212

8.11基于物品的协同过滤213

8.11.1准备工作214

8.11.2操作流程214

8.11.3工作原理215

8.12建立非负矩阵分解模型216

8.12.1操作流程217

8.12.2工作原理217

8.13将数据集载入内存219

8.13.1准备工作219

8.13.2操作流程219

8.13.3工作原理220

8.13.4更多内容221

8.14导出SVD模型到硬盘221

8.14.1操作流程222

8.14.2工作原理223

8.15训练SVD模型223

8.15.1操作流程223

8.15.2工作原理225

8.15.3更多内容225

8.16测试SVD模型226

8.16.1操作流程226

8.16.2工作原理226

8.16.3更多内容227

第9章获取和定位Twitter数据（基于Python）228

9.1简介228

9.2创建Twitter应用229

9.2.1准备工作229

9.2.2操作流程230

9.2.3工作原理232

9.3了解TwitterAPIv1.1232

9.3.1准备工作233

9.3.2操作流程233

9.3.3工作原理234

9.3.4更多内容235

9.4获取粉丝和好友信息236

9.4.1准备工作236

9.4.2操作流程236

9.4.3工作原理238

9.4.4更多内容238

9.5获取Twitter用户信息239

9.5.1准备工作239

9.5.2操作流程239

9.5.3工作原理240

9.5.4更多内容240

9.6避免Twitter速度241

9.6.1准备工作241

9.6.2操作流程241

9.6.3工作原理242

9.7存储JSON数据至硬盘242

9.7.1准备工作242

9.7.2操作流程242

9.7.3工作原理243

9.8搭建MongoDB存储Twitter数据243

9.8.1准备工作244

9.8.2操作流程244

9.8.3工作原理245

9.8.4更多内容245

9.9利用PyMongo存储用户信息到MongoDB246

9.9.1准备工作246

9.9.2操作流程246

9.9.3工作原理247

9.10探索用户地理信息247

9.10.1准备工作248

9.10.2操作流程248

9.10.3工作原理249

9.10.4更多内容250

9.11利用Python绘制地理分布图250

9.11.1准备工作250

9.11.2操作流程250

9.11.3工作原理251

9.11.4更多内容252

第10章预测新西兰的海外游客254

10.1简介254

10.2时间序列（ts）对象255

10.2.1准备工作256

10.2.2操作流程256

10.2.3工作原理257

10.3可视化时间序列数据257

10.3.1准备工作258

10.3.2操作流程258

10.3.3工作原理260

10.4简单的线性回归模型261

10.4.1准备工作261

10.4.2操作流程261

10.4.3工作原理265

10.5ACF和PACF265

10.5.1准备工作266

10.5.2操作流程266

10.5.3工作原理267

10.6ARIMA模型267

10.6.1准备工作268

10.6.2操作流程268

10.6.3工作原理275

10.7准确性评估275

10.7.1准备工作276

10.7.2操作流程276

10.7.3工作原理276

10.8拟合季节性ARIMA模型277

10.8.1准备工作277

10.8.2操作流程277

10.8.3工作原理279

10.8.4更多内容279

第11章德国信用数据分析280

11.1简介280

11.2简单数据转换281

11.2.1准备工作281

11.2.2操作流程281

11.2.3工作原理283

11.2.4更多内容283

11.3可视化分类数据283

11.3.1准备工作284

11.3.2操作流程284

11.3.3工作原理286

11.4判别分析286

11.4.1准备工作287

11.4.2操作流程287

11.4.3工作原理290

11.5划分数据和ROC290

11.5.1准备工作292

11.5.2操作流程292

11.6拟合逻辑回归模型293

11.6.1准备工作293

11.6.2操作流程293

11.6.3工作原理297

11.7决策树和决策规则298

11.7.1准备工作298

11.7.2操作流程298

11.7.3工作原理301

11.8德国信用数据决策树301

11.8.1准备工作301

11.8.2操作流程301

11.8.3工作原理304