全栈数据工程原理与实践(普通高等教育人工智能与大数据系列教材)

本书由数据科学一线教学科研工作者、企业从业者根据自己日常的科研内容和工作经验总结而成，对数据获取、数据存储、数据分析、数据展示等主要数据科学的典型步骤进行了细致的知识梳理，对当前科研和企业应用的前沿技术以清晰的脉络和通俗易懂的语言进行了详尽的讲解。本书主要介绍了多种编程语言下的数据采集方式，多个形态的数据库使用和适用场景，并穿插介绍了经典的机器学习与深度学习方法，使读者对数据科学的全栈技术有一定的了解和认知。 本书代码主要是在Python的基础上开发的，结合成熟的机器学习框架Scikit-Learn，简单易用的深度学习框架Keras，以存储在MySQL、MongoDB、Redis、Neo4j等数据库内的多模态数据为样例，为读者直观生动地展示全栈数据技术的整体过程，同时提供实践课题和主要代码，供学有余力的读者进行综合实训。 本书主要面向对数据科学、人工智能、机器学习、深度学习具有浓厚兴趣且希望尽快入门的读者、高校相关专业的教育工作者和在校学生，以及正在从事数据科学相关工作并且希望深入研究的数据科学家、软件工程师、大数据平台工程师和项目管理者等。

前　言 第 1章　数据获取1 1.1 　HTTP 1 1.1.1HTTP简介 1 1.1.2　 1.1.2一次网页请求分析 1 1.2 　Chrome浏览器 2 1.2.1 　Chrome的特点 2 1.2.2 　Chrome配置 3 1.2.3　 基本功能介绍 3 1.2.4　 插件推荐 5 1.3 　HTML、CSS和 JavaScript 5 1.3.1 　HTML 6 1.3.2CSS 8 1.3.3　JavaScript 9 1.4Python爬虫 10 1.4.1　Bs4和 Requests库爬取 10 1.4.2PyQuery爬取 11 1.4.3Scrapy爬取 12 1.4.4Selenium自动化爬取 13 1.5JavaScript爬虫 13 1.5.1　Node基础 13 1.5.2　puppeteer爬虫实战 20 第 2章　数据存储 22 2.1　数据库介绍 22 2.1.1　数据库发展 22 2.1.2　数据库分类 23 2.1.3　常用关系型数据库产品介绍 24 2.2关系型数据库 MySQL 26 2.2.1　MySQL的配置 26 2.2.2　MySQL实践 29 2.2.3　Python操作 MySQL 30 2.3 　文档数据库 MongoDB 35 2.3.1　MongoDB的配置 35 2.3.2　MongoDB实践 37 2.3.3　Python操作 MongoDB 38 2.4Key-Value数据库 Redis 39 2.4.1　Redis的配置 39 2.4.2　Redis操作 39 2.5　图数据库 Neo4j 41 2.5.1　Neo4j安装 41 2.5.2　Neo4j语法 42 2.5.3　Neo4j命令 43 2.6　数据库总结 44 第 3章　数据分析 45 3.1　数据分析简介 45 3.1.1　数据分析的背景 46 3.1.2　数据分析的流程 47 3.2　数据分析工具 49 3.2.1　Numpy 49 3.2.2　Scipy 50 3.2.3　Matplotlib 50 3.2.4　Pandas 52 3.2.5　Scikit-Learn 53 3.2.6　Keras 54 3.3　数据探索 55 3.3.1　数据质量分析 55 3.3.2　数据特征分析 57 3.3.3　Python工具分析 64 3.4　数据预处理 74 3.4.1　数据清洗 74 3.4.2　数据提取 76 3.4.3　数据变换 83 3.5　数据模型及评估 88 3.5.1　评估算法 88 3.5.2　评估矩阵 91 3.5.3　分类算法模型及评估 98 3.5.4　回归算法模型及评估 103 第 4章　数据展示108 4.1　数据可视化简介 108 4.2　可视化工具介绍 109 4.2.1　百度 ECharts 109 4.2.2　蚂蚁金服 AntV 110 4.2.3　微软 Power BI 111 4.2.4　Tableau 112 4.2.5　talkingData inMap 114 第 5章　社交网络分析115 5.1　社交网络分析应用介绍 115 5.1.1　社交网络算法应用场景 115 5.1.2　社交网络算法分析指标 116 5.1.3　社区发现简介 116 5.1.4　社区发现算法 118 5.1.5　PageRank算法 119 5.2　Python社交网络库分析介绍 121 5.3　Cypher语言 121 5.3.1　Cypher简介 121 5.3.2　Cypher语法入门 122 5.4　Neo4j高性能插件 APOC 129 第 6章　深度学习130 6.1　神经网络介绍 130 6.1.1　起源 130 6.1.2　优化器 132 6.1.3　BP神经网络 137 6.2　CNN介绍 138 6.2.1　CNN网络结构 138 6.2.2　CNN类型 142 6.2.3　猫狗大战 144 6.3　RNN介绍 147 6.3.1　RNN网络结构 148 6.3.2　LSTM网络结构 149 6.3.3　古诗自动生成 152 6.4　GAN模型 158 6.4.1　模型结构 158 6.4.2　GAN模型拓展 160 6.4.3　卡通人脸自动生成 160 6.5　人脸识别库 Dlib实战 166 6.5.1　人脸识别发展 166 6.5.2　Dlib库介绍 167 6.5.3　人脸识别实战 167 第 7章　自然语言处理169 7.1　自然语言处理概述 169 7.2　自然语言处理常用工具 170 7.2.1　综合处理类工具 171 7.2.2　中文类工具 171 7.3　文本预处理 172 7.3.1　分词 172 7.3.2　停用词处理 175 7.3.3　词频分析与探索 176 7.4　文本表示 178 7.4.1　词袋模型 178 7.4.2　词嵌入 180 7.5　文本分类 182 7.5.1　基于传统机器学习的文本分类 183 7.5.2　基于深度学习的文本分类 185 第 8章　综合实训189 8.1　实训 1：爬取网站实例 189 8.1.1　分析网站 189 8.1.2　元素定位 190 8.1.3　编写代码 191 8.1.4　部署 195 8.2　实训 2：数据分析实战 195 8.2.1　分类模型实战 195 8.2.2　回归模型实战 208 8.3　实训 3：实战可视化 223 8.3.1　案例 1：ECharts 223 8.3.2　案例 2：AntV 224 8.4　实训 4：《权力的游戏》关系图谱解读 226 8.4.1　基于图分析 Neo4j 226 8.4.2　基于 Python-IGraph 233 8.4.3　使用 Py2neo 237 8.5　实训 5：商品评价文本分类 239 8.5.1　建模之前 239 8.5.2　开始建模 240 8.5.3　代码开发阶段 241 8.5.4　分析、诊断与修正 248 8.5.5　总结与反思 249 参考文献 250