大数据技术原理与实践

本书内容深入浅出，具有很强的理论与实践指导作用，可作为数据科学与技术、人工智能、计算机科学、制造科学、机械工程等学科相关专业的本科生、研究生的教材或课程教学参考书，也是对工程技术人员、科研人员而言非常实用的工具书。

本书将围绕大数据技术的基本原理与实践,介绍了大数据获取、存储、分析、数据挖掘和机器学习。内容涵盖以下主题：Hadoop、Mapreduce、关联规则、大规模监督机器学习、数据流、集群、NoSQL系统（Pig、Hive），以及包括推荐系统、Web和安全性的应用程序。第1章重点阐述了大数据驱动的商业模式、技术生态体系，大数据的类型、特点、获取技术。第2章概要介绍了大数据的软硬件架构，包括大数据技术基础与软硬件设施、大数据存储与管理技术、大数据的分布式处理技术平台等，包括MapReduce编程框架原理、Spark结构与原理、基于Storm的大规模数据流的分布式处理技术等。第3章介绍了Python编程基础，包括基本数据类型、基本控制流程、Numpy、Scipy、Pandas等。第4章介绍了大数据分析技术，包括基于MapReduce基础编程、文本大数据分析与处理技术、大数据关联分析、相似项的发现、基于大数据的推荐系统、基于大数据的图与网络分析、大数据聚类分析、时空大数据分析、非结构化大数据分析与处理、基于Storm的流数据分析技术等。第5章介绍了基于SparkMLlib/Mahout的大数据机器学习，包括机器学习基础、典型机器学习问题、机器学习评价方法、并行机器学习算法，并进行了利用MLlib解决大数据并行分类问题、利用Mahout解决大数据推荐优化问题实践。第6章介绍了基于大数据的深度学习技术，包括深度学习基本原理、深度学习典型应用、Keras基础入门及应用案例。第7章介绍了材料大数据材料热导率预测、旅游大数据分析、交通大数据分析、工业大数据分析、产品创新大数据分析等带代码、数据的案例。本书内容深入浅出，具有很强的理论与实践指导作用，可作为数据科学与技术、人工智能、计算机科学、制造科学、机械工程等学科相关专业的本科生、研究生的教材或课程教学参考书，也是对工程技术人员、科研人员而言非常实用的工具书。

李少波，男，1973年11月生，中共党员，工学博士，教授（专业技术二级），现任贵州大学机械工程学院院长、物联网产业发展研究中心主任。贵州大学机械工程学科博士生导师，中国科学院大学计算机软件与理论专业兼职博士生导师，长期从事智能制造、大数据、“互联网＋”产业的研究。教育部新世纪优秀人才，贵州省省管专家、享受政府特殊津贴专家，贵州省高层次创新型人才（百层次）、贵州省优秀青年科技人才，贵州省制造业信息化专家组组长。已发表论文170余篇，其中SCl／EI收录70余篇；出版专著2部，译著1部；获颁软件著作权登记证书l7项，获发明专利9项。主持包括国家863计划项目、国家科技支撑计划项目、国家自然科学基金项目和教育部、工信部及贵州省科技项目在内的项目共30余个。获省部级科技进步二等奖2次、三等奖3次，获贵阳市科技进步特等奖1次、二等奖2次。

第1章大数据技术概览（1）
1.1大数据驱动的世界（1）
1.2数据的类型（7）
1.3大数据的特点（8）
1.4大数据的获取技术（9）
1.5大数据实战：网络爬虫抓取京东商品评论大数据（10）
本章小结（12）
习题（13）
第2章大数据的软硬件架构（14）
2.1大数据技术基础与软硬件设施概述（14）
2.2大数据存储与管理技术（17）
2.3大数据的分布式处理技术平台（24）
本章小结（38）
习题（39）
第3章Python编程基础（40）
3.1基本数据类型（40）
3.2基本控制流程（50）
3.3Numpy、Scipy和Pandas（54）
3.4Matplotlib软件包（63）
本章小结（67）
习题（67）
第4章大数据分析技术（68）
4.1MapReduce基础编程（68）
4.2文本大数据分析与处理技术（78）
4.3大数据关联分析（81）
4.4相似项的发现（83）
4.5基于大数据的推荐系统（87）
4.6基于大数据的图与网络分析（91）
4.7大数据聚类分析（98）
4.8时空大数据分析（106）
4.9非结构化大数据分析与处理（112）
4.10基于Storm的流数据分析技术（117）
习题（126）
第5章基于SparkMLlib/Mahout的大数据机器学习（128）
5.1机器学习基础（128）
5.2典型机器学习问题（129）
5.3机器学习评价方法（136）
5.4并行机器学习算法（139）
5.5利用MLlib解决大数据并行分类问题实践（141）
5.6利用Mahout解决大数据推荐优化问题实践（144）
本章小结（147）
习题（147）
第6章基于大数据的深度学习技术与应用（149）
6.1深度学习基本原理（149）
6.2深度学习典型应用（151）
6.3Keras基础入门（156）
6.4应用案例（158）
本章小结（165）
习题（165）
第7章带代码、数据的案例研究（167）
7.1材料大数据材料热导率预测（167）
7.2旅游大数据分析（177）
7.3交通大数据分析（186）
7.4工业大数据分析（191）
7.5产品创新大数据分析（215）
习题（222）
参考文献（223）