数据科学：基本概念、技术及应用

本书以实用和可接受的方式详细介绍了数据科学领域，强调动手实践。独立于技术介绍数据科学的基本思想和相关技术，允许学生在没有强大的技术背景的情况下轻松地发展对该主题的坚定理解，并提供即使在工具和技术发生变化后仍然具有持续相关性的材料。使用流行的数据科学工具，如Python和R，这本书提供了许多实际应用的例子，实践范围从小数据到大数据。为教师和学生提供的一套在线材料，包括数据集、PPT、解决方案和课程建议等。

目　　录<br />前言<br />致谢<br />作者简介<br />第一部分　概念介绍<br />第1章　简介2<br />1.1　什么是数据科学2<br />1.2　数据科学在哪里4<br />1.2.1　金融4<br />1.2.2　公共政策5<br />1.2.3　政治6<br />1.2.4　医疗保健6<br />1.2.5　城市规划7<br />1.2.6　教育8<br />1.2.7　图书馆8<br />1.3　数据科学与其他领域如何关联9<br />1.3.1　数据科学与统计9<br />1.3.2　数据科学与计算机科学9<br />1.3.3　数据科学与工程10<br />1.3.4　数据科学与商业分析10<br />1.3.5　数据科学、社会科学与<br />　　　计算社会科学11<br />1.4　数据科学和信息科学之间的关系11<br />1.4.1　信息与数据12<br />1.4.2　信息科学用户12<br />1.4.3　iSchool中的数据科学12<br />1.5　计算思维13<br />1.6　数据科学技能15<br />1.7　数据科学工具20<br />1.8　数据科学中的伦理、偏见和<br />　　　隐私问题22<br />总结23<br />关键术语23<br />概念性问题24<br />实践问题24<br />注释26<br />第2章　数据28<br />2.1　引言28<br />2.2　数据类型28<br />2.2.1　结构化数据29<br />2.2.2　非结构化数据29<br />2.2.3　非结构化数据的挑战30<br />2.3　数据收集30<br />2.3.1　开放数据30<br />2.3.2　社交媒体数据31<br />2.3.3　多类型数据31<br />2.3.4　数据存储和呈现32<br />2.4　数据预处理36<br />2.4.1　数据清洗37<br />2.4.2　数据集成38<br />2.4.3　数据转换39<br />2.4.4　数据缩减39<br />2.4.5　数据离散化40<br />总结47<br />关键术语47<br />概念性问题48<br />实践问题48<br />延伸阅读及资源51<br />注释52<br />第3章　技术53<br />3.1　引言53<br />3.2　质性数据分析和量化数据分析54<br />3.3　描述性分析54<br />3.3.1　变量55<br />3.3.2　频率分布56<br />3.3.3　中心性度量61<br />3.3.4　离散分布62<br />3.4　诊断性分析65<br />3.5　预测性分析66<br />3.6　规范性分析67<br />3.7　探索性分析68<br />3.8　机理性分析68<br />总结70<br />关键术语71<br />概念性问题72<br />实践问题72<br />延伸阅读及资源74<br />注释74<br />第二部分　数据科学工具<br />第4章　UNIX78<br />4.1　引言78<br />4.2　UNIX安装79<br />4.3　连接UNIX服务器81<br />4.3.1　SSH81<br />4.3.2　 FTP/SCPS/FTP83<br />4.4　基本命令84<br />4.4.1　文件和目录操作命令84<br />4.4.2　进程相关的命令85<br />4.4.3　其他有用命令86<br />4.4.4　快捷键87<br />4.5　在UNIX上编辑87<br />4.5.1　 vi编辑器87<br />4.5.2　 Emacs编辑器88<br />4.6　重定向和管道89<br />4.7　用UNIX解决小问题90<br />总结96<br />关键术语97<br />概念性问题97<br />实践问题97<br />延伸阅读及资源98<br />注释98<br />第5章　Python100<br />5.1　引言100<br />5.2　Python安装100<br />5.2.1　下载和安装Python101<br />5.2.2　通过控制台运行Python101<br />5.2.3　通过集成开发环境<br />　　　　使用Python101<br />5.3　基本示例103<br />5.4　控制结构106<br />5.5　统计概要107<br />5.5.1　导入数据110<br />5.5.2　数据绘制110<br />5.5.3　相关性111<br />5.5.4　线性回归111<br />5.5.5　多元线性回归113<br />5.6　机器学习简介117<br />5.6.1　什么是机器学习117<br />5.6.2　分类118<br />5.6.3　聚类120<br />5.6.4　密度估计122<br />总结124<br />关键术语125<br />概念性问题125<br />实践问题125<br />延伸阅读及资源127<br />注释128<br />第6章　R129<br />6.1　引言129<br />6.2　R安装129<br />6.3　R入门131<br />6.3.1　基础131<br />6.3.2　控制结构132<br />6.3.3　函数134<br />6.3.4　导入数据134<br />6.4　图形和数据可视化135<br />6.4.1　安装ggplot2135<br />6.4.2　加载数据136<br />6.4.3　数据绘制136<br />6.5　统计和机器学习139<br />6.5.1　基本统计139<br />6.5.2　回归140<br />6.5.3　分类142<br />6.5.4　聚类144<br />总结146<br />关键术语147<br />概念性问题147<br />实践问题147<br />延伸阅读及资源148<br />注释148<br />第7章　MySQL150<br />7.1　引言150<br />7.2　 MySQL入门151<br />7.2.1　获得MySQL151<br />7.2.2　登录MySQL151<br />7.3　创建和插入记录153<br />7.3.1　导入数据153<br />7.3.2　创建表154<br />7.3.3　插入记录154<br />7.4　检索记录154<br />7.4.1　阅读表详细信息155<br />7.4.2　从表中检索信息155<br />7.5　 MySQL搜索156<br />7.5.1　字段值搜索156<br />7.5.2　带索引的全文检索157<br />7.6　使用Python访问MySQL158<br />7.7　使用R访问MySQL159<br />7.8　其他流行数据库介绍161<br />7.8.1　 NoSQL161<br />7.8.2　 MongoDB161<br />7.8.3　谷歌BigQuery161<br />总结162<br />关键术语162<br />概念性问题163<br />实践问题163<br />延伸阅读及资源164<br />注释164<br />第三部分　数据科学中的机器学习<br />第8章　机器学习和回归166<br />8.1　引言166<br />8.2　什么是机器学习167<br />8.3　回归171<br />8.4　梯度下降法175<br />总结182<br />关键术语183<br />概念性问题183<br />实践问题183<br />延伸阅读及资源185<br />注释185<br />第9章　监督学习186<br />9.1　引言186<br />9.2　逻辑回归187<br />9.3　softmax回归194<br />9.4　用kNN分类196<br />9.5　决策树分析200<br />9.5.1　决策规则204<br />9.5.2　分类规则204<br />9.5.3　关联规则204<br />9.6　随机森林207<br />9.7　朴素贝叶斯算法211<br />9.8　支持向量机216<br />总结222<br />关键术语223<br />概念性问题224<br />实践问题224<br />延伸阅读及资源230<br />第10章　无监督学习231<br />10.1　引言231<br />10.2　凝聚聚类232<br />10.3　分裂聚类236<br />10.4　期望最大化239<br />10.5　强化学习简介246<br />总结248<br />关键术语249<br />概念性问题249<br />实践问题250<br />延伸阅读及资源251<br />第四部分　应用、评估和方法<br />第11章　动手解决数据问题254<br />11.1　引言254<br />11.2　收集和分析推特数据260<br />11.3　收集和分析YouTube数据266<br />11.4　分析Yelp评论和评级272<br />总结278<br />关键术语279<br />概念性问题279<br />实践问题279<br />第12章　数据收集、实验和评估282<br />12.1　引言282<br />12.2　数据收集方法282<br />12.2.1　调查283<br />12.2.2　调查问题类型283<br />12.2.3　调查受众285<br />12.2.4　调查服务285<br />12.2.5　分析调查数据286<br />12.2.6　调查的利弊286<br />12.2.7　访谈和焦点小组287<br />12.2.8　为什么要进行访谈287<br />12.2.9　为什么选择焦点小组287<br />12.2.10　访谈或焦点小组程序288<br />12.2.11　分析访谈数据288<br />12.2.12　访谈和焦点小组的利弊288<br />12.2.13　日志和日记数据289<br />12.2.14　实验室和现场用户研究290<br />12.3　选取数据收集和分析方法291<br />12.3.1　定量方法简介291<br />12.3.2　定性方法简介293<br />12.3.3　混合方法研究293<br />12.4　评估294<br />12.4.1　比较模型294<br />12.4.2　训练-测试和A/B测试296<br />12.4.3　交叉验证297<br />总结299<br />关键术语299<br />概念性问题300<br />延伸阅读及资源300<br />注释300<br />附录<br />附录A　微分学中的有用公式304<br />附录B　概率中的有用公式306<br />附录C　有用的资源307<br />附录D　安装和配置工具309<br />附录E　数据集和数据挑战赛313<br />附录F　使用云服务315<br />附录G　数据科学工作327<br />附录H　数据科学与伦理331<br />附录I　社会公益数据科学334<br />注释335