白话大数据与机器学习

资深大数据专家多年实战经验总结，拒绝晦涩， 开启大数据与机器学习妙趣之旅。以降低学习曲线和 阅读难度为宗旨，系统讲解统计学、数据挖掘算法、 实际应用案例、数据价值与变现，以及高级拓展技能 ，并清晰勾勒出大数据技术路线与产业蓝图。 高扬、卫峥、尹会生著的《白话大数据与机器学 习》共分18章。用通俗易懂的语言，结合大量案例与 漫画，不枯燥，实用、接地气。 第1～5章，这部分是大数据入门所需的系统性知 识，剖析大数据产业、数据与信息算法等的关系，妙 解数学基础（排列组合、概率、统计与分布），以及 指标化运营及体系构建。这部分补足读者的产业与相 关概念认知，以及所需的数学知识。为下面的数据挖 掘算法的理解与应用夯实基础。 第6～8章，这部分介绍数据挖掘基础知识与算法 ，讲解了与数据息息相关的信息论，重点讲解了：多 维向量空间（向量和维度、矩阵及其计算、上卷和下 钻）； 回归（线性回归、残差分析、拟合相关问题）； 聚类（K-Means算法、有趣模式、孤立点、层次 与密度聚类，聚类的评估等）； 分类（朴素贝叶斯、决策树归纳、随机森林、隐 马尔科夫模型、SVM、遗传算法）。 第11～18章，这部分介绍生产应用与高级扩展。 其中第11～15章介绍生产应用实践，涵盖关联分析、 用户画像、推荐算法、文本挖掘、人工神经网络。这 些也是工业界和学术界研究的热点。第16章讲解了著 名的大数据框架及其安装与配置，如Hadoop、Spark 、Cassandra、PrestoDB。第17章从速度与稳定性维 度介绍了大数据系统的架构与调优。第18章则从数据 运营、评估、展现与变现场景层面进行了解读。 附录部分给出了大数据平台运行可能需要的软件 和库，以及群众如何看待炙手可热的大数据。

尹会生，西山居高级系统工程师。曾任新浪研发中心技术经理、北京尚观科技高级讲师。在新浪广告、微博广告、西山居大数据平台架构中担任关键角色。擅长企业集群解决方案和内核调优经验，并提供高性能和高可用性集群咨询服务。近4年专注于Hadoop集群、Spark集群在推荐系统和BI相关领域的解决方案。 卫峥，西山居软件架构师，多年的软件开发和架构经验，精通C/C++、Python、Golang、JavaScript等多门编程语言，近几年专注于数据处理、机器学算法的研究、应用与服务研发。曾在新浪网平台架构部负责音视频转码平台的架构和研发工作，为新浪微博，新浪微盘，秒拍等提供视频在线观看服务。51CTO讲师，个人出品的教学视频：http://i.youku.com/qiuqiupapang。 高扬，金山软件西山居资深大数据架构师与大数据专家，有多年编程经验(多年日本和澳洲工作经验)和多年大数据架构设计与数据分析、处理经验，目前负责西山居大数据产品的市场战略。专注于大数据系统架构以及变现研究。擅长数据挖掘、数据建模、关系型数据库应用以及大数据框架HadooD、Spark、Cassandra、PrestoDB等的应用。负责西山居紫霞系统——大数据日志处理系统的系统架构与设计工作。

第1章 大数据产业 1.1 大数据产业现状 1.2 对大数据产业的理解 1.3 大数据人才 1.3.1 供需失衡 1.3.2 人才方向 1.3.3 环节和工具 1.3.4 门槛障碍 1.4 小结 第2章 步入数据之门 2.1 什么是数据 2.2 什么是信息 2.3 什么是算法 2.4 统计、概率和数据挖掘 2.5 什么是商业智能 2.6 小结 第3章 排列组合与古典概型 3.1 排列组合的概念 3.1.1 公平的决断——扔硬币 3.1.2 非古典概型 3.2 排列组合的应用示例 3.2.1 双色球彩票 3.2.2 购车摇号 3.2.3 德州扑克 3.3 小结 第4章 统计与分布 4.1 加和值、平均值和标准差 4.1.1 加和值 4.1.2 平均值 4.1.3 标准差 4.2 加权均值 4.2.1 混合物定价 4.2.2 决策权衡 4.3 众数、中位数 4.3.1 众数 4.3.2 中位数 4.4 欧氏距离 4.5 曼哈顿距离 4.6 同比和环比 4.7 抽样 4.8 高斯分布 4.9 泊松分布 4.10 伯努利分布 4.11 小结 第5章 指标 5.1 什么是指标 5.2 指标化运营 5.2.1 指标的选择 5.2.2 指标体系的构建 5.3 小结 第6章 信息论 6.1 信息的定义 6.2 信息量 6.2.1 信息量的计算 6.2.2 信息量的理解 6.3 香农公式 6.4 熵 6.4.1 热力熵 6.4.2 信息熵 6.5 小结 第7章 多维向量空间 7.1 向量和维度 7.1.1 信息冗余 7.1.2 维度 7.2 矩阵和矩阵计算 7.3 数据立方体 7.4 上卷和下钻 7.5 小结 第8章 回归 8.1 线性回归 8.2 拟合 8.3 残差分析 8.4 过拟合 8.5 欠拟合 8.6 曲线拟合转化为线性拟合 8.7 小结 第9章 聚类 第10章 分类 第11章 关联分析 第12章 用户画像 第13章 推荐算法 第14章 文本挖掘 第15章 人工神经网络 第16章 大数据框架简介 第17章 系统架构和调优 第18章 数据解读与数据的价值 附录A VMwareWorkstation的安装 附录B CentOS虚拟机的安装方法 附录C Python语言简介 附录D Scikit-learn库简介 附录E FANNforPython安装 附录F 群众眼中的大数据 写作花絮 参考文献