大数据猩球

本书以实用的、可操作的视角解释了大数据——采用黑猩猩和大象的隐喻，基于棒球统计数据集，使用Apache Hadoop和Pig等工具展示了如何处理大规模数据。此外，通过处理真实数据、解决现实问题，作者还以实例的形式总结了一些实践分析模式，为有创造力的分析人员提供了不错大、很有价值的方法。本书特别适合那些需要大数据工具箱来解决实际问题的人们。

·罗默，是云大数据平台靠前者Infochimps的创始人和CTO，以及Vigilante的联合创始人。他的其中一个项目WuKong，是Hadoop Ruby流处理很常使用的框架之一。
拉塞尔·贾米，是优选经济市场地图创业公司Relato的创始人和CEO。他曾任LinkedIn产品分析数据科学家，还是一个Hadoop传道士。
唐李洋，女，博士，中国电子科技集团公司第三十八研究所，工程师，目前从事公共安全等领域相关的大数据分析与数据挖掘工作。译有《高可用MySQL》（靠前和第2版）、《R语言高性能编程》等书。

前言
第一部分入门：理论和工具
第1章Hadoop基础
黑猩猩和大象创业
Map-Only作业：逐个处理记录
PigLatinMap-Only作业
创建DockerHadoop集群
运行作业
小结
第2章MapReduce
黑猩猩和大象拯救圣诞节
玩具岛上的麻烦
黑猩猩把信件变成带标签的玩具表
小象将玩具表送到适当的工作台
示例：驯鹿游戏
UFO数据
根据报道延迟对UFO目击分组
Mapper
Reducer
数据可视化
驯鹿小结
Hadoop与传统数据库
MapReduce俳句
Map阶段简述
Group-Sort阶段简述
Reduce阶段简述
小结
第3章棒球数据集速览
数据
缩略词和术语
规则和目标
评价指标
小结
第4章Pig入门
Pig帮助Hadoop处理数据表，而不是记录
维基百科访问数统计
基本数据操作
控制操作
管道操作
结构化操作
LOAD定位并描述你的数据
简单类型
复杂类型1，元组：带类型字段的固长序列
复杂类型2，袋：元组的无限集合
定义变换后的记录模式
STORE将数据写入磁盘
辅助命令
DESCRIBE
DUMP
SAMPLE
ILLUSTRATE
EXPLAIN
Pig函数
Piggybank
ApacheDataFu
小结
第二部分战术：分析模式
第5章Map-Only操作
模式用法
清除数据
选择满足条件的记录：FILTER等
选择满足多个条件的记录
选择或丢弃空值记录
选择匹配正则表达式的记录（MATCHES）
根据固定的值列表匹配记录
按字段名投影字段
使用FOREACH选择、重命名和重排序字段
抽取记录的随机样本
按key抽取一致性样本
仅加载部分part-Files实现粗略抽样
使用LIMIT选择固定数量的记录
其他数据消除模式
变换记录
使用FOREACH逐个变换记录
嵌套FOREACH允许使用中间表达式
根据模版格式化字符串
使用复杂类型组装字面值
操纵字段的类型
整型、浮点型和取整
从外部包调用用户自定义函数
将一个表分裂成多个表的操作
将数据条件定向到多个数据流(SPLIT)
将几个表联合成一个表的操作
将多个Pig关系表合并成一个表（堆砌行集）
小结
第6章分组操作
按key将记录分组到袋
模式用法
统计key的出现次数
使用带分隔符的字符串表示值的集合
使用带分隔符的字符串表示复杂数据结构
使用JSON编码的字符串表示复杂数据结构
分组和聚合
聚合组的统计数据
完全汇总字段
汇总整个表的聚合统计值
汇总字符串字段
使用直方图计算数值型值的分布情况
模式用法
直方图的数据分箱
确定箱子的大小
解释直方图和分位数
将数据分箱到规模呈指数变化的块
为通用代码段创建Pig宏
比赛分布情况
极端情况和干扰因子
不要相信尾部分布
计算相对分布直方图
重新注入全局值
在组内计算直方图
导出可读结果
汇总技巧
统计组的条件子集——汇总技巧
同时汇总组的多个子集
测试组内某个值是否缺失
小结
参考文献
第7章表连接
匹配表记录（内连接）
将一个表的记录与另一个表的记录直接匹配连接（直接内连接）
连接是怎么工作的
连接就是COGROUP+FLATTEN
连接就是在表名上进行二次排序的MapReduce作业
处理连接和分组中的空值和不匹配
枚举多对多关系
连接表和它自己（自连接
包含不匹配记录的连接（外连接
模式用法
连接不含外键关系的表
连接整型表填补列表中的空白
仅选择与另一个表不匹配的记录（反连接）
仅选择与另一个表匹配的记录（半连接）
反连接的另一种方式：使用COGROUP
小结
第8章排序操作
准备职业生涯时期
对所有记录进行全排序
多字段排序
表达式排序（行不通）
大小写不敏感的字符串排序
排序的空值处理
将值放到排序顺序的顶部或底端
组内排序
模式用法
根据字段值的Top-K选择行
组内Top-K
按照排序顺序给记录编号
找出最大值对应的记录
对一组记录进行混排
小结
第9章重复记录和唯一记录
处理重复
消除表中的重复记录
消除组内的重复记录
基于键消除重复
基于键选择唯一（或重复）记录
集合操作
全表上的集合操作
DistinctUnion
DistinctUnion（其他方法）
SetIntersection
SetDifference
SymmetricDifference：(A-B)+(B-A)
SetEquality
组内集合操作
构造一个集合序列
某个组内的集合操作
小结
索引