精通特征工程

特征工程是机器学习流程中至关重要的一个环节，然而专门讨论这个话题的著作却很少。本书旨在填补这一空白，着重阐明特征工程的基本原则，介绍大量特征工程技术，教你从原始数据中提取出正确的特征并将其转换为适合机器学习模型的格式，从而轻松构建模型，增强机器学习算法的效果。 然而，本书并非单纯地讲述特征工程的基本原则，而是通过大量示例和练习将重点放在了实际应用上。每一章都集中研究一个数据问题：如何表示文本数据或图像数据，如何为自动生成的特征降低维度，何时以及如何对特征进行标准化，等等。最后一章通过一个完整的例子演示了多种特征工程技术的实际应用。书中所有代码示例均是用Python编写的，涉及NumPy、Pandas、scikit-learn和Matplotlib等程序包。 - 数值型数据的特征工程：过滤、分箱、缩放、对数变换和指数变换 - 自然文本技术：词袋、n元词与短语检测 - 基于频率的过滤和特征缩放 - 分类变量编码技术：特征散列化与分箱计数 - 使用主成分分析的基于模型的特征工程 - 模型堆叠与k-均值特征化 - 图像特征提取：人工提取与深度学习

本书介绍大量特征工程技术，阐明特征工程的基本原则。主要内容包括：机器学习流程中 的基本概念，数值型数据的基础特征工程，自然文本的特征工程，词频- 逆文档频率，高效的分类变量编码技术，主成分分析，模型堆叠，图像处理，等等。

爱丽丝·郑（Alice Zheng） 亚马逊广告平台建模和优化团队负责人，应用机器学习、生成算法和平台开发领域的技术领dao者，前微软研究院机器学习研究员。 阿曼达·卡萨丽（Amanda Casari） 谷歌云开发者关系工程经理，曾是Concur Labs的产品经理和数据科学家，在数据科学、机器学习、复杂系统和机器人等多个领域都有丰富经验。

前言     ix 第  1 章 机器学习流程  1 1.1  数据  1 1.2  任务  1 1.3  模型  2 1.4  特征  3 1.5  模型评价  3 第  2 章 简单而又奇妙的数值  4 2.1  标量、向量和空间  5 2.2  处理计数  7 2.2.1  二值化  7 2.2.2  区间量化（分箱）  9 2.3  对数变换  13 2.3.1  对数变换实战  16 2.3.2  指数变换：对数变换的推广  19 2.4  特征缩放/ 归一化  24 2.4.1  min-max 缩放  24 2.4.2  特征标准化/ 方差缩放  24 2.4.3  2 归一化  25 2.5  交互特征  28 2.6  特征选择  30 2.7  小结  31 2.8  参考文献  32 第3  章 文本数据：扁平化、过滤和分块  33 3.1  元素袋：将自然文本转换为扁平向量  34 3.1.1  词袋  34 3.1.2  n 元词袋  37 3.2  使用过滤获取清洁特征  39 3.2.1  停用词  39 3.2.2  基于频率的过滤  40 3.2.3  词干提取  42 3.3  意义的单位：从单词、n 元词到短语  43 3.3.1  解析与分词  43 3.3.2  通过搭配提取进行短语检测  44 3.4  小结  50 3.5  参考文献  51 第4  章 特征缩放的效果：从词袋到tf-idf  52 4.1  tf-idf：词袋的一种简单扩展  52 4.2  tf-idf 方法测试  54 4.2.1  创建分类数据集  55 4.2.2  使用tf-idf 变换来缩放词袋  56 4.2.3  使用逻辑回归进行分类  57 4.2.4  使用正则化对逻辑回归进行调优  58 4.3  深入研究：发生了什么  62 4.4  小结  64 4.5  参考文献  64 第5  章 分类变量：自动化时代的数据计数  65 5.1  分类变量的编码  66 5.1.1  one-hot 编码  66 5.1.2  虚拟编码  66 5.1.3  效果编码  69 5.1.4  各种分类变量编码的优缺点  70 5.2  处理大型分类变量  70 5.2.1  特征散列化  71 5.2.2  分箱计数  73 5.3  小结  79 5.4  参考文献  80 第6  章 数据降维：使用PCA 挤压数据  82 6.1  直观理解  82 6.2  数学推导  84 6.2.1  线性投影  84 6.2.2  方差和经验方差  85 6.2.3  主成分：第 一种表示形式  86 6.2.4  主成分：矩阵- 向量表示形式  86 6.2.5  主成分的通用解  86 6.2.6  特征转换  87 6.2.7  PCA 实现  87 6.3  PCA 实战  88 6.4  白化与ZCA  89 6.5  PCA 的局限性与注意事项  90 6.6  用例  91 6.7  小结  93 6.8  参考文献  93 第7  章 非线性特征化与k-均值模型堆叠  94 7.1  k-均值聚类  95 7.2  使用聚类进行曲面拼接  97 7.3  用于分类问题的k-均值特征化  100 7.4  优点、缺点以及陷阱  105 7.5  小结  107 7.6  参考文献  107 第8  章 自动特征生成：图像特征提取和深度学习  108 8.1  最简单的图像特征（以及它们因何失效）  109 8.2  人工特征提取：SIFT 和HOG  110 8.2.1  图像梯度  110 8.2.2  梯度方向直方图  113 8.2.3  SIFT 体系  116 8.3  通过深度神经网络学习图像特征  117 8.3.1  全连接层  117 8.3.2  卷积层  118 8.3.3  ReLU 变换  122 8.3.4  响应归一化层  123 8.3.5  池化层  124 8.3.6  AlexNet 的结构  124 8.4  小结  127 8.5  参考文献  128 第9  章 回到特征：建立学术论文推荐器  129 9.1  基于项目的协同过滤  129 9.2  第 一关：数据导入、清理和特征解析  130 9.3  第二关：更多特征工程和更智能的模型  136 9.4  第三关：更多特征= 更多信息  141 9.5  小结  144 9.6  参考文献  144 附录A  线性建模与线性代数基础  145 A.1  线性分类概述  145 A.2  矩阵的解析  147 A.2.1  从向量到子空间  148 A.2.2  奇异值分解（SVD）  150 A.2.3  数据矩阵的四个基本子空间  151 A.3  线性系统求解  153 A.4  参考文献  155 作者简介  156 封面简介  156