在线文本数据挖掘 算法原理与编程实现

本书介绍了互联网环境下文本类型数据的分析方法，探讨了当前主流的文本挖掘技术，以及这些技术在商业环境中的具体应用。本书从算法原理和应用场景两方面分别对在线文本分析技术进行了介绍：从算法原理的角度，以数据挖掘和机器学习的相关知识为基础，介绍了以文本建模、文本分类、文本聚类、序列标注为主要任务的文本分析方法，并对当前主流的深度学习方法与文本分析的结合进行了讨论。从应用场景的角度，讨论了文本分析技术的几个重要实践领域，包括信息检索、内容摘要、口碑分析、社交网络分析以及智能系统。

刘通，上海交通大学安泰经济与管理学院管理科学与工程专业博士，现任国内知名金融机构算法工程师。作者曾在管理学领域和计算机科学领域的国内核心期刊上发表过诸多与文本挖掘应用技术相关的重要研究成果。此外，作者在就读博士期间，将技术理论有效结合实践，采用文本挖掘方法对用户在线医疗平台上的医生选择和医疗在线服务购买的决策行为进行了深入研究，对如何改进在线平台的盈利模型并提高市场收益提出有价值的管理学见解。作者还曾参与过上海交通大学与华为技术有限公司合作的分布式计算平台的深度学习算法选型研究，比较了包括Theano、Tensorflow、Deeplearning4j在内的不同深度学习平台在分布式环境下的性能与算法兼容情况。

第1章 概述 1 1.1 网络运营与文本分析 1 1.1.1 互联网运营的战略思维 1 1.1.2 网络运营与大数据文本分析 2 1.2 文本分析的4V特征 4 1.2.1 Volume特征 4 1.2.2 Variety特征 5 1.2.3 Value特征 6 1.2.4 Velocity特征 7 1.3 在线文本分析应用 8 1.3.1 在线文本分析的管理类应用 9 1.3.2 在线文本分析的内容类应用 12 1.4 本章小结 16 第2章 预备知识 18 2.1 文本挖掘的主要任务 18 2.2 语义分析与语法分析 20 2.3 文本的结构化分析 21 2.4 文本的标准化分析 24 2.5 机器学习的基本概念 24 2.5.1 机器学习与深度学习 25 2.5.2 机器学习的基本要素 33 2.6 机器学习的重要问题 36 2.6.1 概率图模型 36 2.6.2 判别式模型和产生式模型 39 2.6.3 机器学习模型求解 40 2.6.4 模型过拟合 43 2.7 本章小结 45 第3章 文本建模 46 3.1 文本建模的基本概念 46 3.2 文本建模的应用场景 48 3.2.1 主体角色识别 48 3.2.2 语言风格分析 49 3.2.3 智能系统 49 3.2.4 文本表示 50 3.2.5 文本降维 50 3.2.6 话题分析 50 3.3 语言学建模概述 51 3.4 词标注分析 52 3.5 句法分析 55 3.5.1 转换生成语法 56 3.5.2 依存句法 56 3.6 知识库与语义网 58 3.7 统计学建模概述 59 3.8 向量空间模型 61 3.9 LSI模型 64 3.9.1 SVD 64 3.9.2 基于SVD的降维分析 66 3.10 Unigram模型 67 3.11 pLSI模型 67 3.11.1 pLSI的模型结构 67 3.11.2 pLSI的参数估计 68 3.12 LDA主题模型 70 3.12.1 LDA的模型结构 70 3.12.2 LDA的参数估计 72 3.13 主题模型拓展 75 3.13.1 相关主题模型 76 3.13.2 层次主题模型 77 3.13.3 动态主题模型 80 3.13.4 句子主题模型 82 3.14 基于词汇的统计学建模方法 83 3.15 本章小结 86 第4章 文本分类 88 4.1 文本分类的基本概念 88 4.2 文本分类的应用场景 89 4.2.1 文档有用性判断 89 4.2.2 口碑情感分析 90 4.2.3 负面信息识别 90 4.2.4 信息检索 90 4.3 朴素贝叶斯模型 91 4.3.1 贝努利模型 91 4.3.2 多项式模型 93 4.3.3 模型参数平滑 94 4.4 向量空间模型 95 4.4.1 Rocchio方法 95 4.4.2 KNN方法 96 4.5 SVM模型 97 4.5.1 硬间隔SVM 97 4.5.2 软间隔SVM 100 4.6 文本分类的评价 102 4.6.1 二元分类评价 102 4.6.2 多类问题评价 104 4.6.3 分类测试集 105 4.7 分类特征优化 106 4.7.1 分类特征提取 106 4.7.2 分类特征转化 112 4.7.3 分类特征扩展 114 4.8 分类学习策略优化 117 4.8.1 AdaBoost算法 117 4.8.2 主动式学习 118 4.8.3 迁移学习 119 4.9 本章小结 119 第5章 文本聚类 121 5.1 文本聚类的基本概念 121 5.2 文本聚类的应用场景 122 5.2.1 探索分析 122 5.2.2 降维 123 5.2.3 信息检索 123 5.3 扁平式聚类 124 5.3.1 K-均值算法 125 5.3.2 基于模型的聚类 128 5.4 凝聚式聚类 132 5.4.1 层次聚类 132 5.4.2 基于簇距离的聚类过程 132 5.4.3 算法停止条件 135 5.5 聚类结果分析 136 5.5.1 聚类算法评估 136 5.5.2 聚类标签生成 138 5.6 聚类特征优化 140 5.6.1 基于迭代的方法 141 5.6.2 无监督指标 141 5.7 半监督聚类 143 5.7.1 迁移学习 144 5.7.2 AP算法 145 5.8 短文本聚类 146 5.8.1 文本特征补充 146 5.8.2 TermCut算法 148 5.8.3 Dirichlet多项式混合模型 149 5.9 流数据聚类 151 5.9.1 OSKM算法 151 5.9.2 可拓展K-means算法 152 5.10 本章小结 153 第6章 序列标注 155 6.1 序列标注的基本概念 155 6.2 序列标注的应用场景 157 6.2.1 词性标注 157 6.2.2 命名实体识别 157 6.2.3 分词 157 6.3 HMM 158 6.3.1 HMM的概率计算问题 160 6.3.2 HMM的学习问题 162 6.2.3 HMM的预测问题 164 6.4 优选熵模型和优选熵马尔可夫模型 166 6.4.1 优选熵模型 167 6.4.2 优选熵马尔可夫模型 170 6.5 条件随机场 172 6.5.1 标注偏置问题 172 6.5.2 条件随机场的基本原理 174 6.6 本章小结 176 第7章 信息检索 177 7.1 信息检索的基本概念 177 7.2 信息检索的应用场景 180 7.2.1 搜索引擎 180 7.2.2 内容推荐 182 7.3 基于空间模型的信息检索 184 7.3.1 文档查找 184 7.3.2 文档排序 185 7.3.3 系统评价 187 7.4 基于概率模型的信息检索 190 7.4.1 二值独立模型 191 7.4.2 模型参数估计 193 7.5 基于语言模型的信息检索 196 7.5.1 语言模型 196 7.5.2 查询似然模型 198 7.6 本章小结 201 第8章 文本摘要 203 8.1 文本摘要的基本概念 203 8.2 文本摘要的应用场景 206 8.2.1 信息检索 206 8.2.2 信息压缩 207 8.2.3 用户画像 208 8.2.4 知识管理 209 8.3 关键词提取的特征设计 210 8.3.1 词频特征 210 8.3.2 词汇基础特征 211 8.3.3 词汇位置特征 212 8.3.4 词汇标记特征 214 8.4 关键词提取的有监督算法 214 8.5 关键词提取的无监督算法 217 8.5.1 简单指标设计 217 8.5.2 复合指标设计 217 8.6 基于图模型的关键词提取算法 218 8.6.1 图模型静态指标算法 220 8.6.2 图模型动态指标算法 223 8.7 关键词提取的技术优化 226 8.7.1 长文本问题优化 227 8.7.2 短文本问题优化 228 8.7.3 多主题特征优化 229 8.7.4 时序特征优化 232 8.7.5 歧义问题优化 233 8.8 关键短语提取 234 8.8.1 短语性指标 235 8.8.2 信息性指标 235 8.9 关键句提取 236 8.9.1 基于词汇关键性的方法 236 8.9.2 基于句子特征的方法 237 8.9.3 基于图模型的方法 238 8.10 本章小结 240 第9章 口碑分析 241 9.1 口碑分析的基本概念 242 9.2 口碑分析的应用场景 243 9.2.1 用户视角的应用 243 9.2.2 网站运营者视角的应用 244 9.2.3 商家视角的应用 244 9.2.4 其他应用 245 9.3 基于词典的评价对象提取 245 9.4 基于语料的评价对象提取 246 9.5 评价水平量化 252 9.5.1 整体粗粒度情感分析 253 9.5.2 整体细粒度情感分析 254 9.5.3 局部粗粒度情感分析 258 9.5.4 局部细粒度情感分析 259 9.6 基于语言模型的情感分析技术 259 9.6.1 优选熵LDA主题模型：模型性质 260 9.6.2 优选熵LDA主题模型：基本结构 260 9.6.3 优选熵LDA主题模型：参数估计 263 9.7 本章小结 265 第10章 社交网络分析 266 10.1 社交网络分析的基本概念 266 10.2 社交网络分析的应用场景 269 10.2.1 虚拟社区发现 270 10.2.2 用户影响力分析 271 10.2.3 情感分析 271 10.2.4 话题发现与演化 272 10.2.5 信息检索 273 10.3 社交网络的虚拟社区发现 274 10.3.1 社区发现的信息基础 274 10.3.2 基于隐性位置的聚类模型 275 10.4 社交网络的用户影响力分析 276 10.4.1 网络结构与用户影响力 276 10.4.2 TwitterRank算法 277 10.5 社交网络的情感分析 279 10.5.1 基于表情符号的训练集合构建 279 10.5.2 基于POSTag的特征优化 280 10.6 社交网络的话题发现与演化 282 10.6.1 话题发现分析 282 10.6.2 Twitter-LDA 284 10.6.3 基于文档聚类的话题发现 284 10.6.4 基于词汇聚类的话题发现 286 10.6.5 话题演化分析 287 10.6.6 基于NMF的主题建模 287 10.7 社交网络的信息检索 289 10.7.1 信息检索的内容拓展策略 290 10.7.2 信息检索的综合排序策略 291 10.8 本章小结 293 第11章 深度学习与NLP 295 11.1 基本原理 296 11.2 词嵌入模型 299 11.2.1 词汇的分布式表示 299 11.2.2 神经概率语言模型 300 11.2.3 词嵌入模型概述 301 11.3 RNN与NLP 304 11.3.1 RNN 304 11.3.2 基于RNN的机器翻译 305 11.3.3 RNN的其他应用 308 11.4 本章小结 309 第12章 实证研究 311 12.1 研究框架 311 12.1.1 研究问题背景 311 12.1.2 问题分析 313 12.2 理论与模型 314 12.2.1 相关理论与假设 314 12.2.2 模型构建 317 12.3 文本数据处理 319 12.3.1 基于文本分析的口碑打分调整 319 12.3.2 基于文本分析的口碑权重计算 323 12.3.3 基于文本分析的候选集合构建 324 12.4 研究结论 326 12.4.1 实证结果 326 12.4.2 管理建议 328 12.5 本章小结 329 第13章 总结 330