舆情计算方法与技术

社会计算是近十年来快速发展起来的一个新兴的研究领域，它一方面依托于近年社交网络技术以及应用的快速发展，使得越来越多的网络用户之间产生自联接、自媒体、自选择的内容传播新方式，并且带来了关于针对文本内容深入挖掘与分析的强大动力基础；另一方面传统社会学对于社会活动领域中的分析方法，特别是基于网络化的社会化分析方法，使得人们发现在庞大的网络数据中，可以充分地利用其中的一些指标与算法进行有效的度量与分析，从而使得社会网络分析方法从技术角度上再次获得了新的生命力。在这两股力量的共同作用与影响下，社会计算领域中大量的研究成果也在不断涌现出来。因此，本书从社会计算和自然语言处理与文本挖掘两个角度出发，针对社会舆情分析过程中存在的核心方法进行综合介绍。

饶元，CCF 会员； ACM会员。负责或主持过国家863RFID重大专项“基于RFID的信息集成管理技术研究与开发”（2006AA04A118）；北京市科委重大专项以及海淀区科技项目与博士后科研基金项目等多项；国家科技部火炬计划项目（高技术成果转化协同创新平台与示范）；国家社科基金重大项目（“基于多学科理解的社会网络分析模型研究”第5子课题：虚拟Web网络空间中的社会网 络模型与个体行为机制研究）。

第1章社会计算与社会舆情分析概述1
1.1社会计算的概念与关键技术1
1.1.1Web2.0与社会化软件的特征1
1.1.2社会计算的概念3
1.1.3社会计算与社会智能研究的核心内容6
1.2社会舆情的特征与分析方法10
1.2.1社会舆情的概念与特征10
1.2.2网络舆情的形成和演化过程11
1.2.3网络舆情的关键技术与方法13
1.3本书的知识结构15
参考文献17
第2章社会网络分析理论与相关技术基础18
2.1社会网络分析方法18
2.1.1社会网络分析方法的发展与研究的问题域18
2.1.2社会网络分析方法的主要理论与概念体系24
2.1.3社会网络分析的主要研究方法与分析工具28
2.2自然语言处理31
2.2.1自然语言处理的基本问题31
2.2.2中文分词32
2.2.3命名实体识别33
2.2.4共指消解34
2.2.5实体关系的抽取34
2.2.6事件探测与追踪35
2.3数据挖掘与机器学习方法概述35
2.3.1数据挖掘与机器学习方法35
2.3.2基于Web的文本挖掘39
2.4本章小结41
参考文献42
第3章中文文本特征与词分析技术43
3.1中文文本的基本特征43
3.1.1中文文本的基本特征43
3.1.2中文文本分析的任务与数据结构特征45
3.1.3中文文本句法结构分析50
3.1.4基于统计的句法分析方法54
3.2中文分词技术55
3.2.1中文分词的核心问题55
3.2.2基于规则的中文分词的关键技术与算法58
3.2.3基于统计的中文分词的关键技术与算法60
3.2.4基于理解的分词方法65
3.2.5主要中文分词工具65
3.3主题词库的构建67
3.3.1主题词基本概念67
3.3.2主题词间的关系定义69
3.3.3主题词的抽取方法71
3.3.4主题词库的构建73
3.4本章小结79
参考文献80
第4章社会网络环境下的文本数据预处理技术81
4.1文本数据的词义冲突与数据消歧81
4.1.1文本数据存在的词义冲突与消歧81
4.1.2基于知识的词义消歧方法83
4.1.3无监督的词义消歧技术86
4.1.4有监督的词义消歧技术89
4.2文本数据的稀疏性与降维90
4.2.1数据稀疏问题及解决91
4.2.2数据平滑技术92
4.2.3数据降维方法93
4.3数据融合97
4.3.1数据融合的概念与方法98
4.3.2实体的识别与统一表示99
4.3.3数据冲突处理102
4.3.4数据关联103
4.4本章小结104
参考文献104
第5章文本聚类方法分析107
5.1聚类基础概念107
5.1.1聚类算法的定义107
5.1.2聚类算法的目标与基本数据结构108
5.1.3数据对象距离及相似度度量109
5.1.4其他数据类型与相似度度量111
5.2常用的文本聚类算法113
5.2.1文本聚类的基本需求113
5.2.2文本聚类方法114
5.2.3文本聚类结果的评价方法120
5.3基于文本数据流的聚类方法121
5.3.1数据流问题的背景121
5.3.2数据流基本概念与模型122
5.3.3数据流聚类方法124
5.3.4演化分析技术129
5.4本章小结131
参考文献131
第6章文本分类方法134
6.1分类基础概念134
6.1.1分类问题的定义134
6.1.2文本分类与目标135
6.1.3分类算法的评价136
6.2基于概率的贝叶斯分类方法137
6.2.1贝叶斯概率公式138
6.2.2朴素贝叶斯分类原理138
6.2.3基于朴素贝叶斯分类算法的文本分类器设计139
6.2.4贝叶斯网络模型141
6.3基于核的分类算法143
6.3.1支持向量机算法143
6.3.2核函数的定义145
6.3.3多类问题的求解算法147
6.4其他分类器的常用构造算法149
6.4.1Rocchio分类算法149
6.4.2KNN算法149
6.4.3Boosting算法151
6.5本章小结152
参考文献153
第7章信息抽取与摘要自动生成技术154
7.1命名实体的识别与抽取技术154
7.1.1命名实体识别的基本任务154
7.1.2人名实体抽取156
7.1.3地名实体抽取方法160
7.1.4机构名实体抽取方法163
7.2网络文本数据中的实体间关系的抽取165
7.2.1实体关系的定义与基本分类165
7.2.2存在关系的实体对抽取方法166
7.2.3基于核函数的实体关系抽取方法168
7.3话题识别与追踪技术（TDT）171
7.3.1话题识别与追踪需要解决的问题与目标171
7.3.2话题识别与追踪的经典方法173
7.3.3话题识别与追踪的评价方法175
7.4自动摘要生成技术176
7.4.1自动文档摘要生成所需要解决的问题与目标176
7.4.2单文档自动摘要生成技术178
7.4.3多文档自动文摘生成的关键技术181
7.4.4自动摘要系统的评价标准183
7.5本章小结185
参考文献185
第8章社会网络中社区识别与信息传播188
8.1网络社区的识别188
8.1.1网络社区的概念189
8.1.2网络社区的特征与关键问题191
8.1.3基于非重叠社区的发现算法195
8.1.4基于重叠的网络社区发现与识别算法198
8.1.5社区发现算法评价方法201
8.2网络信息的传播模型203
8.2.1网络信息传播中的基本问题203
8.2.2行动者影响力分析204
8.2.3信息传播动力学模型207
8.3链接预测模型与方法211
8.3.1链接预测的概念与主要目标212
8.3.2链接预测存在的主要算法分类与指标212
8.3.3链接预测存在的经典算法215
8.4本章小结218
参考文献218
第9章社会网络下的情感分析221
9.1情感计算的基本概念与问题挑战221
9.1.1情感分析的概念与研究目标221
9.1.2情感词的识别与标注223
9.1.3情感词典的构建225
9.2文本的主／客观分析与观点挖掘分析方法228
9.2.1文本的主／客观分析方法228
9.2.2观点挖掘分析方法229
9.3情感分析与计算方法232
9.3.1基于词的经典情感计算与分析方法232
9.3.2不同粒度下的情感分析方法234
9.3.3文档主体对象的情感倾向分析方法240
9.3.4跨领域文档的情感倾向分析方法245
9.3.5情感计算评价方法245
9.4本章小结246
参考文献247
第10章数据可视化技术250
10.1可视化技术概述250
10.1.1可视化技术的基本概念与目标250
10.1.2可视化技术的分类252
10.2社会网络可视化的静态分析方法260
10.2.1社会网络环境下的可视化方法介绍260
10.2.2力导引布局相关算法262
10.2.3层次布局264
10.2.4树形布局269
10.3动态可视化交互方法与可视化模式挖掘技术273
10.3.1可视化的动态交互与形变技术274
10.3.2可视化模式挖掘与分析方法277
10.4数据可视化的质量评价方法278
10.4.1数据可视化的质量评价模型278
10.4.2数据可视化的质量评价指标280
10.5本章小结281
参考文献282
第11章社会计算与舆情分析应用284
11.1社会网络舆情分析与应用284
11.1.1分析指标体系与分析模型的建立284
11.1.2分析平台的建立与应用288
11.2企业社会网络分析与应用289
11.2.1企业社会网络构造方法290
11.2.2企业特征的抽取291
11.2.3企业社会网络服务平台与可视化分析292
11.3专家网络与知识图谱应用293
11.3.1专家模型的构建与属性抽取规则293
11.3.2专家模型中的属性消歧与网络构建297
11.4专利地图的应用298
11.4.1专利地图的研究与制作方法298
11.4.2专利地图的构建与分析299
11.5金融风险预测与分析应用302
11.6本章小结304
参考文献305
第12章社会计算与舆情分析的技术发展趋势307
12.1大数据与数据世系308
12.2基于机器学习的类人脑科学的演化310
12.3社会计算向社会智能的演化312
12.4小结314
参考文献315
附录A基于信息传播的分类及网站示例317
附录B基于LDA模型的候选主题词抽取算法描述318
附录C常用的中文停用词表321
附录DTBDC4TS聚类算法伪代码示意333
后记335