面向专业领域的情报工程技术研究与实现

本书是一部面向专业领域的情报工程技术研究与实践的专著。针对数字化、网络化环境下情报资源的知识化组织、高效率存储、智能化分析的需求，技术创新不是一个企业孤立的行为，创新研究的视野已从单个企业内部转向整个产业环境的视角!通过产业竞争情报对产业创新环境的实时监测，有助于提升企业技术合作与技术创新’实现资源要素的合理配置以及产业的合作布。

专业领域知识体系构建系统：针对研究数字化、网络化环境检索、利用化工知识的需要，通过领域本体构建等信息技术的融合与集成，将化学工业的领域知识合理分类，构建以化学化工知识点为基本单元的图书全文数据库，为科学研究、技术开发、工程设计、工程应用、技术咨询和专业学习用户提供知识服务，实现智能检索与知识语义导航，实现知识的共享与重用。
护理科学大数据平台：利用大数据处理技术、自然语言处理技术、机器学习方法对已有公认领域知识进行重构利用，在构建领域本体的基础上，利用语义标注技术实现资源结构化、语义化处理，为护理领域的从业人员提供资讯、科研、评价专业知识服务。系统主要功能包括行业前沿热点资讯、知识检索、科研报告、行业报告、对比式摘要、人才评价、期刊评价、机构评价等。
本书的具体研究内容如下。
①情报工程基础框架（第1章），阐述情报工程的基础框架，从文本到情报的处理过程中涉及的主要步骤流程。
②情报工程基本模型与算法（第2章），阐述从文本到情报的处理过程中涉及的主要模型与算法，包括结构化学习模型、主题发现模型、特征选择算法等。
③情报工程技术平台（第3章），阐述以“知识组织、数据驱动”为核心的情报工程处理支撑平台建设思路，以及情报工程技术平台的主要功能。
④对比式摘要自动生成（第4章），研究对比式摘要自动生成相关的方法与技术，包括模型定义、资源获取、话题信息挖掘、摘要生成等。
⑤面向领域的研究综述自动生成（第5章），研究面向领域的研究综述自动生成的方法与技术，包括模型构建、资源搜集原则及评价方法等。
⑥基于视频的文本摘要自动生成（第6章），研究基于视频的文本摘要自动生成的方法与技术，包括视频结构化分析技术、视频语义分析技术、文本摘要生成技术等。
⑦行业报告自动生成（第7章），研究行业报告自动生成的方法与技术，包括模型构建、指标设计、指标配置、指标统计等。
本书在编写过程中，参阅了大量的图书和文献，汲取了很多精髓，特别是引用了部分图表、数据等，在此向有关作者表示诚挚的感谢。在研究过程中也得到诸多业界专家、领导、同事的帮助和支持，在此一并致谢。笔者的硕士研究生黄毅、杨雨青、帅远华、李泽垚、朱文文、张琢不同程度地参与了前期的数据处理工作；硕士研究生邢玉艳、谢若昀、房小玮、张华珺、王亭亭、刘茹、李冠霖分别在系统测试及案例实现中做了大量的工作，在此一并表示感谢。同时，也向开发团队人员及出版校对人员表示感谢。

刘耀，博士，中国科学技术信息研究所研究员；国家科技信息资源综合利用与公共服务中心副主任；北京大学信息管理系管理学博士；北京大学计算语言学研究所出站博士后；中国社会科学情报学会理事会常务理事、副秘书长；中国计算机学会杰出会员；北京大学软件与微电子学院外聘硕士研究生导师；主要从事自然语言处理、知识工程方向研究。先后发表学术论文80余篇，出版学术著作5部，主编、副主编教材各1部，参编著作6部；先后主持、参加完成包括国家重点研发计划、国家科技支撑计划、国家重点基础研究发展计划(973)、国家社会科学基金在内的科研项目30余项(主持1O余项)；获省部级奖励5项、行业及协会奖5项，申请发明专利3项，申请软件著作权20余项。

第1章情报工程基础框架1
1.1资源结构化2
1.1.1文本结构化2
1.1.2视频结构化5
1.2资源语义化13
1.2.1文本语义化13
1.2.2视频语义化16
1.3数据可视化23
1.3.1基于统计图表的可视化24
1.3.2基于拓扑结构的可视化30
1.3.3基于聚类结构的可视化31
1.3.4基于标签云的可视化31
1.4本章小结32
第2章情报工程基本模型与算法33
2.1相似度模型33
2.1.1Word2Vec模型33
2.1.2Doc2Vec模型40
2.1.3LDA模型46
2.2概率模型与算法53
2.2.1CRF模型54
2.2.2TF-IDF算法59
2.2.3BM25算法64
2.3排序算法67
2.3.1PageRank算法68
2.3.2TextRank算法74
2.4视频图像处理模型与算法85
2.4.1感知哈希算法85
2.4.2FAST角点检测算法91
2.4.3直方图比较法96
2.5本章小结107
第3章情报工程技术平台109
3.1平台技术109
3.1.1网络信息采集平台110
3.1.2资源交换平台113
3.1.3Schema管理平台115
3.1.4资源加工平台117
3.1.5本体构建平台121
3.2系统功能127
3.2.1资讯查看128
3.2.2知识检索128
3.2.3科研服务132
3.3平台运行软硬件环境138
3.4本章小结138
第4章对比式摘要自动生成140
4.1思路与框架140
4.2开放平台领域话题知识与文献处理143
4.2.1领域话题知识处理143
4.2.2领域科学文献处理147
4.2.3双话题比较信息挖掘148
4.3比较摘要生成步骤153
4.3.1结合先验知识的子主题排序153
4.3.2结合文献外部信息的候选句排序154
4.3.3摘要文本生成155
4.4实验与分析155
4.5本章小结156
第5章面向领域的研究综述自动生成157
5.1思路与框架157
5.1.1文献综述的定义158
5.1.2文献综述的结构159
5.2资源语义化处理159
5.2.1领域本体构建159
5.2.2语义标签自动标注161
5.3综述生成流程步骤162
5.3.1综述基础模型构建162
5.3.2综述模板构建166
5.3.3综述标题与内容生成166
5.4自动综述的结果评价170
5.4.1自动摘要的评价方法170
5.4.2自动综述的评价方法172
5.4.3实验与分析175
5.5本章小结176
第6章基于视频的文本摘要自动生成177
6.1思路与框架177
6.2视频资源结构化处理178
6.2.1视频镜头分割179
6.2.2视频关键帧提取180
6.3视频资源语义分析182
6.3.1视频关键帧分类182
6.3.2视频主题单元划分186
6.4视频摘要生成流程187
6.4.1主题单元文本预处理190
6.4.2节点边权值计算190
6.4.3节点权重计算192
6.4.4节点权重优化193
6.4.5主题排序与摘要句抽取195
6.4.6摘要生成196
6.5实验与分析198
6.5.1摘要结果对比198
6.5.2评价标准199
6.5.3评价指标对比与分析199
6.6本章小结201
第7章行业报告自动生成202
7.1思路与框架202
7.2异构资源处理203
7.2.1科技文献解析标准204
7.2.2综合资源模板204
7.2.3资源解析实例206
7.2.4简单字段统计实例207
7.3行业报告生成流程209
7.3.1模板设计209
7.3.2指标设计212
7.4实验与分析218
7.5本章小结222
附录运行算法具体示例223
图表目录237
参考文献245