交通运输物流大数据分析与应用

针对交通运输物流领域的大数据技术应用的需求，设计了一种交通运输物流领域大数据基础技术架构，对存储、计算、资源调度管理等各个层面的应用进行支持，以满足数据增值和软件开发的需要。该技术架构主要应用在交通运输物流领域中的“流式数据实时计算”与“离线数据并行计算”两种典型应用场景中，可以有效提高大数据分析功能实现与开发效率。

针对交通运输物流领域的大数据环境特点，对大数据存储以及大数据分析方法进行分析研究，主要内容如下：大数据环境下交通运输物流领域数据资源存储、计算和资源调度管理、离线数据并行计算和在线数据实时计算等方法进行剖析，实现了实时热力分析、车货信息资源实时匹配、热点词分析、物流企业信用评价等典型的交通运输物流领域大数据应用。主要章节包括：绪 论；大数据分析平台软件技术基础架构；交通运输物流大数据的数据组织与描述；交通运输物流领域流式数据实时分析与应；交通运输物流领域离线数据并行计算与应用。

牟向伟，男 1982年4月生人，博士，大连海事大学，大数据管理与应用专业 副教授，主要研究领域为大数据分析与处理，发表论文EI/CSSCI检索论文30余篇，出版专著《模糊语义个性化信息推荐》1部，主持省部级项目4项，获发明专利1项，软件著作权8项，获得省科技进步奖一等奖1项，二等奖2项，教育部科技进步奖二等奖1项，市级科技进步奖三等奖1项

目录1绪论(1)1.1大数据产生的背景(1)1.2大数据的发展历程(2)1.2.1国外大数据的发展历程(2)1.2.2国内大数据的发展历程(3)1.3我国交通运输物流发展情况(4)1.3.1我国交通运输物流系统建设情况(4)1.3.2我国交通运输物流信息化发展情况(5)1.4国内外交通运输物流大数据研究进展(6)1.4.1国外交通大数据研究进展(6)1.4.2国内交通大数据研究进展(7)1.4.3大数据在交通运输物流行业中的应用(8)1.5交通运输物流领域数据分析的问题(9)1.6本章小结(11)2大数据分析平台软件技术基础架构(12)2.1大数据基础技术框架简介(12)2.1.1分布式存储(12)2.1.2分布式计算(13)2.1.3实时计算(14)2.1.4资源调度管理(15)2.2大数据基础软件技术架构设计(16)2.2.1设计原则(17)2.2.2大数据分析平台软件基础架构设计方案(19)2.3本章小结(49)3交通运输物流大数据的数据组织与描述(51)3.1泛数据生态圈(51)3.2大数据资源的存储模式(53)3.2.1大数据特征(53)3.2.2交通运输物流大数据的数据存储模式(55)3.3基于本体的交通运输物流领域知识描述方法(58)3.3.1相关理论(59)3.3.2交通运输物流领域大数据本体的构建(63)3.4本章小结(68)4交通运输物流领域流式数据实时分析与应用(69)4.1流式数据实时分析方法(69)4.1.1流式数据的定义(69)4.1.2流式数据的特点(70)4.1.3流式数据抽样统计方法(70)4.1.4流式数据聚类方法(73)4.2流式数据实时分析在交通运输物流领域中的应用(77)4.2.1应用1：基于CluStream的交通运输物流活动热点实时分析(77)4.2.2应用2：大规模流式数据环境下车货实时匹配分析(83)4.3本章小结(98)5交通运输物流领域离线数据并行计算与应用(99)5.1基于MapReduce的交通运输物流热点词词频统计方法(99)5.2基于非结构化文本分类的交通运输物流资讯新闻导览方法(105)5.2.1文本分类技术综述(106)5.2.2文本训练(112)5.2.3文本分类(113)5.2.4交通运输物流资讯分类导览系统的实现(114)5.3大数据环境下的物流企业信用评价方法(118)5.3.1应用背景与意义(118)5.3.2物流企业信用评价方法(119)5.3.3大数据环境下的物流企业信用评价指标(124)5.3.4数据收集系统(132)5.4本章小结(139)6总结(141)参考文献(144)附录(154)附录A“法律文书”文本分析源代码(154)附录B物流企业信用评价数据表(部分)(161)附录C信用等级与对应评分表(166)