视频中的异常事件检测

本书针对智能视频分析中的异常事件检测及其在视频安全认证领域的关键问题展开深入研究，旨在提高智能视频分析系统的效率和智能化水平。通过深入挖掘视频内容的运动属性，扩展人类视觉认知机制在视频分析领域中的应用，探寻更有效的视频事件表示与模型构建方法，提高视频异常事件检测的性能。此外，为了实现对视频的安全保护，以异常事件检测为基础，对视频认证和篡改恢复展开研究。

目录
前言
章 绪论 1
1.1 研究背景及意义 1
1.2 异常检测的应用领域 3
1.3 视频异常事件检测中的关键问题 4
1.4 视频异常事件检测的研究现状 5
1.5 本书主要研究内容和结构安排 7
1.5.1 本书主要研究内容 7
1.5.2 结构安排 10
参考文献 10
第2章 视频异常事件检测相关方法介绍 14
2.1 视频事件描述的相关方法介绍 15
2.1.1 目标级描述方法 15
2.1.2 像素级描述方法 16
2.2 异常事件检测方法介绍 19
2.2.1 基于概率的异常事件检测方法 20
2.2.2 基于距离的异常事件检测方法 21
2.2.3 基于重构的异常事件检测方法 22
2.2.4 基于域的异常事件检测方法 23
2.3 本章小结 24
参考文献 24
第3章 基于高阶运动特征的视频异常事件检测 29
3.1 引言 29
3.2 一阶运动特征提取 30
3.3 高阶运动特征提取 31
3.4 局部与全局异常事件检测 33
3.4.1 评价指标 33
3.4.2 局部异常事件检测实验结果与分析 34
3.4.3 全局异常事件检测实验结果与分析 43
3.4.4 基于视频内容的特征融合方法 47
3.5 本章小结 49
参考文献 49
第4章 基于显著性的视频异常事件检测 51
4.1 引言 51
4.2 显著性检测简介 51
4.2.1 显著性检测的研究意义 51
4.2.2 显著性检测的研究现状 52
4.3 空域显著性检测 54
4.3.1 基于ERC-SLPP的空域显著性检测 54
4.3.2 基于IMMR的空域显著性检测 61
4.3.3 空域显著性检测实验结果与分析 67
4.4 显著性在异常事件检测中的应用 78
4.4.1 空时显著度图构建 79
4.4.2 区域级模型的构建 80
4.4.3 视频异常事件检测实验结果与分析 83
4.5 本章小结 89
参考文献 89
第5章 基于约束稀疏表示的视频异常事件检测 94
5.1 引言 94
5.2 基于重构的异常检测算法分析 94
5.3 运动特征提取 97
5.4 约束稀疏表示在异常事件检测中的应用 98
5.4.1 模型构建 98
5.4.2 目标函数求解 100
5.4.3 收敛性分析 102
5.4.4 异常事件检测 102
5.4.5 实验结果与分析 103
5.5 本章小结 108
参考文献 108
第6章 基于异常检测的视频认证与自恢复 110
6.1 引言 110
6.2 基于异常事件检测的视频认证 112
6.2.1 双重水印嵌入 112
6.2.2 篡改定位与自恢复 116
6.3 视频认证实验结果与分析 119
6.3.1 视觉质量评估 119
6.3.2 无篡改情况下的恢复实验 121
6.3.3 空域篡改实验 122
6.3.4 时域篡改实验 124
6.3.5 空时域篡改实验 125
6.4 本章小结 126
参考文献 126
第7章 总结与展望 129
7.1 本书工作总结 129
7.2 未来研究展望 131

    章 绪论
    1.1 研究背景及意义
    自数字地球概念提出以来，数字城市、数字社区、数字校园等概念大量涌现。随着计算机技术的迅猛发展，数字化向智能化的转变已经是发展的必然趋势。作为智慧城市、智慧校园等采集数据的重要手段之一，视频监控系统无疑起着至关重要的作用，具有无法取代的地位［1］。随着信息高速公路和计算机技术的高速发展，视频监控系统已经深入交通、城管、人防、卫生、环保、教育等各个领域，遍布人们日常生活的方方面面［2-5］。在交通路段、机场、银行、商场、学校、居民区等公共场所，随处安装有摄像头。这一只只“天眼”无时无刻不在监控着人们的生活环境，保障着社会治安和人民群众的生命财产安全［6，7］。
    目前人类主体使用闭路电视（closed-circuit television，）摄像机来捕获和监控场景的现象已经十分普遍。一旦发现监控场景中出现异常情况，会人工发出警报，然而问题也随之而来。首先，面对不计其数的监控摄像头，短时间内即可产生大量的视频数据。一个十分重要却具有挑战性的问题就是如何从这些海量视频数据中获取有价值、有意义的信息。面对如此海量的视频数据，所需的人力及物力可想而知。尽管目前视频捕捉设备的价格越来越便宜，但监视和分析这些视频数据所需的人力却是十分昂贵的。其次，在大多数情况下，监控场景中出现的都是正常情况，操作者长时间观看千篇一律、枯燥的视频内容自然会感到厌倦，难免出现注意力分散、专注度下降的情况，从而造成错漏一些关键性信息的问题。这便有可能导致在突发状况下不能时间发出警报，错过处理突发事件的很好时机，造成.人民群众的生命和财产损失。此外，在很多实际情况中，并没有安排专人来实时监控这些摄像数据。很多监控系统只是将所拍摄的数据作为事后的取证和调查材料来使用。在大多数情况下，监控摄像头输出的视频数据将存储在磁带或磁盘中，一旦发生如抢劫商户和偷盗汽车等犯罪行为，调查人员将在事发之后去观察这些视频数据，以了解当时到底发生了什么，然而为时已晚，监控系统已经失去了实时报警的作用和意义。因此，对视频监控数据进行24小时不间断分析与监测，对正在发生的异常事件，如犯罪行为和人群恐慌等进行自动检测与预警，将是十分有意义和必要的。智能视频监控技术就是为了让计算机像人的大脑，让摄像头像人的眼睛，由计算机智能地分析从摄像头中获取的图像序列，对被监控场景中的内容进行理解，实现对异常行为的自动预警和报警［8，9］。
    近年来，越来越多的靠前外学者与机构关注于智能监控系统的研究与开发［10，11］。卡内基梅隆大学（Carnegie Mellon University）的机器人技术研究所与萨诺夫（Sarnoff）公司携手，历时三年（1997～1999年），研发了一种自动的视频监控（video surveillance and monitoring，VSAM）系统［12］。该系统能够自动检测与跟踪运动目标，并通过形状、颜色等分析将运动目标划分为不同的语义类别，如个人、人群、汽车和卡车等。此外，该系统也可实现对人类行为的进一步分类，如走、跑等。VSAM系统不但能进行一般性的军事安全监控，如军事基地、军械弹药库和边海防线的监控，而且能够进行局部战争战场的实时监控，如敌方军力部署及调动情况等。Huang等开发了一种Vs-star监控系统［13］，能够对监控视频中的行人和车辆的行为进行自动解释。自动解释涉及目标检测、目标分类与识别、目标跟踪和目标的行为分析，从而对视频中的异常行为进行检测。该系统曾在2008年北京奥林匹克运动会期间应用于奥林匹克公园的指挥中心。图1.1是Vs-star监控系统界面［13］。
    图1.1 Vs-star监控系统界面
    通常，智能监控系统的很终目标是检测感兴趣事件。感兴趣事件也可定义为可疑事件、不规则事件和异常事件。在本书中认为它们是等价的，统称为异常事件。在检测到异常事件后，智能监控系统通常可通过两种方式发出警报：一种是发出事先录制好的声音警报，另一种是自动与公安部门取得联系，这样既可使人们在时间感知危险或犯罪，也可使公安部门获取破获案件的很有利信息。因此，如何快速、有效地识别出监控视频流中的异常事件是智能监控系统的关键问题。
    近年来，基于视频的异常事件检测已经逐渐成为计算机视觉领域的研究热点，并且吸引了众多靠前外研究学者的关注。靠前上的一些非常不错期刊如IJCV(International Journal of Computer Vision)、PAMI(IEEE Transactions on Pattern Analysis and Machine Intelligence)和重要学术会议如ICCV(International Conference on Computer Vision)、CVPR(IEEE Computer Society Conference on Computer Vision and Pattern Recognition)、ECCV(European Conference on Computer Vision)等近年来都刊出了大量关于视频异常事件检测方面的文献，为该领域的研究人员提供了更多的交流机会。有效的异常事件检测方法能够正确地检测出视频中的不正常事件，提高监控系统的智能化水平，节省大量人力和物力资源，并且在检测出异常事件后及时发出警报，很大可能地降低突发事件带来的生命财产损失，对维护社会治安与人民群众的生命财产安全起着至关重要的作用。因此，对于视频异常事件检测算法的研究具有十分重要的理论意义和广泛的应用价值。
    1.2 异常检测的应用领域
    早在1980年，Hawkins［14］就给出了异常的直观定义：异常是远偏离其他观测数据而被怀疑为由另一种不同机制所生成的观测数据。异常检测就是在观测数据中找出这些偏离正常数据的离群点，近年来已广泛应用于各个领域。
    在安全领域，基于异常的入侵检测系统可以有效地防范针对计算机系统的网络攻击，广泛应用于大规模的信息技术基础设施。其主要通过建立统计模型来对正常的网络环境进行描述，从而识别出任何偏离正常模型的异常行为［15-17］。对于智能用电系统，异常检测可以提高电网的服务水平，有效地节约人力资源，降低运营成本，使电网能比较经济地运行［18］。赵文清等［19］利用异常检测算法实现了检测智能电网中电力用户的异常用电行为。余立苹等［20］对无线传感器网络采集的电梯真实数据流进行检测，实现了电梯故障检测。此外，在医学领域中，异常检测算法也具有广泛的应用［21，22］。在移动机器人领域，可通过异常检测算法实现自动视觉检测任务［23］。首先学习其操作环境中的正常模型，然后利用该正常模型突出那些可能出现的异常视觉特征。这能够使机器人将更多的计算资源和“注意力”分配给特异性、不寻常的视觉特征，从而提高处理速度，达到实时性要求。
    近年来，随着优选对安保行业的关注日益增加，对公共场所如机场、地铁站、商场、人群密集的运动场和军事设施等进行有效监控，以及如日常活动监控器和跌倒检测仪等一些为老年人开发的智能医疗保健设备的使用，异常检测在智能视觉监控领域中的应用获得越来越多的关注。通常，其目的是检测、识别和学习监控视频中可疑事件、不寻常事件或异常事件。因此，本书主要关注基于视频的异常事件检测算法的研究，旨在提出更加有效的、针对监控视频的异常事件检测算法，提高视频监控系统的智能化水平，在节省人力、物力的同时，为社会和人民群众的生命财产安全提供更加可靠的保障。
    1.3 视频异常事件检测中的关键问题
    视频是一种承载了声音和图像信息的多媒体数据类型，它所包含的信息量远大于静态图像和文本。相比于其他多媒体数据类型，视频数据一般具有以下特点。
    (1) 较高的信息容量。该种类型的媒体数据能够更详尽地描述视频内容的细节信息。例如，对于一段描述足球比赛的视频，可以从中获取比赛场地、双方球队的比赛阵容、比分及现场观众的情绪等一系列细节信息。而图像或文本描述往往无法做到将每一处细节信息都表述得面面俱到。
    (2) 空时连续性。视频内容不仅具有二维图像的空间连续性，通常也具有时间上的连续性。为了保证画面的连续性，视频数据通常具有较高的帧率［（美国）国家电视标准委员会（National Television Standards Committee，NTSC)和逐行倒相（phase alteration line，PAL)制式下分别为30帧/s和24帧/s］，这就使得在两帧的时间间隔内（NTSC制式下为1/30s、PAL制式下为1/24s），视频对象的内容变化范围不会很大。因此，使得视频数据具有很强的时间连续性。
    (3) 解释的多样性及模糊性。不同于文本型数据有客观、确定性的描述和解释，对视频数据的理解往往会掺杂个人的主观因素及先验知识，因此视频数据会具有多样性和模糊性特点。例如，对于一段人群奔跑的视频，有的人会认为这是在进行赛跑比赛，而有的人则首先认为是由于发生了恐怖事件而造成的人群逃跑。
    相对于视频数据的上述特点，基于视频的异常事件检测也存在着诸多难点。
    ，视频所携带的信息量极其丰富，在从中获取十分详尽的细节信息的同时，也面临着视频数据的高维度和高处理复杂度的问题。因此，如何快速有效地处理如此庞大的数据是基于视频的异常检测算法首先要解决的问题。
    第二，视频帧内具有很强的空间连续性，视频帧间具有很强的时间连续性，因此带来了大量的信息冗余，这也是导致视频数据如此庞大的重要原因之一。这些冗余信息不仅给数据处理带来了严峻的挑战，在某些情况下也会降低检测的准确度。如何很大限度地去除视频中的冗余信息并保持视频的本质信息将是一个十分关键却具有挑战性的任务。
    第三，对人类来说，视频数据尚存在解释的多样性和模糊性问题，而作为模拟人的智能系统，如何对视频内容进行准确提取和描述也是一个难度大且不可逾越的难题，这一步描述的好坏将直接影响下一步的检测与识别任务。不同于一维的文本数据和二维的图像数据，在对三维的视频数据进行描述时，如何充分利用其空时连续性及如何提取其本质信息而忽略不重要信息也是必须要考虑的问题。
    第四，在基于视频的异常检测中，异常事件往往是很少发生的事件，也就是说，想要获取足够的负样本数据是十分困难的。因此，只能通过对正样本进行分析与建模，通过对比测试样本与模型的匹配程度，来确定其是正常事件还是异常事件。此外，正常事件往往不是单一的，通常具有多样性，如何对这些具有多样性的正常事件进行建模也是基于视频的异常事件检测算法将要解决的难题。
    第五，正常事件与异常事件的定义往往会随外界环境的不同而不同。例如，在某一场景下，相对于正常的行走，奔跑定义为异常事件。而在发生雨、雪等恶劣天气环境下，奔跑则应定义为正常事件。因此，具有在线更新机制的异常检测算法更符合现实场景。
    综上所述，视频异常事件检测算法有十分重要的实际意义，同时也有较大的研究难度。1.4 视频异常事件检测的研究现状
    视频异常事件检测算法通常包含两部分，即事件描述和模型构建，如图1.2所示。事件描述通常提取能够有效表示视频中目标运动行为或描述场景特性的特征，用于在下一步中构建模型。特征是否具有高度描述性和判别性，将是能否对正常事件成功建模的直接影响因素。而一种合适的建模方法也是成功检测异常事件的关键之处。通常情况下，由于异常样本很难获取，可用的训练样本多为正常样本，这就会出现严重的类不平衡问题，甚至在大多数情况下，只有正常事件的训练样本可用。因此，基于视频的异常事件检测问题实质上为一分类问题，即找出区别于正常事件的那一类，也就是异常事件。
    图1.2 视频异常事件检测算法概括
    鉴于事件描述在整个视频异常事件检测算法中的重要性，已经有众多学者关注如何提取具有高度描述性和判别性的特征。目前事件描述方