关于海量视频数据快速检索的方法研究

根据安防“十二五”规划,“十二五”期间,“平安城市”、“科技强警建设工程”、“3111工程”等重大公共工程项目将继续加大实施力度。随着视频监控体系的快速建设和视频资料体量的高速增加,如何高效地使用海量视频数据成为视频监控行业面临的一个挑战。我们需要在视频中检索什么?绝大大部分情况下,视频画面中运动的物体才是我们关注的目标,也正是需要检索的对象。

【安防在线 www.anfang.cn】
  “十一五”期间,国内安防行业一直保持着高速增长,年复合增长率超过23%。作为安防行业最重要的组成部分,视频监控行业在此期间也得到了高速的发展。随着视频监控大规模建设,积累了大量的视频资料,现有的视频监控体系和大量的视频资料,为有关部门查询破案线索、维护公众安全方面起到了巨大的作用。

  根据安防“十二五”规划,“十二五”期间,“平安城市”、“科技强警建设工程”、“3111工程”等重大公共工程项目将继续加大实施力度。随着视频监控体系的快速建设和视频资料体量的高速增加,如何高效地使用海量视频数据成为视频监控行业面临的一个挑战。目前视频监控厂家众多,以及人工查看视频数据的现状来分析,在海量视频数据的使用上存在以下三个主要问题:

  视频数据封装、编码格式未统一。视频监控的国标目前还在实施中,之前建设的视频监控体系中存在大量封装、编码格式不一致的视频数据,观看不同格式的数据需要不同的播放软件。

关于海量视频数据快速检索的方法研究

  完全靠人工查看的方式和视频资料的体量相比较而言效率很低。一个平安城市的视频监控建设,少则几千路,多则上万路甚至数十万路。我们举一个例子,一个视频监控数据达到一万路的某地,因为发生某刑事案件,需要调用其中100路的24小时录像来查找线索,如果一个办案人员按正常速度看完所有视频资料需要2400小时,按4倍速看也需要600小时,如果需要提高查看速度只能使用”人海战术”增加查看视频的人员。而且,使用人工有一弊端,都是容易疲劳,注意力无法长时间集中,或者注意力集中了也容易忽略视频中的某些目标,时而需要多次查看同一视频资料来保证查证效果。

  视频数据的汇总的困难。以平安城市为例,分布式存储和集中式存储在实际应用中都是并存的。对于分布式存储来说,需要对视频数据进行检索时,如果我们的检索人员不能分布式工作,要求集中式工作,那么就要求对分布的视频数据进行汇总。

  同样的,以上述的100路24小时录像为例,假设这100路平均码率为2Mb/S,每一路24小时的录像文件大小约172800Mb,100路的录像都通过网络上传到集中检索所在处需要消耗的带宽为17280000Mb约等于2110GByte。如果经过普通宽带,以1Mb/S的速度传输,传输完1路24小时的录像文件需要48小时。

  通过千兆网络可能达到500Mb/S的速度,但考虑到大部分存储使用普通硬盘上,硬盘的IO瓶颈使实际的传输达不到这样的速度,假设为100Mb/S,以这样的速度传输,需要30分钟左右。如果串行传输完100路,需要3000分钟。

  如果不用网络传输数据,以更为原始的插拔硬盘集中的方式,则需要更多的人力、运输成本,还不考虑插拔对硬盘带来可能的损伤。

  对于集中式存储则没有这个问题,但本文并非讨论分布式存储和集中式存储的优劣,不进一步展开分析。

  这三个问题中,随着国标的推出,各厂家的标准化工作推进,以及部分有研发实力的高兼容性软件的实现,第一个问题可以逐步解决或者不成为问题,其它两个问题在现有框架和技术下成为海量视频数据检索的最大障碍。

  我们回过头来考虑视频数据的检索本身,我们需要在视频中检索什么?绝大大部分情况下,视频画面中运动的物体才是我们关注的目标,也正是需要检索的对象。针对这一点,我们可以把视频数据分为两种:有运动目标的视频数据和静止场景视频数据。这就是提升海量视频数据检索速度的第一个方法:

  有效视频数据提取

  该方法的技术基石是图像分析技术中的移动侦测技术。该技术在业界已经比较成熟。移动侦测我们可以在前端设备中完成,也可以通过后端处理来执行。以24小时录像来说,闹市区场景的录像可能有1/3左右的录像是无运动目标;而郊区场景的录像可能有2/3左右的录像是无运动目标,在检索视频数据时,我们只需要观看有运动目标的视频数据即可,无论是1/3或2/3,均能显著降低所需检索视频数据的大小。

  但是,在执行完视频浓缩后,似乎又陷入了人海战术的困境。如今,智能化监控大行其道,我们的智能分析算法能为视频检索带来什么呢?目前,业界推出的智能产品已经有周界防范、车牌识别、人脸识别等较成熟产品,在这些产品里面,触发周界防范规则的物体,被识别的车牌和人脸,都可作为视频检索的输入检索条件。智能算法可以集成在前端嵌入式设备中,也可以在后端设备中进行视频数据的分析。除了利用移动侦测技术外,这里提出提升海量数据检索速度的第二个方法:

  基于智能视频分析算法的检索

  前面提到,一段24小时的录像,人工查看即使用4倍速查看也需要6小时,而利用计算机通过智能视频分析算法进行视频的自动检索,检索的速度则取决于视频解码和分析算法的运行速度。我们以对4cif的视频数据执行周界防范算法为例,一帧视频数据解码加上算法执行的平均时间可以控制在10ms左右,也就是相当于4倍速。同样四倍速,一个是不知疲倦的计算机,一个是极易疲倦和出错的人脑。孰优孰劣,一目了然。

  然而,利用计算机进行视频数据自动分析及检索,引出了海量数据快速视频检索的一大挑战,视频数据解码及智能视频分析算法将消耗大量的计算资源,计算机的性能瓶颈将严重制约海量数据的检索速度,检索效率还是无法得到有效的提升。如果我们检索对象是海量视频数据经过解码并通过智能算法分析后输出的智能源数据(MetaData),检索速度将大大提高。这里提出提升海量数据检索速度的第三个方法,也是关键性的方法。

  基于视频数据的元数据的检索

  如果我们把1段24小时的录像,经过解码,智能分析,把获取到的智能元数据都存储下来,对元数据的查询速度可以达到十秒的量级。

  我们来回顾一段24小时录像文件的查询速度提升过程:人工,正常速度查询,24小时;人工,四倍速查询,6小时;视频浓缩后,人工四倍速查询,3小时左右;视频浓缩后,基于智能分析算法查询,3小时左右;基于视频数据的元数据查询,十秒量级。

  可以看到,最后一步才是质的提升,检索速度量级的飞跃。到此,看上去很美,真的这么美吗?基于元数据的查询存在哪些问题呢?

  移动侦测算法虽然比较成熟,但对于飞虫干扰、灯光干扰、树叶抖动等问题目前还没有特别有效的解决办法;基于智能分析算法的检索,比如车牌识别、人脸识别,对视频数据的场景要求比较高,普通的治安监控视频基本无法执行这种分析。对于视频场景适应性相对较好的周界防范,行为分析算法来说,虽然能较为准确分析出目标,但是对于目标进一步的分类,比如人、物、非机动车、机动车、目标的属性特征,比如颜色、纹理、形状等,目前还是业界面临的技术难题。

  虽然有上述两大难题,随着元数据的标准化,以及前端设备实时产生元数据和后处理产生元数据两种机制和产品的并存,基于元数据的检索必然会成为海量视频数据检索的主流。

该文观点仅代表作者,本站仅提供信息存储空间服务,转载请注明出处。若需了解详细的安防行业方案,或有其它建议反馈,欢迎联系我们

(0)

相关推荐

  • 2013云存储在安防领域的应用分析

    安防领域的“云监控”是指充分借鉴IT行业发展过程中的云计算、云存储、数据中心、商业智能等技术理念,针对监控等多媒体业务的数据中心架构与技术进行优化设计与开发,通过安防大联网实践,促使整体架构具备健壮性、可扩展、可运行性、标准化的特点,实现视频数据愈来愈集中化并进一步实现数据的情报化和信息化,让管理和操作更加高效简单,最终实现TCO总成本的不断降低,推动了监控行业整体向IT云计算时代不断演进和发展。

    2026年4月11日
  • 彩讯科技超窄边液晶拼接墙应用于山西长治某煤矿

    彩讯科技为山西长治某煤矿提供3行11列液晶拼接墙,配备自主研发的处理器,支持多路信号输入,并结合各个前端视频采集设备,实时监控区域视频,降低安全隐患。

    2026年4月11日
  • DVR市场发展趋势与发展方向剖解

    DVR本身不只是一个独立的产品,还是一个系统的中的重要节点。从历史原因来说,DVR经历市场长期考验及通过技术的不断改进,现今技术已相当成熟,用户和工程商的认可度非常高。用户和工程商非常注重产品的性价比、操作简便性、实用性,现在市场上的DVR物美价廉、操作简单、对用户的技术要求不高,支持TCP/IP协议的 DVR的推出在很大程度上增强了传统DVR的传输、联网功能,配合管理平台使用,基本解决了目前客户的大部分需求。

    2026年4月11日
  • 智能交通:技术发展趋势与高清应用分析

    高清卡口及电子警察提出已有几年时间,但真正应用起来不过在最近两年。系统不但具备工控式高清产品,还具备嵌入式高清产品,并且用一个平台对各种前端数据进行统一处理。平台使用websphere做为应用程序服务器,采用oracle做为数据库,完全超越公安部对于系统安全性能要求。

    2026年4月11日
  • 安防应用:双绞线传输优势与布线方式

    双绞线的使用由来已久,电话传输使用的就是双绞线,在很多工业控制系统中和干扰较大的场所以及远距离传输中都使用了双绞线,我们今天广泛使用的局域网也是使用双绞线对。双绞线之所以使用如此广泛,是因为它具有抗干扰能力强、传输距离远、布线容易、价格低廉等许多优点。

    2026年4月11日
  • 基于多目标识别跟踪技术的监控应用

    近年的视频监控市场中,高速智能跟踪球机成为热点产品,其所具有的智能分析、自动跟踪、大范围监控等技术特点,非常适用于具有高安防等级、地域开阔、目标稀少等特点的应用场合,在平安城市、道路、机场等领域得到广泛应用。随着技术及需求的深入发展,多目标识别与跟踪技术已逐渐从实验室走向了应用,并呈现出更加丰富的应用方式和广阔的市场前景。

    2026年4月11日