海量数据处理技术在智能交通中的应用

【安防在线 www.anfang.cn】
　　一、引言

　　伴随着经济增长和城市化进程的加快，新的城市交通基础设施不断兴建，车流量快速增长，相应的智能交通综合系统也需一再扩容。在监控系统越来越庞大、监控信息越来越多的情况下，单纯依赖有限的交管人力资源或是在原有的系统基础之上做扩充来实现，几乎是不可能的事情。为了应对当前经济迅速增长和城市化进程加快过程中所凸显出的道路拥堵、交通事故频发、突发案件增多等状况，借助于更便捷、更智能的科技手段，来加强安全防范和交通管理就显得至关重要。

　　二、交通领域引进海量数据处理技术

　　针对交通行业的海量数据处理需求，北京博瑞凯诚等一批专注于智能交通领域的高科技企业纷纷利用当今最前沿的智能视频技术，设计研制了智能交通综合管理系统，解决了交通行业目前面临的数据处理难题。本公司设计的智能交通管理系统可以在海量数据、恶劣网络环境和复杂业务处理情况下，实现大量图片、车辆数据、视频数据的时时网络传输和快速持久化存储，同时对任意站点的图像进行显示，对任意站点的视频进行流畅播放、实时进行比对报警，快速进行多条件检索，并且将各类多媒体数据和车辆数据合二为一。系统实现对目前的城市道路交通中异常行为的智能识别和自动报警等，从而减轻了交管监控人员的工作负担，提高了监测的准确度，使得交通管理工作更高效。

　　下面以博瑞凯诚智能交通管理系统(以下统称“博瑞系统”)为例，介绍和分析海量数据处理技术在智能交通综合管理系统上的应用。

　　三、博瑞系统设计应用

　　1、总体设计及其优点

　　博瑞系统充分发挥了前端摄像机的潜力，同时通过提高传统以太网的使用效率，实现了前端摄像机的功能多样化，同时提高了大量并发的视频和图片数据的传输和存储效率。

　　(1)提高前端设备在线率，通过改进前端设备的硬件软件，提高了设备的可靠性，丰富前端设备的功能，前端摄像机除了具备视频采集功能外，具备了车辆号牌识别，车型识别，车辆颜色识别，车辆超速检测，视频和图片长时间存储的功能。

　　(2)提高网络传输的效率，解决网络传输瓶颈，传统的以太网存在网络带宽利用率低的弊病，通过改进，使的网络传输发生了本质的提升，保证时时的视频和图片传输，避免交通高峰期带来的信息堆积和网络阻塞问题。

　　(3)使用分布式数据存储，增加存储容量，提高存储性能，通过使用分布式存储，加快了存储的速度，有效避免了存储瓶颈带来的存储压力，配合快速的网络传输，实现了数据的最短时间持久化。

　　(4)平台数据分流，使用分布式的存储理念和分布式数据库，加快数据库的反应速度，避免了海量数据过度集中带来的一系列数据库问题。提高后端各个服务的反应速度，进而提升了整体平台的反应速度和用户的使用体验。

　　(1)通过有效提高前端设备的各方面性能，增加更多的识别功能，增加数据库记录功能，实际上有效降低了用户的采购成本，一个设备实现了多项功能，有效降低了平台的数量，降低了一系列的采购、维护、运行和后续的成本。

　　(2)通过提高现有网络设备的传输效率，在现有网络上实现快速传输，解决网络瓶颈，能够带来更加快速的应用体验，提高整体基础数据的服务质量。

　　(3)通过使用分布式存储代替现有的中心节点存储，分散存储压力，分散了数据风险，带来的优势是延长了数据的保存时间，减小了数据丢失的风险，提高了每一个关键数据的访问速度。

　　(4)通过使用新的数据库Hbase1和嵌入式数据库SDB，通过分布式数据库，分流平台数据，提高数据库系统的性能，同时也提高了所有应用的服务质量，提供给用户更加快捷的应用体验，提高工作效率和服务水准。

　　2、应用实现

　　(1)增加前端设备的功能提高前端设备稳定性。

　　由普清到高清的转变过程中，大数据量的存储是智能交通行业普遍面临的难题。博瑞凯诚最新研制推出的新一代嵌入式高清智能相机，采用一体化设计模式，在每一个相机里面配置1T硬盘，用于存储数据。前端机配置大硬盘解决存储问题，不仅保证了数据的安全性同时保证了数据调取的高效性。

　　(2)在网络传输算法中使用基于DNA包的网络传输算法解决网络瓶颈。

　　基于DNA包的网络传输算法的优势：解决了基于传统网络带宽占用(利用率)低的问题。传统TCP采用了反复连接、慢启动、动态滑动窗口、定时重传、拥塞控制等技术以确保数据的可靠传输，但却严重降低了带宽的利用率和传输效率。对此，提出了基于DNA包传输算法，采用先进的传输机制，极大地提高了网络带宽利用率和传输效率。

　　博瑞系统改进了传统TCP的Karn算法，引入了针对网络数据的快速发送机制。独特的网络拥塞自动调节。有时网络会很忙，因为它要发送大量的数据包，网络设备会因为接收和处理大量的数据包而超负荷工作，通过DNA信令包进行设备间的命令传递，网络设备以此为依据，采用高效的拥塞自动调节技术避免网络拥塞。

　　(3)分布式存储分担中心存储压力、分布式数据库分流中心数据。(见图1)

　　中心存储设备和分局存储设备采用分布式微服务器。由公司自主研发独创推出的分布式微服务器(见图2)，打破了目前整个业界普遍采用的高端服务器外挂磁盘阵列的架构模式，该服务器是将原来的大数据集中式处理，拆分成小模块单独处理，大大提高了数据调取和业务处理的效率，利用该服务器可以实现真正意义上的分布式。另外其体积小，存放方便;成本低，在原来高端服务器外挂磁盘阵列的架构模式上至少可降低30%的采购成本;外观简单，无需外挂存储等设备。

　　中心数据库Hbase1和SDB。图片数据的增加，使传统的单一服务器和高性能服务器方案，不能同时满足高速读，高速写，高速检索的要求，原因是由于单一服务器的磁盘io和cpu内存资源，相对存在极限，即使是强悍的服务器配置，仍然存在性能方面的极限，并且该极限无法变动。海量数据库使用分布式理念处理海量数据，分布式的核心思想是把一个巨大的问题拆分成若干小型问题，拆分完成后同时在不同计算机上处理各个小型问题，最终完成大型问题的计算。图片数据存储和图片数据检索符合分布式处理的原则，能够使用分布式思想解决。

　　新数据库方案中心使用Hbase1作为中心数据库,使用前端设备嵌入式数据库SDB(smalldatabase)作为备用检索数据库(见图2)，通过分布式的读写和检索，满足高速读、写、检索的需求，有效降低系统的整体负担。

　　Hbase1针对过亿条目的数据库，进行分布式计算处理，分布式计算(云计算)有效的提高数据的安全性和数据的检索速度，云计算的第一原则要求：可以进行云计算的问题必须是可以并行处理的，Hbase1的基础是Hbase+hadoop+HDFS以及map_reduce模型，该架构完全支持并行处理，使用Hbase1分布式的处理问题，将大型的问题拆分成并行处理的小问题，将海量图片数据的搜索，转变成大量的子搜索处理，提高图片数据库的处理速度。

　　SDB是基于嵌入式系统的小型专用数据库，前端设备具备存储和计算能力，前端设备进行数据检索，能有效利用前端设备剩余资源。基于该原则，我们在前端设备中植入嵌入式的数据库系统SDB，SDB系统提供自身存储的数据查询，SDB查询速度快，不消耗中心资源。

　　SDB是基于嵌入式系统的小型专用数据库，前端设备具备存储和计算能力，前端设备进行数据检索，能有效利用前端设备剩余资源。基于该原则，我们在前端设备中植入嵌入式的数据库系统SDB，SDB系统提供自身存储的数据查询，SDB查询速度快，不消耗中心资源。