什么是大数据?

　　

　　关于大数据的定义，当前不同的行业有不同的声音。有人说，大数据是量特别大的数据，以前是TB级别，现在是PB级别;也有人说，大数据是以Hadoop为代表的新技术，它能够处理海量的数据。这几种说法都显得有些片面，一个强调数据，一个强调技术。麦肯锡对大数据定义了“4V”特征，同时对大数据作出定义：“大数据是指数据集的大小超过了现有典型的数据库软件和工具的处理能力，与此同时，及时捕捉、存储、聚合、管理这些大数据以及对数据的深度分析的新技术和新能力，正在快速增长，就像预测计算芯片增长速度的摩尔定律一样。”麦肯锡的定义涵盖了数据和技术，然而，随着大数据的发展，这样的定义也无法完全诠释大数据的内涵。我们说，大数据不仅有数据，有技术，更重要的是它能够提供更好的服务。大数据能够对海量的数据进行深度关联分析，进而对事物的发展趋势作出预测，这也是大数据的核心所在，大数据能够将数学算法运用到海量的数据上来预测事情发生的可能性。

　　

　　《大数据时代》一书指出：大数据的精髓在于我们分析数据时的三个转变，这些转变将有助于我们对大数据的深入理解。

　　

　　一、在大数据时代，我们可以分析数据的全集，而非数据的采样。数据的量变可以产生质变，同时可以弥补算法带来的不足。且看以下案例，在Word程序的语法检查中，有一种简单的算法，当数据量只有500万时，该算法表现很差，但当数据量达到10亿级别时，该算法的表现最优异;相反，有一种复杂的算法，在500万数据量时表现最好，但在10亿级别数据量时效果不如简单的算法。

　　

　　二、大数据下的数据如此之多，以至于我们不再热衷于追求精确度。在信息缺乏的时代，我们往往追求数据的精确度;在大数据时代，数据量如此之大，数据种类如此繁多，我们无法保证每个数据都是精确的，然而只要保证大部分的数据是精确的，就不会影响分析结果的可靠性。

　　

　　三、在大数据时代，我们更加关心相关关系，而非因果关系。沃尔玛的分析系统发现，啤酒与尿布的销售量存在一定的相关关系。根据分析结果，沃尔玛将尿布和啤酒这两种风马牛不相及的商品摆在一起，结果神奇地发现尿布和啤酒的销量都增加了。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。在这个案例中，我们找到了它的原因，但更多时候，我们找不到原因，而实际上我们也无需去关心它的原因，因为从相关关系的分析结果中，我们就能从中获益。

　　

　　大数据发展现状

　　

　　大数据是时下最热的一门技术，2012年，科技部的《中国云科技发展“十二五”专项规划》和工信部的《物联网“十二五”发展规划》都将大数据技术作为一项重点予以支持。

　　

　　在IT领域，大数据的发展已相当成熟。如Google公司利用超过30亿条用户的指令成功预测流感的传播，利用上万亿的语料库为用户提供相对精确的翻译;亚马逊根据以往的信息预测用户感兴趣的书籍;淘宝根据用户的购物行为精确地推送广告;等等。

　　

　　然而，在安防领域，大数据还处于萌芽和探索阶段。

　　

　　首先，安防行业正在逐渐进入大数据时代。随着城市进程的不断发展，信息化建设的不断深入，数据正在以几何级的速度快速增长，传统的系统或工具已无法有效处理如此海量的数据。比如，交通卡口数据，以前是千万条级别，现在的情况是：一个区县一年的卡口数据能够达到十亿级别，一个地级市一年的卡口数据甚至能够达到百亿级别，一个省的数据就更大了，面对如此庞大的数据，传统的系统显得束手无策，即使一条简单的查询命令，响应时间也会变得非常慢，更不要说分析、统计等功能了。同时，越来越多的用户对大数据提出了更高的要求，比如公安用户，他们掌握了大量的数据，类型繁多，数据量大，他们要求能够通过海量数据的分析，达到预测预警的作用，进而能够将公安业务从事后分析向事前预测转变。

　　

　　其次，一些安防企业正在接触大数据，并有了初步的探索和应用。早在2012年，海康威视就涉足大数据，基于Hadoop进行开发优化并推行大数据解决方案，满足海量数据高效处理的要求。当前，海康威视基于大数据技术的产品有：视频云存储，能够满足100PB数据的存储;视频图像信息数据库，能够针对海量的案事件数据进行快速检索;交通卡口大数据平台，能够针对海量的卡口数据进行快速检索、智能研判、统计分析，部分研判功能可用于刑事案件的侦察及预警。此外，像博康、宇视等安防企业，也在迎头赶上大数据的发展步伐。

　　

　　安防大数据核心技术分析

　　

　　IT领域的大数据发展已相当成熟，其中的许多技术可以借鉴运用到安防领域中。但是，安防行业存在与IT行业不一样的地方，主要是数据的类型。在IT行业中，大数据的分析对象往往是日志、用户行为信息、网页索引等数据，是计算机可以识别的结构化数据;而安防行业中，大数据需要分析的对象主要是视频、图片、音频等非结构化数据，计算机无法直接对这些数据进行分析，而是需要先提取出其中的结构化信息，再进行分析。

　　

　　大数据的基础技术可以从IT领域借鉴到安防领域，具体包括如下这些技术：一、分布式文件系统，负责海量数据存储，将数据分散存储在多台独立的设备上，系统采用可扩展的体系结构，利用多台存储服务器分担存储负荷，利用元数据服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展;二、分布式数据库，面向列的实时分布式数据库，适合构建高并发低延时的在线数据服务系统，用于存储粗粒度的结构化数据;三、分布式计算，负责将一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果;四、全文检索引擎，负责对海量数据进行稳定、可靠、快速实时检索;五、内存计算，通过分布式的内存计算，能够对海量数据更加快速地分析处理;六、流计算，负责对流媒体数据进行分析处理。基于以上这些技术，能够对已结构化的数据进行快速处理，解决对海量数据处理效率上的问题。

　　

　　然而，正如上面所说，安防行业中最多的数据不是结构化数据，而是非结构化数据，如何从这些非结构化数据中提取出结构化信息，是首先需要解决的关键点。在视频图像中可以提取的结构化信息包括如下内容：

　　

　　一、人、车、物的特征信息，人的特征信息包括性别、年龄段、身高、体型、肤色、是否佩戴眼镜、发型、服饰特征、携带物等，车的特征信息包括车牌号码、车牌颜色、车牌类型、车辆类型、车身颜色、车标、车上人员信息等，物体的特征信息包括物品颜色、形状、大小、纹理特征等;

　　

　　二、行为信息，如穿越警戒面、进入/离开区域、区域入侵、人员徘徊、人员聚集等。当提取出这些数据后，就可以进一步进行深入分析，如对车辆的轨迹分析，对人的异常行为分析。所以，智能分析技术在安防大数据中显得格外重要，是实现安防大数据的基础。

　　

　　整合了大量的数据之后，就需要挖掘数据的深度价值。数据的真实价值就像海洋中的冰山，第一眼只能看到冰山一角，而绝大部分则是隐藏于表面之下。预测是大数据的核心价值所在，深度关联分析算法便是实现大数据价值的必要手段。数据分析算法就像是钻头，需要从大数据这座神奇的钻石矿中挖掘出真正的钻石。

　　

　　安防大数据面临的问题

　　

　　随着大数据的发展，许多问题逐渐暴露出来，主要表现在以下几点：

　　

　　(1)智能分析技术不够成熟。视频图像数据的结构化是实现安防大数据基础，当前，交通卡口的车辆信息提取技术较为成熟，但是，像人体信息提取、人脸比对等技术还不够成熟。

　　

　　(2)数据应用不够深入。当整合足够多的数据后，如何利用这些数据进行预测分析、趋势分析，几乎是当前应用模式上的空白。当然，其中也有一些可以借鉴的例子，比如卡口大数据系统，它可以对过车数据进行深度的智能研判：区域碰撞、轨迹分析、跟车研判等，这有助于刑侦破案效率的大幅提升。

　　

　　(3)数据共享不够广泛。特别是政府、公安、交通等部门中，信息孤岛普遍存在，这主要是由于体制问题造成的，并不是技术上的问题，很难由企业来改变这个现状，只能由相关部门贯彻推行并作出改变。

　　

　　(4)标准化建设不够全面。这主要是由于大数据还处于起步阶段，还需要更深入的探索和尝试。在标准化建设方面，如数据标准规范、互联互通标准规范、数据应用模式标准规范等，需要不断进行总结，并逐渐标准化。

　　

　　安防大数据发展趋势

　　

　　在安防行业未来的发展中，大数据势必会占据越来越重要的地位。面对发展过程中出现的问题，当前的首要任务是能够逐步解决这些问题，并不断完善安防大数据方案。

　　

　　(1)技术创新。首先，视频数据的结构化，通过智能化技术，能够从视频图像中提取出人、车、物等特征信息，通过提取并整合这些信息，能够方便的对视频数据进行检索、以图搜图、深度关联分析。当这些技术得以实现，视频数据的应用效率会大幅提升，而且可以为视频数据的深入应用奠定基础。其次，大数据处理技术。视频数据结构化后，成为可以被计算机识别的数据，当越来越多的数据汇集之后，传统的技术或系统已无法进行有效处理，此时，必须采用大数据技术才能对这些海量的数据进行处理。大数据技术包括分布式文件系统、分布式数据库、全文搜索引擎、分布式计算、内存计算、流计算等，具备优异的可靠性、扩展性及处理性能，能够针对海量数据进行快速分析、挖掘，为用户提供更好的服务。

　　

　　(2)业务创新。有了经过结构化后的海量视频数据，通过大数据技术，可以对这些海量数据进行深度挖掘，可以做到预测及趋势分析，但是相关的业务模型还需要不断探索和创新。如公安部门，视频侦查在当前来说只能是一种辅助手段，如果采用大数据技术后能够进行预测预警，那么视频侦查将会成为一种非常重要的手段，通过视侦技术，能够减少案件发生率、提高破案率。

　　

　　(3)体制改善。更多的数据能够产生更大的价值，为了能够整合更多的数据，必须消除信息孤岛，而这在政府部门是客观存在的一个难题。当然，在智慧城市的推动下，这一局面已有所改观，越来越多的政府部门意识到数据共享的重要性。但是，要真正实现大数据的集中和共享，还有很长的路要走。

　　

　　(4)标准完善。海量数据的整合离不开标准化的过程，在标准化过程中，需要重点考虑以下几点：一、数据结构化标准规范，包括哪些数据需要结构化、结构化的数据如何表示、如何设计字典规范、如何设计数据库表等等，通过标准的结构化数据，所有系统都能够识别并处理;二、数据互联互通标准规范，包括平台与前端之间如何互联互通、平台与平台之间如何互联互通等。前端可以对视频数据进行结构化，后台也可以对视频数据进行结构化，前端和后台需要相互协作，那么前端如何告知后台哪些数据已经结构化了，哪些数据还需进一步结构化，就需要标准来规范;三、数据应用的标准规范，包括数据的服务模式、类型、规则等等。如大数据平台对海量数据进行清洗分类、深度挖掘之后，需要对上层的业务应用提供服务，这种服务就需要通过标准化的接口提供出去。

　　

　　大数据助力安防行业的发展

　　

　　大数据在安防行业中会有一个从起步，到发展并成熟的过程。当前处于起步阶段，有部分智能分析技术，并通过大数据技术解决了海量数据的处理效率问题;在发展阶段，智能分析技术会不断成熟，并会不断出现创新的数据应用;在成熟阶段，智能分析技术相当成熟，并有系统的数据深度应用。大数据助力安防行业的发展，主要体现在以下几个方面：

　　

　　一、数据应用效率不断提升。通过智能分析技术、大数据技术，能够使视频数据的应用效率不断提升，解决以往应用效率低下的问题。应用效率的提升能够使视频数据产生更大的价值。

　　

　　二、数据深度应用。数据的深度应用能够体现大数据的真正价值，而这也更能提升安防系统的整体实力，使视频数据的边缘地位向核心地位靠拢，使安防行业的竞争力得到提升。

　　

　　三、体制及标准的完善。标准和体制的完善能够进一步促进大数据的发展，而掌握标准的安防企业将会有更强大的话语权。

　　

　　大数据能够构建更加智慧的系统，能够转变我国安防系统建设中“重建设、轻应用”的现状，有助于进一步提升公共安全部门的核心战斗力，进一步夯实社会稳定基础。