文/吴参毅 浙江宇视科技有限公司
一、数据中台的内涵
数据中台被誉为大数据的下一站,由阿里兴起,2015年阿里基于自己的实践提出“大中台,小前台”的概念,随后又不断深入实践优化形成“数据中台和业务中台”的双中台概念,由此提出数据中台的理论体系:方法论+组织+工具。换言之,要想实施好数据中台,一个组织需要依据一种方法使用一套工具,持续不断地落地实施数据中台。由于数据和业务是持续变化的,所以数据中台是个动态过程,也是个不断优化的过程。
业界对于数据中台普遍定义为:通过数据技术,对海量数据进行采集、计算、存储、加工处理,建立统一标准规范体系,形成大数据资产层,为各种业务应用场景提供统一高效的数据价值应用。
在各种组织和行业内,由于体制和机制的原因,各业务系统间相互独立,各业务系统虽已建立起大数据平台或者数据仓库,但仅用于满足自己业务系统的数据汇总和分析报表。这种烟囱模式数据孤岛相互独立,没有形成统一的元数据标准体系,没有对数据资产化,更没有深度挖掘数据价值。如图1所示,某个单位有三个业务部门,分别建立独立的大数据平台,汇聚各自业务部门的数据,使得各业务系统不仅给自己的业务系统应用平台提供数据查询功能,同时也可以给具备权限的其他业务系统应用平台提供数据查询功能。
图1 烟囱式数据孤岛
图2 典型数据中台模型
对典型的数据中台来讲,首先打破的是数据烟囱,对多个业务系统的数据进行统一汇总,为多个业务系统应用平台统一提供数据服务。在数据中台内部不仅进行简单的数据汇总,而且对数据进行统一的规划和处理,形成数据资产,对数据进行治理和分析处理。充分挖掘数据价值,提供超值的数据服务。
对于安防行业来说,中台模型可以理解为“双中台”模式:数据中台和应用中台。数据中台包含视频图像数据中台,应用中台包含视频图像应用中台。
图3 安防行业数据中台模型
二、云计算对于数据中台建设的作用
数据中台模型中的后台需具有云计算平台。根据数据中台中视频图像数据的规模程度,云计算平台也有所不同,云计算平台需和数据中台相匹配。需要部署公有云、专有云企业版、专有云敏捷PaaS。专有云敏捷PaaS的架构图如图4所示:
图4 专有云敏捷PaaS架构
容器可以部署在裸金属机上、虚拟机上,同时也兼容飞天云。上层平台基础服务/接入适配层提供底座中间件、资源申请、服务编排、运维监控、账号与权限、云安全、云存储、网络服务等通用功能模块。上层是必备的关系数据库、时序时空数据库等各种数据库服务,以及大数据服务。视频图像业务、支持视觉计算智能、视觉数据智能的异构架构。分布式应用、应用高可用服务、容器服务、全局事务服务、消息队列、业务实时监控服务等中间件应用。最后云平台通过API或SDK对外提供开放接口。
三、数据中台落地安防
1.数据中台的通用架构
数据中台的通用架构大体分为四个层次,即终端层、后台层、中台层和前台层。
图5 安防行业数据中台架构图
(1)终端层
终端层为各种视频图像信息采集终端设备,同时也包含各种物联信息采集单元。以采集视频图像信息为主,物联网信息为辅。视频流采集基于GB/T 28181或者ONVIF标准规范,视频片段、图像、文件,视频图像结构化信息等的采集基于GA/T 1400标准规范。
(2)后台层
后台层包含通用计算平台、智能计算平台、大数据平台、融合存储、消息总线、视频与网络安全、云平台和云安全。通用计算平台提供传统的CPU式的计算能力,包括流式计算、离线计算、内存计算、图计算等。智能计算平台提供AI人工智能计算能力,支持市面上各种异构GPU计算平台,并做统一调度。大数据平台支持关系数据库、图数据库等分布式数据库的创建。融合存储支持视频流录像、视频片段、图片的统一存储或云存储,还支持包括分布式文件系统、分布式列式数据库、图数据库、全文数据库等,提供视频图像信息和物联超感信息的存储、检索、分析能力。视频与网络安全支持基于GB/T 28181和GA/T 1400的安全接入接出和信令安全过滤。消息总线支持各平台间的异步通信缓存。云平台提供基于公有云或专有云部署场景下的云平台IaaS和PaaS能力。云安全提供基于云的安全能力。
(3)中台层
数据中台部分提供业务数据化能力和数据业务化能力。
①视频图像业务引擎提供视频流业务、视频图像结构化信息业务、信令调度控制、流媒体分发、录像回放控制、摄像机设备控制、视频流联网共享管理、GIS服务、视频图像信息订阅等视图库级联接口和分析接口(见GA/T 14004)服务。
②物联网业务引擎提供门禁、道闸、RFID、MAC、电子围栏等业务。
③视觉智能引擎提供基于视频流、视频片段和图像的结构化解析业务,从视频流、视频片段、图像中提取人员、人脸、机动车、非机动车、事件等对象及其特征属性信息。
④数据智能引擎提供视频图像结构化信息计算能力,包括人员行为分析、步态分析、结构化信息的精确检索和模糊检索,人像图片、车辆图片的1∶1比对、1∶N比对、M∶N比对、静态库比对和动态库比对,以图搜图、黑名单布控、灰白名单比对、图像聚类。同时建立过人结构化信息库、过人图片库、过车结构化信息库、过车图片库等原始库,人车等要素的关联库、关系库、分布库,形成一车一档、一人一档,建立人和人的关系图谱、人车关系图谱、人和单位关系图谱形成各种资源库,建立各种人员、车辆、单位的主题库,建立面向共性业务的业务库。
⑤数据可视化引擎提供对各种数据的可视化能力。对各种接入数据、接入数据的比对和态势可视化;各种原始库、资源库、主题库、业务库的存储情况可视化展示;库中各条目的数据元为空的统计情况、业务库的使用情况,实时动态的可视化能力。同时提供数据的血缘关系、数据的生命周期、数据权限的申请、审批和使用等管理信息的实时动态可视化能力。
⑥公有云引擎和专有云引擎提供基于公有云和专有云应用场景的云服务能力。
(4)前台层
前台层面向各种行业应用以及移动互联网App提供各种共性应用和专业应用。安防行业面向应用场景繁杂、需求众多,基于数据中台和业务中台的抽象能力,极大提高对各种行业应用场景的SAAS的响应效率和响应数量。使得SAAS人员专注于响应专业行业的业务需求,中台人员专注于共有数据的通用计算。中台提供能力,前台提供业务数据和响应效率。使得数据价值最大化、数据服务最优化。安防行业应用一般为:社会治安管理应用、应急指挥应用、智慧社区应用、智慧派出所应用、智慧交通应用、情报指挥应用、图侦应用等。基于中台的数据可视化引擎还提供各种显示大屏的渲染美化能力。
对数据中台和业务中台,最基础的就是需要建立一套统一的元数据、数据元、数据项标准规范体系,这样才可以实施全生命周期的数据治理,实现以资产的视角对数据进行管理,全生命周期的数据质量管理、数据安全监管、数据API管理。
数据中台相比于传统的大数据平台一个显著的区别在于,数据中台是一个动态的过程:数据业务化、业务数据化,且随着业务的不断变化、数据也是不断变化的。同时由于全生命周期的数据治理,所以需要建立专门的组织并制定专门的规章制度,保障数据中台的长期有效的实施,确保数据价值的不断实现。
2.数据中台的落地案例
落地于安防行业的数据中台规模,依据接入的视频图像规模设定。若接入熟路规模达到千万级别,相当于构建一个国家级别的数据中台;若接入路数为百万级别,相当于省级的数据中台;若接入路数为百路级别,则为派出所级别的数据中台。
规模越大,需要存储的数据量越大,计算量更大。对于派出所级别的数据中台,由于接入路数规模可控,视频图像覆盖的地图地域面积可控,计算规模较小,计算效率更高,可充分展示数据中台的优越性。下面以智慧派出所数据中台解决方案为例进行说明:
(1)以图搜图实现人员检索,按照人员相似度排列搜索结果,同时在地图中标示出人员轨迹。
(2)布控告警智能研判业务功能,基于视觉计算引擎和数据计算引擎,对接入视频图像结构化并检索对应的资源库和专题库,然后使用以图搜图、特征值比对等计算,可实现多维布控或规则布控,布控对象触发后即可告警,把告警信息推送到关联人后实施下一步动作。
图6 布控告警智能研判
(3)全域实时感知布控的预警、研判的战果等城市安全数据,在地图上可视化呈现,辅助抉择指挥。预警信息以可视化的方式展示在地图上,方便把握综合安保态势。研判的战果展示在地图上,可查看详情,便于战果的集中展示汇报。
(4)人员的所有同框记录,系统会进行自动统计,并按照次数和时间进行排序。将同框的人员,通过算法分类,进一步定义为同行,如跨摄像头同框、跨天同框等。将同行的人员,进行组织关系梳理,进一步明确组织内的人员管理图谱,从而进行可视化展现。通过组织发现功能,可以将辖区内的疑似犯罪团队推荐出来,人工判定是否正确,为民警提供大量犯罪团伙的线索。
四、结语
数据中台在安防行业的出现并非偶然,而是顺应行业的发展。安防行业数据中台的应用不仅在一定程度上削减行业内部的“数据治理之痛”,还为安防行业提高业务效率提供一臂之力。安防行业数据中台是一片蓝海,这个领域在未来一定会吸引越来越多的目光,迎来更快更好的发展。