第四章 新技术、新产品、新应用
“低照技术”精彩角逐中的新看点

/吴迪 天地伟业技术有限公司

 

  安防产业发展可以分为三个阶段:给人看——解决“看得清”的问题,产业以PQ(Picture Quality,图像质量)拉动,2018年之前处于此阶段;帮人看——解决“看得懂”的问题,产业以PQ+AI双轮驱动,目前处于此阶段;给机器看——完全释放人力,产业以AI+App(Application,应用)场景化带动,预计2020年以后进入此阶段。低照技术是PQ时代的核心产物,随着技术的不断迭代,也正在为AI时代的全面到来提供优质的图像质量保证。

  低照技术在安防行业已经火了好几年,目前发展逐渐接近成熟,各家的效果差异正在逐步减小,原来的核心技术主要掌握在天地伟业、海康、大华等一线品牌手中,同时如中维或模组厂家也进步飞快,让低照产品的竞争变得更加白热化,正因如此,低照的迭代升级才变得更加迫切,这个过程中也不断涌现出新的看点。

  一、看概念:低照技术的前世今生

  低照技术的每一次升级都伴随着一次新概念的包装,这些概念来自当时的核心技术厂商。“低照技术”的前身是“红外成像技术”。传统的摄像机在夜晚都是红外灯补光,呈现出来的是黑白效果。这些录像对事件的查看造成很多不利影响,会丢失很多色彩信息和关键细节,于是“低照度技术”应运而生。这个概念始于2014年,是指摄像机在照度较低时,图像的清晰度和噪点抑制能力都有较好表现。在2015年发展成为“星光级技术”,并在行业内流传开来。何谓星光?星光级技术亮点就是低照度和大靶面,可以彻底解决摄像机低照效果差的问题,通常意义下,星光级技术是让摄像机在照度低至0002Lux的环境光下,依旧能够输出清晰彩色视频的技术。为什么叫星光级呢?因为在只有星星的光线、没有任何外界补光的夜晚,最低照度就是0002Lux。

  2015年低照技术经历了一代、二代的变革,在色彩还原、噪点抑制上有所提升;2016—2018年是低照技术飞速发展的阶段,各厂家开始推出低照技术的变种革新技术,如天地伟业推出的“超星光系列”、海康威视推出的“黑光摄像机”、大华推出的“极光系列”;2019年从分销市场刮来的一股“全彩风”再次引领行业,“暖光全彩”摄像机成为新的主流,模组厂家以天视通为首,品牌厂家以海康、天地伟业为首,通过对人造光源的合理利用,让星光更具实用性……当然,不管大家在概念层面如何竞争,技术的核心目的是一致的,而且客户的眼睛是雪亮的,能拿出出色的夜视效果才是关键,低照技术正在不断向实用化发展,行业内基于此的竞争也会不断加剧。那么下一个低照概念是什么,谁又能再次引领“低照技术”的发展,我们拭目以待。

一代星光效果            二代星光效果

图1  一代和二代星光效果



极低照度下iPhoneX拍摄的现场情况         超星光4.0效果     

图2  超星光4.0效果与苹果极暗拍摄对比



 相同照度下普通摄像机效果            暖光全彩摄像机的动态视频截图

图3  普通摄像机与暖光全彩摄像机对比

  二、看技术:研发低照摄像机的难点

  如今,几乎任何安防厂家都有自己的星光产品线,但在星光效果的表现上却参差不齐,这取决于不同厂家对“低照技术”的积淀程度不同,也从另一方面体现了研发星光摄像机并不是如组装积木那样简单。

  1.光路设计原理

  光路设计,是指光线从自然界到在摄像机上最终成像经历的路径以及路径上主要部件的选型,这是决定星光摄像机效果的首要因素。影响摄像机成像效果的主要部件是镜头和传感器,因此这两者的选型和调校就显得尤为重要。

  镜头是摄像机成像的第一个光学部件。镜头的最大光圈是其中很重要的一个因素,光圈越大进光量越大,从而彩色效果越好,反之则效果越差,但镜头光圈越大,景深却越浅,即场景中聚焦清晰的范围越小,所以要在进光量与景深之间找到一个平衡点。与此类似的另一个参数是摄像机快门,快门越慢,进光量越大,画面亮度越高,但相对的运动物体的拖影也越严重,所以快门值也是把双刃剑,需要根据具体应用场景匹配相应的值。此外镜头的材质也会影响效果,如玻璃镜头成像色彩逼真、稳定;塑料镜头虽然经济性好但是容易出现虚焦等问题。在不同规格的镜头中作选择是很多安防厂家经常遇到的难题,以天地伟业超星光30为例,其采用F095超大光圈、超低色散的全玻璃镜头,并配合快门自适应技术实现夜视效果的最佳匹配。

  传感器(sensor)是将光学信号转换成数字信号的部件。目前主流的前端产品(IPC或球机)都采用CMOS传感器,虽然在刚起步时,由于两种传感器结构及工作机理不同,CMOS在低照下的成像效果不如CCD,但随着背照式CMOS的推出,其内部结构做了调整,光线通过透镜后能直接到达感光面,使灵敏度有了质的飞跃。而传感器灵敏度正是摄像机在微弱环境光中依然能获得清晰彩色图像的最大保障,上面提到的感光面及靶面,靶面越大,其光学灵敏度就越高,就能捕捉到环境中零星的光线完成成像。

  基于如上的硬件平台,我们就可以设计成像的光路了,是否搭配红外或白光来补光,是选择单sensor、单镜头、双sensor单镜头,还是单sensor双镜头,抑或双sensor双镜头,这些考量都会直接影响低照效果。不同架构都会有各自的优缺点,可能是成本上的,也可能是效果上的。如通过红外补光虽然可以应付一些极端的无光环境,但是开启红外后会丢失颜色信息,而通过白光补光可以保留颜色信息,但会一定程度上降低图像的通透度,但这可以通过ISP的调节来改善,因此白光补光会是一个趋势,如天地伟业的警戒系列。虽然多sensor或多镜头会提升摄像机的光敏感度,但成本也会增加,也会在颜色矫正等因素上引入新的难题。

  困难越多,方法就越多,实际上海康威视、天地伟业等厂家已经探索出单镜头双sensor的成熟方案,以天地伟业推出的超星光40为例,它代表了PQ时代的最高技术,通过颠覆式双光路设计使像素级逐帧融合可实现无光全彩;驭光级光通控制技术是最新一代硬件方案组合,使用最先进的传感器工艺,通光量提升30%,极限光路设计,全波长全光路增透,对环境光的感应达到极致。随着技术的积累,有些厂家已经开始投入单镜头单sensor的融合方案,保证可以实现双sensor无光全彩效果的同时,成本也会极大降低,为融合低照技术的普及奠定基础。

  2.原始辅助数据

  光路设计好了之后,就需要研发人员通过不断收集原始的视频数据来辅助效果调试,包括饱和度、色彩偏差、白平衡、信噪比、锐度数据、曝光参数、可视化数据等,这些原始数据非常可贵,一般情况下这些数据的理论值越理想,摄像机的实际效果也就越好。然而这些数据的采集不同厂家差别较大,有些小厂没有数据采集和分析过程,一切靠主观评价,效果波动较大,客观性较差,有些厂家采集数据的设备比较简陋,大多通过人工采集,数据准确性差且效率低,仅有少数厂家拥有自己的专业测试系统,所有数据均由软件自动生成,如海康威视、天地伟业等的Image test测试系统,它们所有指标都是通过这套系统测算,优劣一目了然,为研发人员的效果调试提供了强有力的指导,这也是这些主流厂家的低照效果一直独占鳌头的原因之一。

  3.ISP效果调试

  有了数据作指导,研发小组要做的最重要的一件事就是做ISP调试,经过不断的探索和试验,最终确定最合适的ISP参数组合,这些参数包括目标亮度值、快门、增益、白平衡、宽动态、饱和度、锐度、降噪等多项指标。这些参数的取得除了靠理论数据,还要依据反复的实测与厚重的经验积累,需要有一支庞大且有经验的测试和研发队伍来完成,这支队伍的价值就是“低照技术”的核心竞争力。

  如图4所示,以天地伟业超星光40为例,看ISP效果调试是如何发挥作用的。

  (1)Smart帧预判技术。在保证低照亮度的同时,对场景识别后进行帧累积的智能预判,不会强制降帧,却能达到长曝光的效果。保证在同样的场景下,拖影、亮度、噪声达到一个完美的融合。

  (2)混搭式频空降噪技术。使用数字降噪进行频域降噪的同时,与空域降噪进行配合,避免简单使用频域降噪带来较大拖尾的风险。


ISP调整前                      ISP调整后       

图4  ISP调整前后图像对比       

  三、看应用:低照与其他技术的融合

  随着安防行业的飞速发展,监控摄像机从最初的视频采集设备逐步演化为具有更多附加值的智能化产品,人们希望它们的作用不仅局限于录像,而且要有一些深层次的应用,对“低照摄像机”来说也不例外,低照与其他技术相融合来解决更多的系统问题,这会是一个趋势。

  1.低照+车辆识别

  低照技术的渗入无疑为交通车牌识别的全天候使用提供了有力的技术支持,普通卡口或电警设备在夜晚或者路灯环境下,由于夜晚环境光的色温及光线阴影问题,会干扰摄像机车辆识别算法对车牌、车身颜色、车型的建模,给正常的抓拍和识别带来很大的影响,但低照技术的出现对这些问题的解决起到了事半功倍的效果。低照摄像机对环境亮度的要求较为宽松,适合照度较低的街道或小路,面对这种环境,低照摄像机利用独特的感光数据处理芯片,使整体视觉效果提升数倍,使原本暗淡的车牌颜色和车身颜色得到更加真实的还原,避免了由于灯光照射角度而导致的阴影问题,保证了车辆识别数据的真实有效,让车辆识别的环境适应能力更强,识别更准,而且让低照下提取驾驶员及副驾驶人脸清晰图片采集信息成为可能。同时采用无爆闪及环保卡口技术,有效避免了爆闪及常亮补光灯对司机的视觉影响,以免造成不必要的交通事故,如图5所示。

5  低照下车牌及驾驶员信息提取

  2.低照+深度学习

  2017—2018年,伴随着深度学习算法的成熟,人脸识别、人体识别、行为分析等技术再一次火起来,2019年人脸的普及率直线上升,人脸识别已经成为AI落地的最重要应用之一,低照技术的加持让人脸识别增色不少。深度学习算法模拟了人类神经网络思考问题的方式,其对事物抽象、概括能力的显著提升。将人脸算法与低照技术相结合,智能将如虎添翼,以人脸识别为例,低照技术可以为人脸识别系统提供更加清晰的夜间画面,脸部细节清晰可见、颜色信息完整保留,极大地提升了人脸识别算法在夜间的识别能力,使整套系统的夜视能力远超人眼辨识范围。

  3.低照+警戒

  传统安防更多关注事后的视频图像取证,或者事中的一些报警联动,然而这些都是基于危险事件、治安案件已经发生的事实,因此无法做到事前的主动安全防范和预警。天地伟业推出的警戒系列产品,提出“主动安防”的概念,当有危险苗头的时候,警戒前端会通过声音、白光、激光等组合方式对看守区域的人、物进行提醒或震慑,同时后端将这一信号放大,及时通知安保人员,将危险、治安案件消灭在萌芽状态。因为大多治安案件都是发生在晚上,所以低照配合警戒系统可以在夜间对入侵者产生极强震慑的同时,还能呈现最为通透亮丽的彩色画面,将“主动安防”发挥到极致,如图6所示。

6 低照配合警戒系统在夜间对入侵者产生极强震慑

  4.低照+多摄

  随着安防应用在不同领域的深化和细化,多摄(多目)系列摄像机应运而生。因其一台摄像机上融合了多个图像采集模块,因此视野更广、监控距离跨度更大,如天地伟业的全景摄像机,具备“8定+1动”的摄像机组合,实现全景与特写联动;海康威视的双变焦双仓摄像机,不同的采集模块可用于不同的智能场景;华为也推出了多摄系列产品,比如“2动+1定”的组合,适应场景更加多变。多摄融合技术大多都与低照技术搭配使用,因为越是这种复杂场景应用就越需要低照技术的低照效果保证,毕竟看得清是看得全的前提条件。

  四、看储备:下一代低照技术

  低照技术越是竞争激烈,就越能展现出它巨大的发展空间,低照技术一定会在更多的维度进化,所有厂家也是时候储备下一代低照技术了。

  1.智能低照

  所谓智能低照,是指可以在不同环境内都可以实现各项参数智能化自动调节,做到完全的场景自适应,以匹配最佳的低照效果。当前最优秀的低照摄像机在面对不同的光线、色温等环境时,也需要人工干预调整曝光、降噪等参数来被动适应环境的变化,无法做到完全自动化。这一现实由当前低照技术发展水平所限,因为要想实现智能低照需要更为复杂的算法和ISP底层环境适应支持,需要有更多的数据和经验积累,虽然困难,但低照技术的发展前景告诉我们这一定可以在不久的将来得以实现,就像我们现在已经实现快门、光圈、红外亮度等参数的自适应调节一样。

  2.融合低照

  如果单镜头、单sensor的单光路的效果遇到瓶颈,我们是否可以通过增加感光器件来实现感光效果的叠加呢?或者通过像素级的融合来实现每个像素点的亮度提升?答案是肯定的。这在理论上可行,不同的光路设计原理会有所差异,但核心都是通过多个感光将各自的感光能力进行累加,达到效果倍增的目的,让夜视能力达到极致,突破视觉极限。海康、大华、天地伟业也在单镜头多sensor上实现了产品化,但多sensor多镜头、多镜头单sensor、单镜头单sensor、四合一像素融合等技术还尚在实验室阶段,离大批量应用还有一段距离,效果、成本、场景这几个要素的不断平衡会催生出更多的新玩法。所有的研究成果在不久也许就会和大家见面,当然每家产品的原理和效果一定会有差异,谁会更加大胆,谁的效果会更好,我们把评判的权利交给时间。

  3.机器视觉星光:满帧甚至60fps超连贯星光

  低照摄像机夜视效果好的同时,有时也会伴随着一些副作用,如低照下拖尾、丢帧等问题。机器视觉低照旨在解决低照拖尾、丢帧问题,智能处理动态场景,让夜间动态视频更加连贯。如天地伟业TVP技术,针对动态运动场景可设定特殊的动作阈值,当超过该阈值系统会判断为运动场景,低于该阈值为静态场景。在运动场景中通过采取I帧动态补偿防止运动伪影,同时联动增益及时域、空域双边滤波降噪做动态处理,确保运动目标不拖尾、周边细节不丢失。

  4.高分辨率星光:高清、低照双丰收

  高清化是必然趋势,随着H265技术的普及,以及智能编码技术的革新,窄带高清已经不是梦想,用原来1080P的码率现在已经足够传输5MP甚至是4K的视频,因此4K及以上的星光、超星光产品会是不久后的趋势,当然如前文所述,安防的第二阶段是PQ与AI双轮驱动的时代,二者相辅相成,谁的需求更为迫切,谁的发展就相对快一些,相信当AI成熟到一定程度,更高分辨率的低照产品会为AI+安防带来新的活力,量变引起质的飞跃。

  五、结语

  每一次技术的革新总能引领一次行业的进步,五年前,我们不可能想象得到如今的摄像机在伸手不见五指的夜晚竟也能呈现清晰的彩色图像。低照技术近几年的发展也许才只是一个开始,在这新一轮的对弈中,每个参与者都不想掉队,因此所有厂家都会满怀诚意地奉上属于这个时代的星光豪礼,为AI赋能、为AI+安防赋能,作为安防人,我们应当为生活在这样的时代而感到自豪,因为它总会给我们一次又一次的惊喜!

上一篇:红外热成像技术与人工智能技术创新融合的探析    下一篇:AIoT技术在城市安防系统中的应用浅析