近年来,我国轨道交通行业发展迅猛,由于其不占地面道路、客运量大、能耗低等优势,各城市积极投入轨道交通建设。同时,由于其安全可靠、快速便捷等特点,轨道交通也逐步成为市民出行的首选。截至2020年6月30日,中国内地已有41个城市开通了城市轨道交通,总长度达到6917.62公里。客运量方面,在疫情影响下,2020年6月全国总客运量仍达到了17.37亿人次,日均客运量5790.52万人次。
地铁车站作为地铁的关键节点,是地铁服务水平、管理上的水准、智能化水平的直接体现。随着巨量客流带来车站客运业务的巨大压力,当前车站客运业务人工处理为主,缺乏集成程度高、规范统一的智能化技术方法,当前线网客流不断攀升,单站客运服务压力日趋严峻。传统的自动化系统因建设阶段不同相互间较为孤立,业务执行需要操作多个终端。同时车站员工需要高频次在多区域执行人工巡检,并大量使用纸质台账和公告,智能化程度亟待提升。与此同时,随工业4.0、物联网、人工智能等前沿技术的快速发展及移动应用的快速普及,乘客需求也在一直在变化和拓展,信息获取的便利性、多样性,导向信息的及时性、准确性,乘坐体验的丰富性和多元性,被慢慢的变多的市民所关注。
为此宁波市轨道交通集团有限公司运营分公司作为宁波轨道交通的建筑设计企业和运营单位,与浙江大华技术股份有限公司联合完成了樱花公园站智慧车站样板点的打造,以车站智能视频图像分析系统为核心切入点,对传统视频监控系统来进行智能化改造,从提高车站智慧水平、提高车站运营效率和效益、改善乘客使用者真实的体验的方面出发,依托更多的先进的技术手段,使车站能够为地铁日常运营提供更高效的工作方式、更加优质的乘客自助服务以及更加智能的辅助决策。
宁波市城市快速轨道交通自2014年5月开通第一条线路运营以来,轨道交通建设规模迅速增加,城轨类型向网状辐射、城际延伸。据《宁波市城市快速轨道交通建设规划(2013-2020年)》显示,宁波市预计于2020年前形成轨道交通基本网,总里程可达172千米;预测线网形成后市区内部公交出行量达560万人次,占市区出行全方式比例为34.4%;轨道换乘系数为1.40,平均运距为11.7千米,客运强度为1.2万乘次/千米。
然而随着宁波市轨道交通的快速发展和客流量的激增,对轨道交通的压力也逐步增加,尤其是对运营管理和公共安全保障等方面的压力与日俱增。现阶段主要是通过长期的运营经验结合传统视频监控进行配合,但是随视频监控系统各上层单位管理的车站数量慢慢的变多,现有的传统视频监控系统面临着很大的挑战,大多数表现在:
在各管理单位监控室的空间存在限制,只可以通过轮换画面来监视所有的场景,不能同时获知全部视频图像的监控信息;
单车站的空间大、设备多、客流复杂,存在较多安全风险隐患,如旅客的异常行为(打架斗殴)、客流的拥挤踩踏、禁入区域的擅自闯入、自动化设备的突发故障等,通过传统视频轮播或者工作人员查看视频的方式已无法及时应对这些突发事件,同时对地铁安全管理人员造成的压力巨大,易产生不良社会影响;
随着地铁车站自动化、智能化的不断建设,如何提升乘坐体验多元性、信息获取便利多样性、乘客导向及时准确性、车站环境舒适性、广告投放整洁性、非常态旅客(老弱病残)便利性也成为地铁运营管理人需要考虑的重要问题,针对一些恶劣行为(如乘客逃票、尾随、插队等)急需提出解决办法;
虽然视频监控系统包含的信息量巨大,但现在对信息的利用率极小。因此,有必要研究在地铁环境中,如何利用智能视频分析来自动获得相关信息、并挖掘数据,为地铁运营管理、应急处置、安全防范等提供支撑和依据。
由此可见,需要基于已有的视频图像进行深入研究和分析,并结合各类技术应用有效缓解或解决以上问题,保障在轨道交通加快速度进行发展的趋势下仍能对车站做到合理管控,以免发生安全责任事故等情况。
随着时代的进步,视频监控技术覆盖了社会生活的方方面面。它的应用大概能分为2类,即使用领域和使用功能。在使用领域方面,各种行业几乎都会应用视频监控技术,举例来说,社区物业的管理、办公室的安全监控、停车场的安全监控;电厂、变电站的无人监控;电子信息管理中各种控制机房的远程监控;高速路收费站对来往车辆的监控,道路上对车流量和违章车辆的监控;公路、桥梁、铁路、机场的管理监控;公安破案、监狱管理和军事基地的安全防范;文件室、档案室、金融机构的监管和警报。在使用功能方面,视频监控技术被应用于工厂生产线监控、公共场所监管、医疗卫生监护和远程教育等,这是利用了视频监控的安全防范、信息捕获和管理指挥功能。
在视频监控技术发展的过程中,它经历过和正在经历以下过程:本地模拟图像监控—PC端多媒体监控—嵌入式视频服务器监控—智能视频监控。
(1)以矩阵为核心的传统模拟图像监控系统是第一代视频监控系统,摄像机、专用视频电缆、切换矩阵、监视器、模拟录像设施及盒式录像带等构成了系统。但此系统有范围小、距离短的监控局限。
(2)以硬盘录像机为代表的半数字化监控系统是第二代视频监控系统,此系统的明显特征是它能充分的发挥计算机技术的功能,让用户在浏览和管理方面获得更加人性化的技术上的支持。第二代技术解决了不少模拟矩阵技术的难题,它是第一代技术的拓展。
(3)以前端网络视频为代表的全数字视频监控系统是第三代视频监控系统,视频的工作流程是前端图像采集—转换成数字信号—利用互联网进行传输—利用网络对监控进行浏览、控制与存储。
智能视频图像分析系统通过选取先进、成熟的智能视频分析技术结合业务应用系统,充分的利用现有摄像机进行地铁智能化、精细化监测与分析,可以将业务数据与运营人员进行相对有效整合,提升车站内异常事件感知能力和处置效率,提升运营管理上的水准,为未来在全网进行工程化推广提供技术验证和参考。主要有如下方面:
(1)在最大限度的利用现有摄像机视频资源的前提下,利用智能视频分析技术,智能感知车站异常事件和客流数据,充分调动既有的资源,可以在较少的投入下获得较好的应用收益;
(2)无需占用更多的站内空间,便能轻松实现车站运营管理和客流管控,不论在既有线路还是新建线路,更利于落地实现;
(3)无需增加更多的人员配置,还可以减少部分人员工作强度,能够有效结合现有运营人力资源配置,提高人力资源利用率;
(6)数据实时统计分析,能够准确的通过客流分布情况,有效均衡全网人力资源配置,提高运营管理水平;
通过本次研究,将已经较为成熟但未在轨道交通行业得到充分应用的人工智能技术进行应用,对业务系统来进行补充完善,大幅度的提高地铁运营状态的感知能力,对车站异常事件和客流动向做多元化的分析,为智慧地铁的实现奠定基础。同时,可以为轨道交通运营管理、客流分析、人员排班等提供数据支撑和依据,对提高车站应急处置能力和公众出行服务水平,建立安全、高效的运营管理体系具有十分重要的作用。
双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别,使我们大家可以获得明显的深度感,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来,这个差别,我们称作视差(Disparity)图像。
双目立体视觉测量方法具有效率高、精度合适、系统结构相对比较简单、成本低等优点,非常适合于制造现场的在线、非接触产品检验测试和质量控制。对运动物体(包括动物和人体形体)测量中,由于图像获取是在瞬间完成的,因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一,获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。
双目立体视觉从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构,并对物体的形状和空间关系进行描述,把过去的简单二维图像分析推广到了复杂的三维场景,标志着立体视觉技术的诞生。随着研究的深入,研究的范围从边缘、角点等特征的提取,线条、平面、曲面等几何要素的分析,直到对图像明暗、纹理、运动和成像几何等做多元化的分析,并建立起各种数据结构和推理规则。
图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅大型的无缝高分辨率图像的技术。图像配准和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础,而且图像配准算法的计算量一般非常大,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。大华全景拼接设备是采用专用图像拼接处理芯片可以显示无缝拼接。
2)在出入口、换乘口等重点乘客出入位置增补双目客流相机,便于对站内客流情况做管控;
1)通过设置在站长室(或车控室)的平台业务终端,可以及时接收各类不正常的情况的报警信息,并查看报警图片、报警录像、报警点位实时视频等,对站内发生的拥堵、跌倒等会造成安全生产事故的情况做统一管控。
2)通过设置在轨道交通分局的平台业务终端,可以及时接收各类不正常的情况的报警信息,并查看报警图片、报警录像、报警点位实时视频等,对站内发生的核心部位徘徊、可疑物品遗留等可能会引起安全事件的情况做统一管控。
智能视频图像分析系统针对地铁车站场景内的各类业务需求,结合政策法规和行业指导文件的功能规划,充分的利用人工智能、机器视觉和全景拼接等先进的技术,进行了智能功能应用。主要如下:
在地铁站的上下扶梯、大客流通道等处,易发生乘客摔倒事件。当客流量较大且未能及时有效地发现时,容易进一步导致拥堵、踩踏等事件,导致乘客人身安全收到威胁。如果能及早发现乘客摔倒事件,运营人员可及时对客流进行疏导,避免危险升级,有实际效果的减少安全生产事故的发生。
主要为轻易造成乘客摔倒的扶梯上下客区域、大客流通道、地面有异常突起或地面电缆保护板等区域。
平台接收前端相机报警,进行报警图标和报警声音提示,并关联现场的实时视频、报警录像视频、报警图片等信息;
运营人员根据报警提示进行现场情况复核确认并按照地铁运营处置要求做相应处置;
在地铁站的安检口、检票机等处,由于检查或收缴物品、插队等行为容易引发纠纷,进而导致乘客打架事件,威胁人身安全。当其他乘客聚集进行围观时,容易进一步导致拥堵、踩踏等事件,导致其他乘客人身安全也受到威胁。如果能及早发现乘客打架事件,运营人员可及时对乘客进行劝导、对客流进行疏导,避免危险升级,有实际效果的减少安全生产事故的发生。
平台接收前端相机报警,进行报警图标和报警声音提示,并关联现场的实时视频、报警录像视频、报警图片等信息;
运营人员根据报警提示进行现场情况复核确认并按照地铁运营处置要求做相应处置;
在地铁站的闸机口,会出现尾随前面的乘客进出站,以进行逃票的行为,给地铁运营带来极大的收入损失。如果能及时有效地发现乘客逃票事件,运营人员可及时对乘客进行劝说劝导、或采取其他有震慑作用的手段,尽可能的避免逃票事件的发生,减少地铁运营收入损失,保障地铁收益。
平台接收前端相机报警,进行报警图标和报警声音提示,并关联现场的实时视频、报警录像视频、报警图片等信息;
运营人员根据报警提示进行现场情况复核确认并按照地铁运营处置要求做相应处置;
在地铁站的地面出入口、安检区、站台等处,易发生乘客拥堵事件。当客流量较大且未能及时有效地发现时,容易进一步导致拥堵、踩踏等事件,导致乘客人身安全收到威胁。如果能及早发现乘客拥堵事件,运营人员可及时对客流进行疏导,避免危险升级,有实际效果的减少安全生产事故的发生。
平台接收行为分析服务器报警,进行报警图标和报警声音提示,并关联现场的实时视频、报警录像视频、报警图片等信息;
运营人员根据报警提示进行现场情况复核确认并按照地铁运营处置要求做相应处置。
在地铁站的扶梯处,如果发生扶梯逆行或停止事件,会导致乘客跌落,人身安全收到威胁。当客流量较大且未能及时有效地发现时,容易进一步导致拥堵、踩踏等事件,导致更多乘客人身安全收到威胁。如果能及早发现扶梯逆行/停止事件,运营人员可及时对受伤乘客进行救护,对客流进行疏导,避免危险升级,有实际效果的减少安全生产事故的发生。
平台接收行为分析服务器报警,进行报警图标和报警声音提示,并关联现场的实时视频、报警录像视频、报警图片等信息;
运营人员根据报警提示进行现场情况复核确认并按照地铁运营处置要求做相应处置;
在地铁站的扶梯处,如果乘客有逆行行为,会导致乘客跌落,人身安全收到威胁。当客流量较大且未能及时有效地发现时,容易进一步导致拥堵、踩踏等事件,导致更多乘客人身安全收到威胁。如果能及早发现乘客逆行事件,运营人员可及时对受伤乘客进行救护,对客流进行疏导,避免危险升级,有实际效果的减少安全生产事故的发生。
平台接收行为分析服务器报警,进行报警图标和报警声音提示,并关联现场的实时视频、报警录像视频、报警图片等信息;
运营人员根据报警提示进行现场情况复核确认并按照地铁运营处置要求做相应处置;
在地铁站的扶梯入口处,如果乘客有携带大件行李乘坐扶梯的情况,容易因为行李跌落砸伤其他乘客;如果乘客有将婴儿车推入扶梯的情况,容易因为缺乏固定导致幼儿跌出受伤。如果能及早发现乘客携带大件行李或婴儿车的事件,运营人员可及时对乘客进行劝导,引导乘客乘坐直梯或确保行李和幼儿被有效固定,避免危险情况出现,有实际效果的减少安全生产事故。
平台接收前端相机报警,进行报警图标和报警声音提示,并关联现场的实时视频、报警录像视频、报警图片等信息;
运营人员根据报警提示进行现场情况复核确认并按照地铁运营处置要求做相应劝导;
在地铁站的维修区域、核心部位,一般会设置禁入标志,防止乘客进入。如果有乘客违规闯入,可能会发生被维修工具所伤、跌倒、或触碰核心部件影响地铁运营等事件。如果能及早发现乘客闯入禁入区域事件,运营人员可及时对乘客进行劝导和带离,避免危险升级,有实际效果的减少安全生产事故的发生。
平台接收行为分析服务器报警,进行报警图标和报警声音提示,并关联现场的实时视频、报警录像视频、报警图片等信息;
运营人员根据报警提示进行现场情况复核确认并按照地铁运营处置要求做相应处置;
在地铁站的站厅等区域,会出现乘客徘徊事件。有时是因为乘客在地铁站内乘凉或闲坐,极度影响地铁运营形象;有时是犯罪分子提前进行作案踩点,严重影响运营安全。如果能及早发现乘客徘徊逗留事件,运营人员可及时对乘客进行劝导、带离或跟踪乘客下一步动作,避免逗留情况或避免危险升级,有效提升地铁运营形象,并减少安全责任事故的发生。
平台接收行为分析服务器报警,进行报警图标和报警声音提示,并关联现场的实时视频、报警录像视频、报警图片等信息;
运营人员根据报警提示进行现场情况复核确认并按照地铁运营处置要求做相应处置;
在地铁站的站厅等区域,会出现乘客奔跑追逐事件,产生跌倒、撞伤等情况。而当其他乘客误认为是发生了异常事件时,会跟随进行奔跑,因此导致踩踏、拥堵等情况,极度影响运营安全。如果能及早发现乘客奔跑追逐事件,运营人员可及时对乘客进行劝导、带离或跟踪乘客下一步动作,避免危险升级,有实际效果的减少安全责任事故的发生。
平台接收行为分析服务器报警,进行报警图标和报警声音提示,并关联现场的实时视频、报警录像视频、报警图片等信息;
运营人员根据报警提示进行现场情况复核确认并按照地铁运营处置要求做相应处置;
在地铁站的站厅等区域,会出现乘客遗留物品的情况。有时是因为乘客不小心遗留了行李包裹,丢失后若不能及时找到,会造成投诉事件;有时是犯罪分子将危险物品放置在部分区域,以引起恐慌或进行等行为,极度影响运营安全。如果能及早发现乘客遗留物品事件,运营人员可及时对物品进行核实确认,减少投诉,避免危险升级,有实际效果的减少安全责任事故的发生。
平台接收行为分析服务器报警,进行报警图标和报警声音提示,并关联现场的实时视频、报警录像视频、报警图片等信息;
运营人员根据报警提示进行现场情况复核确认并按照地铁运营处置要求做相应处置;
在地铁站的站厅等区域,一般是通过多路视频对整个站厅进行监视。但由于站内点位过多,监控点位较分散,所以运营人员想要查看某个点位时,需要从冗长的设备列表中根据设备名称选择相应点位,效率较低。若能将设备点位与站厅的实景相结合,在单画面监视站厅全景的基础上,有效标记设备位置,就可以直观的通过设备标签进行设备视频图像的查看,提高运营效率。
以全景实时视频为背景,上面叠加画面内各摄像头的图层信息,各摄像头以标签形式进行标记;
前述异常行为监测报警时,可以在相应摄像头标记报警图标,便于直接观看现场情况,进行报警处置。
目前地铁客流信息主要是通过AFC系统的过闸数据来进行统计。但AFC仅能提供进出付费区的乘客数量,在闸机外部占据很大空间的免费区却没有很好的客流统计手段。乘客乘车首先要进入免费区进行安检、购票等动作,若无法很好地管控免费区的客流,在大客流情况下未能及时进行疏导,非常容易造成拥堵、踩踏等事件。若能对免费区的客流情况做实时统计分析,可以有效提升客流管控能力,减少安全生产事故。
各个点位的客流统计相机,在有乘客通过其监视范围时,自动进行计数及记录进入、离开方向;
平台端根据客流实时数据来进行分析展示,如每小时进出站人数、日客流量、实时在站人数等信息,为运营人员及时进行客流疏导等业务提供数据参考。
目前地铁关站时会巡视各个出入口和关键区域,看有无人员滞留,防止出现卷帘门夹人、乘客滞留在站内等情况。若能通过智能分析辅助进行视频监控内有无人员的报警提示,可以极大的提高关站效率,减少安全事故和乘客投诉的发生。
启动一键关站后,智能分析服务器自动监测各摄像头所监视范围内有无人员进入。
当有人进入时实时提示报警,并关联实时视频、录像等,运营人员可及时查看现场情况,便于对关站动作进行辅助确认;
本文来源 俞益、张艳(宁波市轨道交通集团有限公司运营分公司)、周凯(浙江大华技术股份有限公司)