全天候能力或保“万无一失”

开车过程中经常遇到一些复杂的天气情况,如大雨、大雾、沙尘、强光、夜晚,这对于视觉和激光雷达都是非常恶劣的场景,难以用一种传感器应对,因为一类传感器无法处理所有场景。像一些自动驾驶测试或比较成熟厂商的智能驾驶中多次发生撞车事故,传感器系统的失效付出了惨痛代价。所以,传感器融合是构建稳定感知系统的必要条件。

图:多传感器融合是稳定感知的必要条件

苏州豪米波董事长白杰解释说,传感器融合首先要根据来自不同传感器的数据和状态估计结果,利用不同传感器,如视觉、激光雷达、毫米波雷达等,将数据融合到中央处理器实现信息互补,以得到最佳的平衡方案。根据中央处理器获取的传感器信息层次的不同可以分为:数据级范畴的原始信息、特征级范畴的处理后的特征识别,以及决策级融合的危险估计及最终决策。

整个过程是将毫米波雷达、图像雷达数据进行预处理和特征提取,得到目标位置信息和分类信息,之后送到处理器中进行综合分析判断,得到特征向量和特征矩阵,以实现决策级融合。

数据级融合是将所有原始数据送到处理器,数据同步后进行处理。目前的方案主要是目标级,未来的发展是多级特征融合方案。由于数据量特别大,数据级融合受制于域控制器或带宽限制,也是一个算力瓶颈。

从传感器数据处理来看,主要分为集中式、分布式、混合式结构。

集中式结构:将传感器所有信息送到域控制器中进行数据关联、量测融合、目标跟踪,得到目标、位置、状态信息,最后进行决策。其优点是数据处理精度高;缺点是大量数据易造成通信负载过大,对域控制器处理性能要求高。

图:集中式结构

分布式结构:每个传感器将目标观测结果在本地进行检测与跟踪处理,完成局部航迹信息后送入域控制器。优点是通信带宽需求低,计算速度快;缺点是跟踪精度远没有集中式高。

图:分布式结构

混合式结构:根据对数据需求的不同组成混搭传感器,兼具集中式和分布式结构的优点,弥补了两者不足。

图:混合式结构

目前大部分厂商采用混合式结构,采用摄像头和雷达融合的前沿方法,由分布式传感器分别进行数据处理,得到目标信息列表后再进行融合。

白杰表示,最近两年深度学习研究比较火热,出现了一些前沿的融合跟踪方案:普通雷达点云+摄像头、雷达射频图像+摄像头,以及4D雷达点云+摄像头。

他认为,目前大多数传感器融合方法都使用激光雷达和摄像头,从而实现高精度3D目标检测。但是,这种方法有其局限性,摄像头和激光雷达对不利天气(如雪、雾、雨)都很敏感、对远处目标检测精度低,且激光雷达成本较高,要普及还有一定困难。由于雷达对恶劣天气有很好的鲁棒性,探测距离非常远,能精确测量目标速度且成本低,在自动驾驶中越来越受到人们的重视。

雷达数据虽然比较稀疏,不能直接套用激光雷达的方法,数据在输入层和后处理部分的融合不能获得很好效果,但每个点都包含很多信息,在融合中能起到很大作用。

他说,对摄像头图像数据和雷达点云数据进行中间特征层融合,就可以实现精确的3D目标检测。在进行融合之前,由于目前雷达的高度信息不准确,无法很好与图片目标进行关联,因此需要先对雷达点云进行预处理,采用支柱扩张的预处理方法,将每个雷达点云扩张成一个固定大小的支柱,若支柱中的一部分进入了关联ROI(感兴趣区域)内,就可以实现雷达点云与摄像头之间的关联及融合。另外,目前4D毫米波雷达已开始逐步进入市场,因其每个目标有更丰富的点云,肯定会在L4系统中发挥更重要的作用,大大提升毫米波雷达的感知地位。

MEMS激光雷达有望批量应用

特斯拉只使用摄像头,难免有些场景(如纯白或纯色)难以识别,而激光雷达可以把距离、速度等各种信息都很快计算出来,通过算法实现环境识别,而且现在分辨率已经足够高了。以往的机械式雷达是一个转台上的激光探测器,现在谷歌、百度等科技公司还在使用。其64线需要64组激光器和探测器一一对应,然后供电让它转起来,是非常复杂的光学和电学系统,不利于大规模量产。

中国科学院苏州纳米技术与纳米仿生研究所沈文江博士说:“激光雷达是自动驾驶中用到的众多传感器之一。与其他传感器比,目前的MEMS激光雷达的每秒点云数据量在100万左右,比图像还是小得多,对处理器算力的要求没有那么高。”

他表示,与机械式相比,MEMS激光雷达的优势很多,如安装简单、体积更小、价格便宜,最有希望在乘用车上普及。目前,其角度分辨率已达到0．2度,比如100米外的一辆车可以扫描到很多点,能够计算并标示出车的轮廓。

只需要一个激光器和MEMS微镜组合,MEMS激光雷达就能实现激光脉冲的扫描,装配起来很简单。从成本考虑,由于采用半导体工艺,量大了成本就会很便宜。另外,从分辨率考虑,MEMS激光雷达实现64线只需用微镜把单个激光器发出的脉冲扫描点阵组成64条线就可以了,所以非常容易实现高分辨率,体积也非常小。未来MEMS激光雷达的成本有望控制在千元人民币以内。

图:MEMS激光雷达

他还说,从全球总共5家激光雷达上市公司也可看出技术上的端倪,其中4家美国公司,1家以色列公司;1家仍是机械式,两家用的是MEMS方案。所以MEMS方案得到了业界和投资界青睐。

众说纷纭不断

3月17日,一个七年驾龄老司机使用Autopilot发生车辆无故转向,方向盘卡死,车辆撞停事故,很像上面提及的情况。

4月9日,马斯克在社交媒体上透露,最近对其自动驾驶Autopilot和全自动驾驶套件FSD Beta V9．0的升级已近尾声,他希望最终将使其成为完全基于摄像头——纯视觉方法的系统。这意味着,未来特斯拉的全电动汽车将在不使用雷达等部件的情况下自行导航并执行驾驶员辅助功能。

既然是纯视觉,作为一些人心目中“豪车”的特斯拉却至今没有量产搭载不仅能精确测量距离,还可识别刹车灯、车道线、路旁交通标志等的双目摄像头。为什么?只能拭目以待了。