进阶无人驾驶—百度Apollo高精度地图

课程简介

课程介绍高精度地图的定义，其在无人驾驶各个模块的作用、高精度地图的采集与生产以及Apollo高精度地图的相关知识。

今天主要给大家分享百度L4车使用的高精度地图一些知识，我也想换个总结方法，以便让大家不会觉得枯燥。

一、高精度地图的采集与生产

首先我们看到高精度地图产生的环境便是半自动或全自动驾驶领域，这是必然的现象。可以看到上面的数字便是车辆的级别当然L5级别的车辆离我们还很遥远，但我们会朝着它的方向，不断前行。

1.什么是高精度地图？

HD Map 高分辨率地图
HAD Map 高度自动驾驶地图
高精度地图最显著的特点1：表征路面的基准全面性
2高精度地图要求更高的实时性
3高精度地图=自动驾驶地图

2.高精度地图与导航地图

现如今的地图都是将街道组成一个个有向图，以便使用者能清晰明了的观察到信息，提供很好的方向引导，例如百度地图和高德地图。

当然如果对于自动驾驶汽车只标识这些信息，显然不够。必须将标识牌、红绿灯，，，等很多信息标注在高精度地图上，以便让汽车更加清楚地了解当前的道路情况。

3.高精度地图于模块的关系

可以看到，上图为高精度地图的大脑，大脑支配调度各个模块的运作，相当于地图是一切行为的基础。

上图便是现在百度主流的方案，关于定位于地图的利用之间的关系，很密切。

4.地图与模块的关系

可以看到左侧是利用粒子滤波，它通过提取周围环境的特征（电线杆、树，，），通过这个特征，来判断当前位置，当然给一个特征显然不够，所以会在下一时刻找到另一个特征来增大定位准确度的概率。

右侧是基于车道线的匹配过程，通过Camera实时检测车道线，再经过提取车道线后的特征匹配，以达到吻合的结果。

5.地图与规划、预测、决策

我们无人车在规划路线时；

会有长距离规划：和人一样的规划方式，例如你从A到B，在地图上找到你要走的路线，去完成这条路线的路程。
短距离规划：根据实时的环境变化，去做一些局部的规划，目标很明确，但是路线会随时改变。

当然在车辆行驶时，你必须要能预测路上车辆和行人的变化，从而做出相应的动作，这就是导致规划方案不断变化的动态因素，但是这两者结合起来的话，就会给决策一个明确的数据，这时候就需要决策做出相应的方案了。

6.高精度地图与安全模块

安全有很多维度，不仅是对外部的描述，也有自身算法的稳定性等因素，会对汽车的安全造成影响，所以我们必须在安全方面狠下手来，把好关。因为我们最终的受益群体就是人类，必须对人类的安全负责任。

7.高精度地图与仿真系统

当然，仿真系统也是也是一个很重要的模块。因为一个产品的研发过程，会有很多改进的地方，如果每次都研发成成品，那费用高到离谱，所以我们必须把这种测试放到仿真系统中，才会降低时间和成本的消耗。

没有高精度地图，高可靠性的L3/L4自动驾驶无法落地

地图的作用-静态的Perception

把人类对于世界的感知和理解赋予自动驾驶系统。

当然在对各种环境进行研究时发现，有一些环境下根本用现如今的设备和算法不能实现的。

一、重庆交通

当然这是一个还算能看懂的交通，对于汽车来说，简直是要了老命，必须使用更优的设备和算法才能走在这样一个错综复杂的交通网中，还不会迷路。

二、雪天

根本无法使用雷达和摄像头对这种环境做出任何反应，就像一个雪盲症患者一样被抛到这样的环境下，只能依靠不精确的GPS撞出去。俗话说，闯出一片天地，应该就是说无人车在雪天的情况吧。

三、红绿灯

你以为是国内那些简简单单的红绿灯吗？你错了，这种红绿灯，人都要晕，更别说车，不信你看：

这是啥？简直就是星际迷航的太空红绿灯，负责调度各个星球的轨迹，以防发生碰撞。所以对于无人车来说，这样的几种特殊的环境下，还需要更进一步的研究，才能成为真正的L5级别。

高精度地图的作用—弥补系统性缺陷

关于Uber车祸的事件，我们加强了情况的研究和总结，得出的结论就是海量数据的传输速度在4G的速度下，不满足云端数据的传输需要，所以我们需要将5G网络嫁接到无人车的模块上，从而实现数据的实时检测，反馈给无人车。

二、高精度地图的采集与生产

1.高精度地图的采集与生产也是一个很复杂的过程，需要基于很多的算法来实现地图的生产，所以我们就开始慢慢的学习它的采集与生产的过程如下：

第一个就是需要通过多颗卫星，比如三颗卫星按理说就能定位到地球任何一点的位置，但是因为卫星定位存在一定的误差，不论是环境或者其他因素造成的，但都会有一些误差，所以我们必须使用四颗以上的卫星对其进行定位，以便达到精确定位的目的。

第二个就是IMU设备，当然它可以通过对车辆的加速度检测等物理性质检测，得到精确数据，传输给计算机，通过算法能强化高精度地图的定位精度，当时它会随着时间的推移而增大误差。

2.采集传感器的研究，它的主要设备如下所示：

我们看到可以通过车辆转动的数，来计算发现距离，这也是一个好办法，因为只要车辆不突然刹车导致车轮抱死滑动，一般都能通过车轮的圈数来判断距离。

另一个便是我们常常讲到的激光雷达，它的精度随着波长的改变而不断变化，但是它对于检测物体的坐标换算后能得到全局坐标的精确数据，很是有用。

3.地图生产-计算模型

我们知道单个设备对于信息的处理精度有很大的不足之处，于是我们便想到了将数据融合起来，经过融合的处理后，便能得到误差较小的数据，交由计算机处理。

下面提到一个公式：

                          J=Q(z-h(m,x)）

该公式是一个高度简化的高精度地图计算模型，Q代表优化方程，z代表激光雷达扫描出来的点，h为方程预测最新的扫描点的位置，m为扫描到的点在地图中的位置，x代表无人车当前的位置。

这个方程的目的是通过最小化J求出测量点在地图中的准确位置。

4.视觉制图

我们现在主流的制图方案有两种一种是基于激光雷达（LiDAR)，一种是基于视觉相机（Camera）。

于是我们得到下面的方案：

方案	特点
激光雷达	信息准确，但是信息较少，不够丰富
相机视觉	色彩丰富，信息量大，但是处理起来不准确
LiDAR+Camera	结合两者的优点，信息量丰富且准确

当然在制图的过程中还使用了点云来增加高精度地图的精度。

三、高精度地图的格式规范

1.格式规范-NDS

现如今全球比较通用的规范就两种，一种NDS，另一种OpenDRIVE。

NDS：规范的内容比较多，有一百多页，算是比较全面，包含的技术公司也会比较多。当然也会导致它实现起来比较复杂。

OpenDRIVE：是由德国一家公司制定，会对道路section、line和路口进行了规则的制定，现在听起来还是比较复杂，详细知识可以了解该方案。

四、业界高精度地图产品—1

上图是一个HERE HD地图的生产方式，通过一系列的采集于处理后，便可以得到最终可供使用的高精度地图，当然制图过程必须合法，在法律允许的范围内。

当然在HERE的信息采集时，通过一辆采集车，头顶一个16线的激光雷达，在街道行驶，以采集实时的数据。当然高精度地图的实时性导致了车辆必须不断的更新地图数据，以便保持信息的可用性。

Map-learing通过深度学习对道路特征的提取，采用的设备是激光雷达，这种设备采集的数据可靠性极强，有很大的实用性。

当然现在对于图形处理都是利用深度学习，因为其具有很高的准确度，再加上点云的处理就可以得到最终的精密地图。

如图的地图生产过程有图左侧所示的特点，百度Apollo也在对地图的制作过程中学习其他商家的优秀之处。

MobileEye

当然了MobileEye是一家很有名的公司，它很早就开始做辅助驾驶，现在也开始做自动驾驶。

可以看到，因为MobileEye被intel收购了，所以就把它的图标也加了进去，不过也很好看是吧。

当然能被intel收购，说明其技术还是比较雄厚，它与很多车厂都有合作，据说生产出来的车都有两千多万辆，可见实力很是强大。

第一个是感知，第二个是地图，第三个是driving的一些策略。

当然MobileEye在图像制图领域的实力是超强的，想想它的名字就能知道它的研发侧重点在哪里。

我们就对其制图方面进行研究和学习如下所示：

右侧汽车行驶时，有一个真实的场景图，最右侧是google 实况的地图，它会利用一根虚线，如图所示的绿线作为引导线，指引汽车的行进路线。

之所以汽车很难实施，有很大原因的信息量过大，无法实时传输的结果，也是我们务必突破的重要点。

Google Waymo

Google在对无人车行驶过程中，运用无人车基于高精度地图的静态信息和感知器对环境的动态感知融合两者，以便更好的利用信息。这也是目前大多数无人车研发者都会采用的模式。

地图包含的信息量很多，也很有用，例如对于红绿灯标识，减速区标识或者停车点进行标识，但是地图的信息毕竟是矢量图，所以谷歌在一篇文章提到地图通过静态的环境信息，这就同传统的高精度地图不同了。

这种高精度地图就很类似于栅格版的高精度地图，每个格里面都记录了所有的道路上一些物体的高度啊等更详细的信息。它也可以做一些过滤，让我们在对静态物体和动态物体的识别上减少了很大的计算量。

五、业界的高精度地图产品-2

上面也讲到了很多公司的优秀产品，下面我们做一些补充，再将一些优秀的产品和公司做一个简单介绍。

TomTom

该公司也是相对来说比较老的厂商了，它也主要是对地图等方面做文章，例如对标识的识别，基于激光雷达的物体处理等，主要也是基于激光雷达设备和神经网络算法对图像进行识别。

就是说我们把这个地图出来的结果然后下发到终端上，这是一个数据更新的过程。它能做到数据于云端的实时更新，这也是行业的一个很厉害的地方。

它会把环境的特征利用点云做出模拟的环境，以便在驾驶过程中，汽车行驶的道路能够用计算机实时处理，提高了计算能力。

六、Apollo地图采集方法

首先我们先来看看Apollo汽车的采集设备如下所示：

配备的设备及功能如下：

设备	功能
64线激光雷达	采集路面信息
16线激光雷达	红绿灯或者高架信息
GPS	基于基站，利用RTK方式精确定位
IMU	检测和记录汽车行驶时的加速度，提供相关信息
长短焦	周围图像环境的采集

当然也会利用对传感器的正常工作进行检测，以确保采集工作的正常运行。所以阿波罗也提供了一键式安装方案，确保各个设备能正常工作的同时，也能数据一致，不会出现偏差。

基站搭建

为了提高定位的精度，外面也会采用基站搭建的方式。通过RTK差分数据来矫正误差值，为地图数据提供全局的坐标信息。

当然基站建设时需要在比较宽广平坦的地方，这样才能不断的观察卫星位置。一旦汽车与基站之间有遮挡物，当然是那种让信号很难逾越的物体时，就很难保证其实用性了。

采集流程

在采集之前，先检测设备能正常运行的标定，这样设备就可以开始进行采集工作了。当然在采集过程需要注意的一点就是双向车道覆盖三到五遍，目的也是为了能够达到一个较好的结果。

当然采集过程中，车速也不能太快，最好保持在六十迈以内就是很好的效果了。

然后我们会将地图信息打包压缩，这样就能将信息传输和共享，以便我们使用或者开发者共同使用了。

七、Apollo地图生产技术

我们主要分享在城市道路中如何生产地图。

数据采集：前面我们已经讲过了，采集数据时使用什么样的设备，经过什么样的流程等；
数据处理：数据大致分为点云和图像，因为L4级别的地图对精度要求比较高，所以主要是以点云为主。拿到点云后会对点云进行拼接，让数据具有可用性，这是对点云的处理。接下来我们会将点云压缩成图像，因为点云的精度很高，所以基于这样的图像作图像识别的精度也很高，这就是图像处理过程；
元素识别：我们大豆基于深度学习对元素进行识别和分类。但是如果没有车道线这种情况的话，车很难处理这种行为，所以如何对人离线的情况车又无法处理的情况我们需要更多的算法保证；
人工验证：就是在对汽车处理车道线或者红绿灯等逻辑上加入人的思维。例如车右转时，我们应该看哪个红绿灯等关联处理。

接下来我们学习当64线雷达感知到的点云图数据，如何利用起来进行数据融合加工的处理，拼接到一个完整的图。

接着是基于深度学习的要素识别。