侵权投诉
订阅
纠错
加入自媒体

IJCA2019协调ADAS新方法:随机对抗性模仿学习

2019-05-18 09:40
智车科技IV
关注

2019年5月13日,国际人工智能联合会议(IJCAI)2019发布了一篇题为Randomized Adversarial Imitation Learning的论文。该文介绍了一种基于自动驾驶的随机对抗性模仿学习(Randomized Adversarial Imitation Learning,RAIL)。该方法模拟了配备先进传感器的自动驾驶汽车的协调过程,通过自由派生优化决策系统进而协调诸如智能巡航控制(SCC)和车道保持(LKS)等ADAS功能。值得一提的是,该方法在复杂的多车道高速公路和多智能体环境下,可以处理激光雷达数据并进行决策。

在多车道高速公路环境中,安全事故往往会导致道路拥堵或发生更严重的交通事故。现代自动驾驶中呈现的各种ADAS功能具有高度的相互依赖性,需要将其看成一个单一的综合体,需要在保证安全的同时,形成长期有效的辅助策略显得尤为重要。本文介绍了一种基于自动驾驶的随机对抗性模仿学习(Randomized Adversarial Imitation Learning,RAIL)。该方法模拟了配备先进传感器的自动驾驶汽车的协调过程,通过自由派生优化决策系统进而协调诸如智能巡航控制(SCC)和车道保持(LKS)等ADAS功能。值得一提的是,该方法在复杂的多车道高速公路和多智能体环境下,可以处理激光雷达数据并进行决策。

基于自动驾驶的随机对抗性模仿学习(RAIL)法表明,在政策参数空间内的随机搜索可以适用于自动驾驶政策的模仿学习。具体贡献如下:

(1) 自驾驶机制是在模仿学习的启发下提出的,RAIL方法可以成功地模拟专业驾驶表现;相应的静态和线性策略可以以相近的速度完成多次换道和超车。

(2) 传统的模拟学习方法对自动驾驶的控制结构复杂。相比而言,RAIL方法是基于无派生的随机搜索,该方法更加简单。

(3) RAIL方法开创了应用于自主驾驶鲁棒驾驶策略的学习先河。

图1 车辆控制系统的简化学习层次

先来看一下传统的自动驾驶汽车的系统层次结构(如图1),底层的ADAS控制器直接连接到无人驾驶汽车的激光雷达传感器。控制器确定控制车辆所需的信息,并将已经决策好的操作传递给机械部件。作为一个单一的集成系统,最好有多个ADAS功能同时协作来控制车辆的系统运行。

研究动机:在多车道高速公路等有限条件下,主系统通过协调ADAS功能,实现汽车的自动驾驶。由于车辆本身与周围其他车辆、车道或者环境相互作用、互相交互,通过摄像头或雷达等监视器,主系统并不能获取车辆周围完整的环境状态,只能使用部分局部可见信息。因此,RAIL方法首先将监测代理器建模为一个(O,A,T,R, γ)数组,该数组表示一个部分可见的马尔可夫决策过程,其中包含对自动驾驶的连续观察和动作,还有激光雷达数据的部分观测状态,用O表示。

状态空间:RAIL使用激光雷达传感器发射的N条光束均匀地分布在视场上[wmin,wmax]获取的数据完成矢量观测。每个传感器数据有最大范围rmax,传感器返回它遇到的第一个障碍物与车辆之间的距离,如果没有检测到障碍物,则返回rmax。然后,数值表示为O=(O1,…, ON)。进而,根据距离数据,可以计算出障碍物与车辆之间的相对速度Vr = (V1,…VN)。

操作空间:该策略是一个高层次的决策者,通过对高速公路的观察来确定最优的行动。假设自动驾驶汽车利用了ADAS功能,因此,驱动策略的操作激活了每个ADAS功能。驱动策略定义在离散的动作空间。高层次决策可以分解为以下5个步骤:(1)保持当前状态;(2)加速速度为velcur+velacc;(3)减速速度为velcur-veldec;(4)左转;(5)右转。以上操作通过自动紧急制动(AEB)和自适应巡航控制(ACC)完成。

图2 RAIL结构

RAIL主要是是增强传统的ARS和GAIL算法。RAIL旨在培训驾驶决策,模仿专业司机的规范操作。汽车被认为是一个代理策略πθ,在多车道高速公路上,车辆收集数据后生成小值随机噪声矩阵。该代理根据生成的噪声策略与环境进行多次交互,并将结果收集为样本轨迹。

最小二乘损失函数(3)对决策边界两侧远离标准轨迹的采样轨迹进行惩罚。

该方法可以用公式(4)表示。

公式(5)表示对抗模仿学习与随机对抗模仿学习RAIL的随机参数空间搜索之间的关系。

图3中实验的目的是为了展示样品的效率。为了评估效率,实验考虑了平均车速、换道次数、超车次数、纵向奖励和横向奖励,如图3和图4所示。

由表1可以看出,两层政策的平均车速和平均超车统计量最高,分别为70.38km/h和45.04。这是因为基于盖尔的框架和基于与环境交互的策略优化,经过训练的策略有时可以获得比专业人类驾驶员更高的性能。另一方面,单层策略的性能提高了90%。这是因为单层不足以正确处理高维观测。上述,BC试图将专业演示过程中的1步偏差误差最小化。因此,由于训练和测试之间的分布不匹配,单层策略表现出不理想的性能。

在图4中,使用纵向补偿来分析环境补偿。纵向补偿与速度成正比;因此,归一化结果与图3a所示的平均速度相同。为了评估行动决策的敏感性,使用了横向补偿。在变道完成之前,车辆可以根据观察改变决策。由于换道过程中横向奖励是连续发生的,因此在换道过程中频繁的换道会导致换道过程中奖励的减少。在图4b中,两层策略在最后一种情况下获得了较大的横向奖励。然而,两层策略比专家策略显示了更多的车道变化。这是因为两层策略不太可能在操作期间更改决策。另一方面,单层策略比专家策略更能显示频繁的换道。因为单层策略经常更改其决策,单层策略获得最小的横向补偿。BC表示换道次数最少。然而,经过培训的策略比RAIL培训的单层策略获得了更大的回报。变道数量明显小于单层策略;从而使训练后的策略比单层策略获得更大的横向回报。

通过图3c的实验,模拟专家论证,测量合适的决策。为了获得与专家相似的超车次数,仿真过程中的换道点和决策应与专家相似。在图3c中,两层策略相比之下,显示了预期的性能。此外,决策点和操作与专家相似。然而,单层策略比专家策略显示的接管数量要少。这是因为平均速度较低,并且根据观察做出了不合适的换道决定。

综上所述,验证了RAIL方法提高了平均速度,减少了不必要的变道次数。这就意味着RAIL方法政策方向是正确的。实验结果表明,两层策略取得了与驾驶专家相似的性能。

声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

智能汽车网 猎头职位 更多
文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号