登陆

根据GAN的自动驾驶体系的蜕变测验和输入验证结构

admin 2019-12-14 309人围观 ,发现0个评论

引证

Zhang, Mengshi, Yuqun Zhang, Lingming Zhang, Cong Liu, and Sarfraz Khurshid. "Deeproad: Gan-based metamorphic testing and input validation framework for autonomous driving systems." In Proceedings of the 33rd ACM/IEEE International Conference on Automated Software Engineering, pp. 132-142. ACM, 2018.

研讨布景:

主动驾驭是指运用传感器(摄像机、雷达、激光雷达、GPS等)在没有人为干涉的情况下主动控制车辆。近年来,深度神经网络的最新研讨进展使主动驾驭体系能够依据动态环境调整其驾驭行为。因为主动驾驭体系关于安全性要求极高,对主动驾驭轿车体系进行有用的测验显得至关重要。最新的测验技能标明,主动驾驭体系关于驾驭场景的组成图画极端简略犯错。DeepXplore将图画生成问题界说为一个联合优化问题,运用依据梯度地查找技能来生成图画。DeepTest体系化主动生成测验用例,对原始图画进行简略地放射改换,企图模仿实在场景,并查看主动驾驭体系在原始场景和改换后的场景之间的驾驭行为是否共同。可是DeepXplore和DeepTest生成的测验用例并不能精确地反映实在国际的驾驭场景,bed从DeepXplore和DeepTest的论文中引证的组成图画显现,组成图画包含几个伪影(补丁,洞和边线),这显着损害了图画质量。咱们乃至能够以为,依据DNN模型的缺点或测验技能自身的缺少是导致过错驾驭行为的主要原因。无效的输入,即不实在的组成图画,很或许极大下降主动驾驭体系的猜测精度,添加主动驾驭体系的危险。

处理的问题:

1)大多数现有的测验技能生成的组成图画不实在,无法模仿实在场景,粗糙的组成场景或许会练习出精度较低的模型,DeepRoad运用了依据GAN的技能组成各种气候下的驾驭场景。

2)依据DNN的体系缺少输入验证,不够好的测验样本或许会练习出欠好的模型,所以针对输入样本,需求界说一种验证手法。DeepRoad运用VGGNet技能提取内容及特征,对练习样本进行验证挑选。

3)从前的图画组成技能只能经过线性改换,仿射改换,卷积改换等办法生成类似的图画,而不能杂乱地组成不同风格地图画,约束了测验用例地多样性。

试验办法:

Deep Road总共分为两个模块:蜕变测验模块(Deep Road MT)和输入验证模块(Deep Road IV

1. DNN主动驾驭体系的蜕变测验模块

关于DNN体系的测验一般要面对Oracle问题,根据GAN的自动驾驶体系的蜕变测验和输入验证结构咱们很难关于不同测验样例的成果界说正确性,蜕变测验经过查看多个履行成果之间的联系来测验程序,成功地处理了Oracle问题。本文界说了主动驾驭体系的蜕变联系,关于恣意的图画i和图画转化函数(),都应该有DNN((i))=DNN(i),即关于一个原始图画和加了实在场景改变的组成图画,DNN主动驾驭体系的行为不该发作不共同性。以驾驭场景的原始图画以及模仿实在场景的组成图画作为输入,调查主动驾驭的行为(例如转向角)会不会发作超出预期之外的改变,来测验主动驾驭体系的鲁棒性。

本文运用了UNIT技能来生成各式各样的实在驾驭场景根据GAN的自动驾驶体系的蜕变测验和输入验证结构图画,UNIT是最近宣布的一种依据DNN的无监督图画转化办法,依据生成对立网络(GAN)和变分编码器(VAE)。UNIT的思维是假定两个图画包含相同的内容,可是坐落不同的域中,那么它们在同享潜在空间中应该具有相同的标明。因而,给定一个域(如原始驾驭场景)的实在图画,UNIT能够在另一个域(如雨天驾驭场景)主动生成对应的版别,上图展现了UNIT的根本架构。


上图展现了本文提出的DeepRoadMT蜕变测验模块的全体架构,DeepRoadMT首先从两个方针域获取未匹配的练习图画,运用UNIT对丢失函数进行优化,将两个域投射到同一个潜在空间。练习进程完成后,练习好的模型将整个晴天数据集转化成雪天数据集。DeepRoadMT将每对原始图画和生成的组成图画都提供给练习中的主动驾驭体系,经过比较DNN((i))和DNN(i)的成果(比方主动驾驭体系的转向视点)去发现不共同行为。

2.DNN驾驭体系的输入验证模块

咱们能够界说一个输入验证(Input Validation)规范,比方输入数据应该是任何巨细为640*480根据GAN的自动驾驶体系的蜕变测验和输入验证结构的RGB图画,或许任何输入数据应该存在于练习数据会集,以确保其正确性。可是,第一条原则太弱,无法进步体系的鲁棒性,而第二条原则太强,使得体系缺少通用性。本文说到Probably Approximately Correct (PAC)学习理论,即不要求进行零差错的猜测,而要求差错在必定规模内;不要求对一切样本都能猜测成功,而要求猜测差错在必定规模内。依据PAC学习理论,文章给出输入验证规范:min j ||h(i)−h(j)||2 < ’,其间||*||标明L2范式,h(*)标明需求的非线性投射规矩,’是预先界说的阈值。能够理解为:输入数据I应该从练习数据D中取值(从D中采样输入I的概率应该大于预界说的阈值)。

上图为DeepRoadIV的结构,运用VGGNet提取其内容和风格特征,挑选卷积层conv 4_2和conv 5_3别离提取内容和款式特征。输出为五颜六色网格F 4_2和 F 5_3,标明从VGGNet中提取的内容特征,款式特征G 5_3由Gram matrix核算。然后,矩阵F 4_2和G 5_3转化为特征向量V,对一切的图画都进行这样的处理,然后运用PCA主成分剖析进行降根据GAN的自动驾驶体系的蜕变测验和输入验证结构维。在图6中,咱们将方针维度设置为2维。处理过的数据Y在二维平面上标明,蓝色和赤色节点别离标明练习图画和在线驾驭图画。最终,DeepRoadIV核算练习数据和在线驾驭图画之间的最小间隔,并拒肯定间隔大于某一阈值的图画进行行为猜测。

试验成果:

本文运用晴天、雨天和下雪的驾驭场景来测验DeepRoadIV。本试验的希望是,在嵌入空间中,阳光图画与练习图画挨近,雨雪图画与练习图画是线性可分的。具体来说,从原始测验数据会集搜集阳光图画,从YouTube视频中提取雨雪图画。留意,为了确保输入图画的实在性,只挑选实在的图画,而不是组成图画。此外,本文挑选VGGNet的卷积层conv 3_2和conv 4_1从输入图画中提取内容和款式特征,并将PCA维设置为3,以完成试验成果的可视化。为了下降核算杂乱度,将一切图画的巨细调整为120*90,并将每个数据集的采样数M设置为600。此外,本文运用每个数据点的Top100最小间隔的平均值来削减每个输入图画的类似度估量的方差。

本文挑选了Autumn、Chauffeur和Rwightman这三个模型来进行测验,文章还提出了针对主动驾驭体系蜕变测验中履行成果不共同性的以及输入验证规范的界说,试验进程中将严厉依照界说履行。

从试验成果来看,实在图画与运用UNIT组成的图画输入模型后的确会形成主动驾驭体系决议计划行为的改变。关于实践的主动驾驭模型,DeepRoad能够发现不同路途场景下的不共同行为。例如当运用10的差错规模和雨景改换时,DeepRoad别离在Autumn、Chauffeur和Rwightman检测到5279、710和656个主动驾驭体系的不共同行为。剖析这些数据,Autumn呈现的不共同性行为最多,很有或许是因为Autumn仅仅依据CNN的模型,而不存在RNN,没有前史信息的反应,所以在测验中体现得很差。可见,DeepRoad不只能够查看出主动驾驭体系的不共同行为,还能够丈量不同DNN体系的鲁棒性。DeepRoadIV能够检测出100%的雨天图画、85%的积雪图画和21%的晴天图画的离群点作为无效输入,有用进步了体系的鲁棒性。此外,本文还证明了输入图画的非线性改换对输入验证的必要性。

总结:

本文提根据GAN的自动驾驶体系的蜕变测验和输入验证结构出了一种依据无监督学习结构DeepRoad来生成实在驾驭场景,测验依据神经网络的自主驾驭体系的不共同行为,并对在线输入图画进行验证,以进步体系的鲁棒性。DeepRoad包含两个部分DeepRoadMT和DeepRoadIV。前者是蜕变测验模块,依据GAN组成实在驾驭场景图画,用来检测主动驾驭体系的不共同行为。后者是输入验证模块,经过VGGNet技能丈量练习图画与在线驾驭场景的间隔与预先设定好的阈值相比较,并拒肯定间隔大于某一阈值的图画进行行为猜测。本文在三个较为老练的Udacity自主驾驭模型上的试验成果标明,该体系能够成功地检测到上千种不共同的驾驭行为。此外,咱们的成果还标明DeepRoad能够有用地验证输入图画,然后潜在地增强体系的鲁棒性。

考虑及未来展望:

1.现在在这个范畴,仍然缺少点评图画质量(即实在性)的杰出规范。在本文中,咱们将让读者查看他们的质量。这种办法适当开门见山,但不那么客观。咱们如何能考虑出一种判别图画实在性的衡量规范办法呢?

2.Udacity上的数据集相对较小,主动驾驭模型比较简略。假设数据集足够大,应该能够练习一个更杂乱、更强健的模型,然后显著地削减不共同行为。

3.主动驾驭体系是非常杂乱的,而根据GAN的自动驾驶体系的蜕变测验和输入验证结构在这项工作中,只重视了转向角的精确性。能够参加其他驾驭体系行为作为判别规范。

称谢

本文由南京大学软件学院2019级硕士邓靖琦翻译转述。

感谢国家自然科学基金项目(重点项目)智能软件体系的数据驱动测验办法与技能(61932012)赞助

请关注微信公众号
微信二维码
不容错过
Powered By Z-BlogPHP