1. 首页
  2. 机器学习

如何判断机器学习系统对于现实世界是否足够强大

当神经网络犯了本不该犯的错误时,新方法可以快速检测实例。
对抗性示例的输入略有变化,导致神经网络犯下通常不会发生的分类错误,例如将猫的图像分类为狗。
对抗性示例的输入略有变化,导致神经网络犯下通常不会发生的分类错误,例如将猫的图像分类为狗

麻省理工学院的研究人员设计了一种方法,通过检测模型何时犯了不应错误的错误,来评估称为神经网络的机器学习模型的健壮性。

卷积神经网络(CNN)旨在处理和分类图像以用于计算机视觉和许多其他任务。但是人眼无法察觉的微小修改(例如,图像中的一些较暗的像素)可能会导致CNN产生完全不同的分类。这样的修改被称为“对抗示例”。研究对抗性示例对神经网络的影响可以帮助研究人员确定他们的模型如何容易受到现实世界中意外输入的影响。

例如,无人驾驶汽车可以使用CNN来处理视觉输入并产生适当的响应。如果汽车接近停车标志,它将识别该标志并停车。但一份2018年的论文发现,在停车标志上贴上某些黑白贴纸实际上可能使无人驾驶汽车的CNN误将其分类,这有可能导致其根本无法停车。

但是,还没有办法完全评估大型神经网络对所有测试输入的对抗性示例的适应性。在他们本周于国际学习表示会议上发表的一篇论文中,研究人员描述了一种技术,该技术可以针对任何输入找到一个对抗性示例,或保证所有扰动的输入(看起来仍然与原始输入相似)得到正确分类。 。这样,它可以衡量特定任务的网络健壮性。

确实存在类似的评估技术,但无法将其扩展到更复杂的神经网络。与那些方法相比,研究人员的技术运行速度快了三个数量级,并且可以扩展到更复杂的CNN。

研究人员评估了CNN的健壮性,该CNN旨在对MNIST手写数字数据集中的图像进行分类,该数据集包含60,000张训练图像和10,000张测试图像。研究人员发现,大约4%的测试输入会受到轻微干扰,以生成对抗性示例,从而导致模型做出错误的分类。

第一作者,计算机科学与人工智能实验室(CSAIL)的研究生Vincent Tjeng说:“专家的例子愚弄了神经网络,使人们犯了错误,而人类不会犯错。” 对于给定的输入,我们想确定是否有可能引入小的扰动,从而使神经网络产生比通常情况大不相同的输出。通过这种方式,我们可以评估不同神经网络的健壮性,找到至少一个类似于输入的对抗性示例,或者保证该输入不存在任何对抗性示例。”

CSAIL研究生Kai Xiao和CSAIL研究人员,电气工程与计算机科学系(EECS)的教授Russ Tedrake与Tjeng一同加入了论文。

CNN通过包含称为神经元的单元的许多计算层处理图像。对于对图像进行分类的CNN,最后一层由每个类别的一个神经元组成。CNN根据具有最高输出值的神经元对图像进行分类。考虑一个CNN,该CNN旨在将图像分为两类:“猫”或“狗”。如果处理猫的图像,则“猫”分类神经元的值应更高。当对该图像进行微小修改导致“狗”分类神经元的值更高时,就会出现一个对抗性示例。

研究人员的技术检查了图像每个像素的所有可能修改。基本上,如果CNN为每个修改后的图像分配了正确的分类(“猫”),则该图像不存在任何对抗性示例。

该技术的背后是“混合整数编程”的改进版本,这是一种优化方法,其中某些变量被限制为整数。本质上,给定变量变量的某些约束,可以使用混合整数编程来找到某个目标函数的最大值,并且可以将其设计为有效缩放以评估复杂神经网络的鲁棒性。

研究人员设定了限制,以允许每个输入图像中的每个像素变亮或变暗达某个设定值。在给定限制的情况下,修改后的图像仍将看起来与原始输入图像非常相似,这意味着不应欺骗CNN。混合整数编程用于查找对像素的最小可能修改,这些修改可能会导致错误分类。

这个想法是,调整像素可能会导致不正确分类的值上升。例如,如果将猫图像输入到宠物分类CNN中,该算法将不断扰动像素,以查看其是否可以将与“狗”相对应的神经元的值提高到高于“猫”的值。

如果该算法成功,则为输入图像找到至少一个对抗示例。该算法可以继续调整像素,以找到导致该错误分类所需的最小修改量。最小修改量越大(称为“最小对抗失真”),网络对对抗示例的抵抗力就越大。但是,如果针对修改后的像素的所有不同组合触发正确的分类神经元,则该算法可以保证图像没有对抗性示例。

Tjeng说:“鉴于一个输入图像,我们想知道是否可以以触发错误分类的方式对其进行修改。” “如果不能,那么我们可以保证我们搜索了允许修改的整个空间,发现没有错误分类的原始图像版本。”

最后,这将为有至少一个对抗示例的输入图像数量生成一个百分比,并确保其余图像没有任何对抗示例。Tjeng说,在现实世界中,CNN具有许多神经元,并将在具有数十种不同分类的海量数据集上进行训练,因此该技术的可扩展性至关重要。

他说:“在针对不同任务设计的不同网络中,对于CNN而言,应对对抗性示例至关重要。” “可以证明不存在对抗性示例的测试样本所占比例越大,当网络受到扰动的输入时,网络的性能就越好。”

萨尔大学(Saarland University)数学和计算机科学教授马蒂亚斯·海因(Matthias Hein)表示:“鲁棒性的可取界限非常重要,因为几乎所有[传统]防御机制都可能再次被打破。” “我们使用精确的验证框架来证明我们的网络确实很健壮……[并且]与正常训练相比,它也可以验证它们。”

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站不拥有所有权,不承担相关法律责任。如发现有侵权/违规的内容, 联系QQ1841324605,本站将立刻清除。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

联系我们

服务热线:130-0886-1890

QR code