人工智能的下一个重大威胁可能已经潜伏在网络上

人工智能专家警告说，针对用于训练机器学习工具的数据集的攻击成本低得令人担忧，并且可能会产生重大后果。

人工智能 (AI) 和机器学习专家警告数据中毒攻击的风险，这些攻击可能针对许多人工智能服务中常用于训练深度学习模型的大规模数据集。

当攻击者篡改用于创建深度学习模型的训练数据时，就会发生数据中毒。这一行动意味着有可能以难以追踪的方式影响人工智能做出的决策。

通过秘密更改用于训练机器学习算法的源信息，数据中毒攻击可能会非常强大，因为人工智能将从不正确的数据中学习，并可能做出“错误”的决定，从而产生严重后果。

目前没有证据表明现实世界中的攻击涉及网络规模数据集的中毒。但现在，来自谷歌、苏黎世联邦理工学院、NVIDIA 和 Robust Intelligence 的一组人工智能和机器学习研究人员表示，他们已经证明了中毒攻击的可能性，“保证”恶意示例将出现在用于训练的网络规模数据集中。最大的机器学习模型。

研究人员警告说：“虽然大型深度学习模型对随机噪声具有弹性，但即使训练集中的极少量对抗性噪声（即中毒攻击）也足以在模型行为中引入有针对性的错误。”

研究人员表示，通过使用他们设计的技术来利用数据集的工作方式，他们可以轻松且低成本地毒害 0.01% 的著名深度学习数据集。虽然 0.01% 听起来并不是很多数据集，但研究人员警告说，它“足以毒害模型”。

这种攻击被称为“分裂视图中毒”。如果攻击者能够控制由特定数据集索引的网络资源，他们可能会毒害所收集的数据，使其不准确，并有可能对整个算法产生负面影响。

攻击者实现此目标的一种方法是简单地购买过期域名。域名会定期过期，然后可以被其他人购买——这对于数据中毒者来说是一个绝佳的机会。

研究人员表示：“攻击者不需要知道客户端将来下载资源的确切时间：通过拥有该域名，攻击者可以保证未来的任何下载都会收集有毒数据。”

研究人员指出，购买域名并将其用于恶意目的并不是什么新想法——网络犯罪分子利用它来帮助传播恶意软件。但具有不同意图的攻击者可能会毒害大量数据集。

更重要的是，研究人员详细介绍了第二种类型的攻击，他们称之为抢先交易投毒。

在这种情况下，攻击者无法完全控制特定数据集，但他们能够准确预测何时访问 Web 资源以将其包含在数据集快照中。有了这些知识，攻击者就可以在收集信息之前毒害数据集。

即使信息在短短几分钟后恢复为原始的、未经操纵的形式，恶意攻击活动时拍摄的快照中的数据集仍然不正确。

维基百科是一种严重依赖于获取机器学习训练数据的资源。但维基百科的性质意味着任何人都可以对其进行编辑 - 根据研究人员的说法，攻击者“可以通过恶意编辑来毒害来自维基百科的训练集”。

维基百科数据集不依赖于实时页面，而是在特定时刻拍摄的快照 - 这意味着正确计时干预的攻击者可以恶意编辑页面并强制模型收集不准确的数据，这些数据将永久存储在数据集中。

“能够预测维基百科页面何时被抓取并包含在下一个快照中的攻击者可以在抓取之前立即进行投毒。即使在实时页面上快速恢复编辑，快照也将永远包含恶意内容， “研究人员写道。

维基百科使用记录完善的协议来生成快照的方式意味着可以高精度预测单个文章的快照时间。研究人员表示，利用该协议对维基百科页面进行毒害是可能的，成功率为 6.5%。

这个百分比听起来可能并不高，但维基百科页面的绝对数量以及它们用于训练机器学习数据集的方式意味着有可能向模型提供不准确的信息。

研究人员指出，他们没有编辑任何实时维基百科页面，并且作为负责任的披露过程的一部分，他们向维基百科通报了这些攻击以及防御这些攻击的潜在手段。 ZDNET 已联系维基百科征求意见。

研究人员还指出，发表这篇论文的目的是鼓励安全领域的其他人开展自己的研究，研究如何保护人工智能和机器学习系统免受恶意攻击。

该论文称：“我们的工作只是社区更好地理解从网络规模数据生成模型所涉及风险的一个起点。”