微软向公众发布其内部生成式人工智能红队工具

PyRIT 可以生成数千个恶意提示来测试一代 AI 模型，甚至对其响应进行评分。

尽管生成式人工智能（gen AI）模型具有先进的功能，但我们已经看到许多它们失控、产生幻觉或存在恶意行为者可以利用的漏洞的例子。为了帮助缓解这个问题，微软推出了一种工具，可以帮助识别生成人工智能系统中的风险。

周四，微软发布了用于生成人工智能的 Python 风险识别工具包（PyRIT），微软的人工智能红队一直在使用该工具来检查其生成人工智能系统（包括 Copilot）中的风险。

博文称，在过去的一年里，微软对 60 多个高价值的新一代人工智能系统进行了红队组建，通过这些系统，微软了解到这些系统的红队流程与经典人工智能或传统软件有很大不同。

这个过程看起来有所不同，因为除了负责任的人工智能风险之外，微软还必须考虑常见的安全风险，例如确保不会故意生成有害内容，或者模型不会输出虚假信息。

此外，一代人工智能模型的架构差异很大，并且相同输入产生的结果存在偏差，因此很难找到适合所有模型的简化流程。

因此，手动探测所有这些不同的风险最终会成为一个耗时、乏味且缓慢的过程。 Microsoft 表示，自动化可以通过识别需要更多关注的风险区域并自动执行日常任务来帮助红队，而这正是 PyRIT 的用武之地。

该工具包“经过微软人工智能团队的实战测试”，向生成式人工智能系统发送恶意提示，一旦收到响应，其评分代理就会给系统打分，然后根据评分发送新的提示。之前的评分反馈。

微软表示，PyRIT 的最大优势在于它帮助微软红队的工作更加高效，显着缩短了任务所需的时间。

“例如，在 Copilot 系统上的一次红队演习中，我们能够在几个小时内选择一个危害类别，生成数千个恶意提示，并使用 PyRIT 的评分引擎来评估 Copilot 系统的输出而不是几周，”微软在新闻稿中表示。

该工具包现已可供访问，其中包含一系列演示，可帮助用户熟悉该工具。微软还在 PyRIT 上举办了一场网络研讨会，演示如何在红队生成人工智能系统中使用它，您可以通过微软网站注册。