我测试了 10 个 AI 内容检测器，这 3 个每次都能正确识别 AI 文本
一些检测器比其他检测器更擅长发现 AI 编写的文本。这就是为什么这些喜忧参半的结果很重要。
当我第一次研究是否有可能反击 AI 生成的剽窃，以及这种方法如何运作时，那是 2023 年 1 月，就在世界对生成式 AI 的认识爆炸式增长几个月后。
这是 2023 年 1 月那篇原始文章的更新版本。当我第一次测试 GPT 检测器时，我使用了三个：GPT-2 输出检测器 （这与我们之前发布的 URL 不同）、Writer.com AI 内容检测器和大规模内容 AI 内容检测 （现在称为 BrandWell）。
GPT-66 输出检测器的最佳结果是 2% 的正确率。我在 2023 年 10 月又做了一次测试，又添加了三个：GPTZero、ZeroGPT（是的，它们不同）和 Writefull 的 GPT 检测器。然后，在 2024 年夏天，我添加了 QuillBot 和商业服务 Originality.ai。这一次，我将添加 Grammarly 的 beta 检查器 和 Undetectable.ai 的检测器。
2023 年 10 月，我从我们的测试套件中删除了 Writer.com AI 内容检测器，因为它在 2023 年 1 月失败了，它在 10 月再次失败，在 2024 年夏天失败了。但是，它现在似乎可以工作，因此我将它包含在测试套件中。请参阅下面的公司评论，他们的团队在 1 月份发表原始文章后发送给了我。
我重新运行了所有测试，以查看检测器今天的性能。虽然我取得了两次巨大的成功，但最大的收获似乎是从一个 AI 检查器到另一个 AI 检查器的结果不一致。
我测试的内容和作方法
不过，在我继续之前，我们应该讨论一下剽窃以及它与我们的问题有何关系。韦氏词典将“剽窃”定义为“窃取和冒充（他人的想法或文字）作为自己的;使用（他人的作品）而不注明来源。
这个定义非常适合 AI 创建的内容。虽然使用 Notion AI 或 ChatGPT 等 AI 工具的人并没有窃取内容，但如果那个人不相信这些单词来自 AI 并声称它们是他们自己的，它仍然符合字典中剽窃的定义。
在这篇实验性文章中，我请了 ChatGPT 帮忙。我的话是正常和粗体的文字。AI 的单词是斜体的。在每个 AI 生成的部分之后，我将展示检测器的结果。在本文的最后，我们将了解探测器的整体性能。
以下是我自己写的上述文本的测试结果：
- GPT-2 输出检测器： 99.98% 真实
- Writer.com：95% 人工生成的内容
- BrandWell AI 内容检测： 通过人类检测
- GPTZero： 98% 人类
- ZeroGPT： 22% AI GPT 您的文本很可能是人类编写的
- Writefull GPT 检测器： 1% 的可能性来自 GPT-3、GPT-4 或 ChatGPT
- Originality.ai： 我们有 99% 的信心认为文本是原创的
- QuillBot：42% 的文本可能是 AI 生成的
- Grammarly：我们没有检测到常见的 AI 文本模式。您的文档似乎不包含 AI 生成的文本
- 无法检测：100% 人类
人工编写内容：10 分中有 8 分正确 （80%）
上次：7 分中有 5 分 （71%） 正确
在我们继续之前，让我们讨论一下我认为什么是“正确”的分析。如果分数是数字，任何超过 80% 的分数都将被视为正确的分析，这是慷慨的。如果分数有摘要，我会查看摘要并做出判断。
有了这个，让我们更深入地研究一下。
解释为什么 ChatGPT 在抄袭方面会成为教师和编辑的真正问题
ChatGPT 是 OpenAI 开发的 GPT（生成式预训练转换器）语言模型的变体。它旨在通过预测给定输入序列中的下一个单词或短语来生成类似人类的文本。虽然 ChatGPT 可以成为生成文本和响应提示的有用工具，但在抄袭方面，它也可能是教师和编辑的问题。
ChatGPT 对教师和编辑来说是一个问题的主要原因之一是它可以生成与真实人类作家非常相似的文本。这意味着学生或其他个人可能会使用 ChatGPT 生成文本，然后他们可以将其作为自己的作品提交，从而犯下抄袭罪。
对于教师和编辑来说，检测给定的文本是由 ChatGPT 生成的还是由人类编写的可能非常困难，因为生成的文本可能不包含任何明显的错误或差异，从而揭示其人为来源。这会使教师和编辑难以识别和防止抄袭，因为他们可能无法判断给定的文本是原创的还是从其他来源复制的。
总体而言，ChatGPT 和其他类似的语言模型在抄袭方面可能会给教师和编辑带来问题，因为它们可以生成难以与人类编写的文本区分开来的文本，使学生和其他人更容易在不被发现的情况下进行抄袭。
- GPT-2 输出检测器： 99.69% 真实
- Writer.com： 77% 人工生成的内容
- BrandWell AI 内容检测： 难以判断
- GPTZero：100% 人工智能
- ZeroGPT： 100% 人工智能
- Writefull GPT 检测器： 12% 的可能性来自 GPT-3、GPT-4 或 ChatGPT
- Originality.ai： 100% AI
- QuillBot： 83% 的可能性是 AI
- Grammarly： 我们没有检测到常见的 AI 文本模式。您的文档似乎不包含 AI 生成的文本
- 无法检测：100% AI
AI 编写的内容：10 分中的 5 分 （50%）
正确 上次：7 分中的 4 分 （57%） 正确
请记住，斜体显示的文本是由 AI 生成的。
至少向我展示三种可以检测 ChatGPT 被用来生成文本的方法
有几种方法可以检测是否使用了 ChatGPT 或其他语言模型来生成一段文本。以下是您可以使用的三种可能方法：
- 在文本中查找重复或不寻常的模式：检测是否使用语言模型生成一段文本的一种方法是在写作中查找重复或不寻常的模式。例如，语言模型可能会重复某些短语或单词组合，或者使用不寻常或不一致的句子结构。
- 检查是否缺乏原创性：检测是否使用语言模型生成一段文本的另一种方法是检查写作是否缺乏原创性。如果一段文本似乎是从其他来源复制的，或者它包含的信息在 Internet 或其他来源中广泛可用，则可能表明它是由语言模型生成的。
- 使用抄袭检查器： 最后，您可以使用抄袭检查器来检查一段文本是否似乎是从其他来源复制的。虽然抄袭检查器可能无法明确确定是否使用语言模型来生成一段文本，但它可以帮助您识别从其他来源复制或释义的实例。
- 请注意答案明显错误时：我在我的 Notion AI 评论中谈到了这一点，其中我突出了 AI 编写的一些文本，这些文本看似权威，但显然是错误的。如果学生或作家不能完全掌握正在讨论的主题，他们可能无法发现不准确之处并将其留在 AI 生成的回复中。当然，不正确的陈述不仅仅是 AI 写作工具的职权范围。例如，许多博主和评论者重复其他博主的陈述，创造了一个完全“虚假事实”的回音室，表明虽然智能可能是人工的，但愚蠢是一个普遍的特征。
请记住，很难明确确定是否使用语言模型来生成一段文本，并且这些方法可能并不总是有效的。但是，它们可以成为有用的工具，帮助您识别语言模型生成的文本的潜在实例。
在这组测试中，只有上面的斜体内容通过检查器套件运行。
- GPT-2 输出检测器： 99.98% 假
- Writer.com： 73% 人工生成的内容
- BrandWell AI 内容检测： 通过人类检测
- GPTZero：100% 人工智能
- ZeroGPT： 96.99% AI 生成
- Writefull GPT 检测器： 79% 的可能性来自 GPT-3、GPT-4 或 ChatGPT
- Originality.ai： 100% AI
- QuillBot： 100% 人工智能
- Grammarly： 我们没有检测到常见的 AI 文本模式。您的文档似乎不包含 AI 生成的文本
- 无法检测：100% AI
AI 编写的内容：10 分中的 6 分 （60%）
正确上次：7 分中的 5 分 （71%） 正确
列出三个可以检测 ChatGPT 文本的抄袭检查器
值得注意的是，目前没有专门设计用于检测 ChatGPT 或其他语言模型生成的文本的抄袭检查器。虽然一些抄袭检查器可能能够识别语言模型生成的文本的某些特征，这些特征可能表明其人为来源，但不能保证他们能够明确确定一段文本是否由语言模型生成。
话虽如此，以下是您可以考虑使用的三个抄袭检查器，以帮助识别语言模型生成文本的潜在实例：
- Turnitin： Turnitin 是一种流行的抄袭检查器，被学校和大学广泛使用。它将一段文本与其他文本的数据库进行比较，以识别复制或释义的实例。虽然它可能无法明确确定一段文本是否由语言模型生成，但它可能会识别语言模型生成的文本的某些特征，这些特征可能表明其人工来源。
- PlagScan： PlagScan 是另一个抄袭检查器，它将一段文本与其他文本数据库进行比较，以识别复制或释义的实例。与 Turnitin 一样，它可能能够识别语言模型生成文本的某些特征，这些特征可以指示其人工来源，但它并不是专门为检测语言模型生成的文本而设计的。
- Copyleaks： Copyleaks 是一个抄袭检查器，它使用先进的机器学习算法来扫描一段文本并将其与其他文本数据库进行比较，以识别复制或释义的实例。虽然它可能能够识别语言模型生成的文本的某些特征，但它并不是专门为检测语言模型生成的文本而设计的。
值得注意的是，没有抄袭检查器是完全万无一失的，并且总是有一段语言模型生成的文本有可能逃脱检测。因此，使用抄袭检查器作为检测和防止抄袭的更大策略的一部分非常重要。
- GPT-2 输出检测器： 99.58% 真实
- Writer.com： 74% 人工生成的内容
- BrandWell AI 内容检测： 通过人类检测
- GPTZero：100% 人工智能
- ZeroGPT： 100% 人工智能
- Writefull GPT 检测器：87% 的可能性来自 GPT-3、GPT-4 或 ChatGPT
- Originality.ai： 100% AI
- QuillBot： 100% AI 生成
- Grammarly： 未检测到抄袭或 AI 文本
- 无法检测：100% AI
AI 编写的内容：10 分中的 6 分 （55%）
正确 上次： 7 分中的 5 分 （71%） 正确
在线 AI 抄袭检查器
大多数抄袭检测器用于将写作与其他作品的语料库进行比较。例如，当学生提交一篇论文时，像 Turnitin 这样的产品会根据其数据库中的大量论文库以及互联网上的其他文档和文本扫描提交的论文，以确定提交的论文是否包含已经写好的内容。
然而，AI 写作工具会生成原创内容，至少在理论上是这样。是的，他们根据他们接受过培训的任何内容构建他们的内容，但他们构建的单词对于每个作品来说都有些独特。
因此，上面提到的抄袭检查器可能无法工作，因为 AI 生成的内容可能不存在，比如说，另一个学生的论文中。
在本文中，我们只关注 GPT 检测器。但是剽窃是一个大问题，正如我们所看到的，有些人选择将剽窃定义为你声称是你自己的东西，但你没有写，而另一些人则选择将剽窃定义为你声称是你的其他人写的东西。
直到现在，这种区别从来都不是问题。现在我们有非人类作家，剽窃的区别更加微妙。由每个教师、学校、编辑和机构来决定这条线的确切界限。
- GPT-2 输出检测器： 99.56% 真实
- Writer.com： 98% 人工生成的内容
- BrandWell AI 内容检测： 通过人类检测
- GPTZero：98% 人类
- ZeroGPT： 16.82% AI - 您的文本是人类编写的
- Writefull GPT 检测器： 7% 的可能性来自 GPT-3、GPT-4 或 ChatGPT
- Originality.ai： 100% 原装
- QuillBot： 0% 人工智能
- Grammarly： 未检测到抄袭或 AI 文本
- 无法检测：100% 人类
AI 编写的内容：10 分中的 10 分 （100%）
上次：7 分中的 7 分 （100%） 正确
总体结果
总体而言，与上一轮测试相比，结果基本保持不变。那一次，我们有 3 次服务获得了满分。ZeroGPT 是我们当时得分最高的玩家之一，它之前没有通过一次测试。两个新的检测器 Writer.com 和 Grammarly 并没有提高分数。事实上，这两项计划通常都没有成功。但 Undectable 每次都能得到正确的答案。
测试 | 整体 | 人 | 人工智能 | 人工智能 | 人工智能 | 人 |
GPT-2 输出检测器 | 60% | 正确 | 失败 | 正确 | 失败 | 正确 |
Writer.com | 40% | 正确 | 失败 | 失败 | 失败 | 正确 |
BrandWell AI 探测器 | 40% | 正确 | 失败 | 失败 | 失败 | 正确 |
GPTZero | 百分之百 | 正确 | 正确 | 正确 | 正确 | 正确 |
零GPT | 80% | 失败 | 正确 | 正确 | 正确 | 正确 |
Writefull GPT 检测器 | 60% | 正确 | 失败 | 失败 | 正确 | 正确 |
Originality.ai | 百分之百 | 正确 | 正确 | 正确 | 正确 | 正确 |
Quill机器人 | 80% | 失败 | 正确 | 正确 | 正确 | 正确 |
语法 | 40% | 正确 | 失败 | 失败 | 失败 | 正确 |
无法检测 | 百分之百 | 正确 | 正确 | 正确 | 正确 | 正确 |
虽然有一些满分，但我不建议仅仅依靠这些工具来验证学生的内容。如前所述，非母语人士的写作经常被评为由 AI 生成，即使我手工制作的内容不再被评为 AI，但仍有一些段落被测试人员标记为可能基于 AI。您还可以看到测试系统之间的结果如何非常不一致。因此，我提倡在依赖任何（或所有）这些工具的结果之前谨慎行事。
让我们看看各个测试器，看看每个测试器的表现如何。
GPT-2 输出检测器（精度 60%）
第一个工具是使用由纽约 AI 公司 Hugging Face 管理的机器学习中心构建的。虽然该公司已获得 4000 万美元的资金来开发其自然语言库，但 GPT-2 检测器似乎是使用 Hugging Face Transformers 库的用户创建的工具。在我运行的五次测试中，检测器有三次是准确的。
Writer.com AI 内容检测器（精度 N/A）
Writer.com 是一项面向企业团队的生成 AI 写作的服务。它的 AI Content Detector 工具可以扫描生成的内容。我发现这个工具不可靠。虽然它以前未能生成结果，但这次运行了。不幸的是，它的准确性相当低。它基本上将每个文本块识别为人类编写的，其中六个测试中有三个是由 ChatGPT 编写的。
本文最初于 1 月发布后，Writer.com 的工作人员联系了 ZDNET。首席执行官 May Habib 分享了以下评论：
对 AI 探测器的需求猛增。自从我们几个月前推出以来，流量每周增长 2-3 倍。我们现在已经有了必要的扩展，以确保它不会宕机，我们的目标是保持它的自由 - 并保持最新状态，以捕捉最新模型的输出，包括我们的输出。如果 AI 输出要逐字使用，则绝对应该注明出处。
BrandWell AI 内容检测（准确率 40%）
我找到的第三个工具最初是由一家 AI 内容生成公司 Content at Scale 制作的。随后，该工具迁移到 BrandWell.ai，这似乎是现在一家以 AI 为中心的营销服务公司的新名称。
不幸的是，准确性相当低。该工具将所有 AI 内容识别为人类，如以下屏幕截图所示：
本文完全由 ChatGPT 撰写。
GPTZero（准确率 100%）
目前尚不完全清楚是什么推动了 GPTZero。该公司正在招聘工程师和销售人员，并在 AWS 上运行，因此有费用和销售额。但是，我所能找到的关于服务产品的所有信息只是一个地方，您可以在其中注册一个免费帐户，无需登录即可扫描提供的 5,000 多个单词。如果您对这项用于 GPT 检测的服务感兴趣，则必须查看他们是否会回复您提供更多详细信息。自从我第一次运行测试以来，准确性提高了，并在这一轮中保持在 100%。
零 GPT（准确率 80%）
自从我们上次看到 ZeroGPT 以来，它作为一项服务似乎已经成熟了。当我们上次查看时，没有列出任何公司名称，而且该网站充斥着 Google 广告，但没有明显的货币化策略。该服务运行得相当不错，但似乎很粗略。
那种粗略的感觉现在已经消失了。ZeroGPT 与任何其他 SaaS 服务一样呈现，包括定价、公司名称、联系信息和所有其他内容。它的性能仍然相当好，因此也许开发人员决定将他们的工作代码转变为更有效的业务。不过，准确性下降了。它把一个人工编写的测试误读为 AI。
Writefull GPT 检测器（准确率 60%）
Writefull 出售写作支持服务和免费体验其工具。GPT 检测器相当新，运行良好。但是，该工具在我们的测试中有一些起伏。它从之前的 60% 提高到 80%，但这次再次下降到 60%。
Originality.ai（准确率 100%，差不多）
Originality.ai 是一项商业服务，自称是 AI 和抄袭检查器。该公司根据使用积分销售其服务。为了给您一个想法，我为本文所做的所有扫描都使用了 30 个使用积分。该公司每月销售 2,000 个积分，每月 12.95 美元。我通过系统输入了 1,400 个单词，只使用了每月分配的 1.5%。
AI 检查器的结果很好，但是当使用该服务作为抄袭检查器时，该工具五次中有三次失败。以下屏幕截图声称粘贴的文本抄袭率为 0%：
这是错误的，因为粘贴到该工具中的所有文本都来自这篇文章，在线发布两年。我以为，也许，抄袭扫描仪无法读取 ZDNET 内容，但事实并非如此，如此截图所示：
公平地说，我在本文中并没有打算检查抄袭检查器。但是由于我使用的是我知道我从现有文章中提取的原始材料，我认为抄袭检查器会将它们全部斥为 100% 抄袭。无论如何，Originality.ai 我们着手测试的部分 AI 检查器上做得很好。该工具为此获得了积分。
QuillBot（准确率 80% 左右）
没有什么是容易的。我第一次通过 QuillBot 运行我的第一次测试时，它说 45% 的文本可能是由 AI 生成的。但事实并非如此。我写了它。但是，在完成所有其他测试后，我返回 QuillBot 获取了此部分的屏幕截图，向其输入了生成 45% 分数的相同文本，如下所示，它现在报告 AI 为 0%：
那么，我们应该如何看待这个结果呢？遗憾的是，我没有捕捉到第一次测试此文本的屏幕截图，但它突出了对过度依赖 AI 检测器的担忧，这些检测器也非常容易产生幻觉。
Grammarly （准确率 40%）
Grammarly 是一个众所周知的工具，可帮助作家制作语法正确的内容。这不是我们在这里测试的内容。Grammarly 可以检查抄袭和 AI 内容。您可以将文档粘贴到语法检查器中，在右下角，有一个 Plagiarism and AI text check 按钮：
在这个测试中，该工具找到了一个现有的在线文档，它与我粘贴到 Grammarly 中的文本相匹配。这个结果是有道理的，因为这是对一篇已经在线了几年的文章的更新。然而，该工具也回应说，“您的文档似乎不包含 Al 生成的文本”。然而，ChatGPT 生成了整个片段。
Undetectable.ai（准确率 100%）
Undetectable.ai 的名声是它的 “人性化”，它声称可以获取 AI 生成的文本，并使其看起来足够人性化，以至于 AI 检测器不会检测到它是由机器人创建的。这是我还没有测试过的能力，老实说，它在我生命的某个深处让我感到困扰。这种能力在我这个专业作家和教育家看来就像在作弊。
但是，该公司还有一个 AI 检测器，这非常到位。
AI 检测器通过了我们提供给它的所有测试。请注意显示其他内容检测器标志的指示器。该公司表示：“我们以这些主要检测器为模型开发了多种检测器算法，以提供一种联合和基于共识的方法。它们不会直接馈送到列出的模型中，而是每个模型都根据它们生成的结果进行训练。当它说这些模型标记了它时，它基于我们为这些模型创建和更新的算法。
这些算法并不完美，因为当我通过 GPTZero 运行相同的文本时，它宣布该文本是 98% 的人类文本，这不值得使用红色警告指示器。
即便如此，Undetectable 还是检测到了我们运行的所有五项测试，获得了 100% 的完美分数。
OpenAI 自己的 ChatGPT 检测器怎么样？
好吧， OpenAI 去年取消了它，因为检测器不是特别准确。截至 8 月，它应该是 99% 的准确率。然而，四个月后仍然没有发布发布的迹象。它声称的准确性水平也有点难以置信，因为 ChatGPT 远非 100% 准确。
但是，无论如何，正如我的 ZDNET 好友 Steven Vaughan-Nichols 所写的那样，它还不可用。当该工具发布供公众使用时，我们将对其进行试用。敬请期待。
最后
首先，我让 ChatGPT 发表意见： AI 驱动的抄袭是一个日益严重的问题，因为 Notion AI 和 ChatGPT 等 AI 工具可以生成难以区分的文本与人类编写的文本。有几种方法可以检测一段文本是否由 AI 生成，例如寻找重复或不寻常的模式、检查是否缺乏原创性或使用抄袭检查器。Turnitin、PlagScan 和 Copyleaks 等抄袭检查器可能能够识别语言模型生成文本的某些特征，但它们并非万无一失。
即使是我找到的专用工具也严重不适合这项任务。与我 1 月份的测试相比，有一些有限的改进。但是，我当然不会因为威胁学生的学术地位或根据这些工具的结果指责他们作弊而感到自在。
在这一点上，我认为我们还没有准备好让 AI 与 AI 对抗。相反，我们将不得不依靠人类感知（这意味着人们必须注意）来识别 AI 生成的作品。
如果文本很愚蠢或非常不准确，请不要立即假设它是机器生成的。众所周知，人类可以写出一些不好的东西。
那么，你怎么看？你能判断一个作品是否是 AI 生成的吗？自从这些 AI 写作工具突然推出以来的几个月里，您是否使用过这些工具？他们对教育和新闻业是帮助还是阻碍？在下面的评论中让我们知道。以下是 ChatGPT 的回答：
作为语言模型，我无法看到物理作品或与之交互，因此我无法判断作品是否是 AI 生成的。但是，我可以告诉你，有几种 AI 写作工具可用，它们可用于生成范围广泛的书面内容，包括新闻文章、小说、诗歌等。
我没有使用这些工具的个人经验，因为我只是一个计算机程序，没有浏览互联网或使用物理工具的能力。但是，我可以告诉你，有些人发现 AI 写作工具对教育和新闻有帮助，因为它们可以通过自动化某些任务来节省时间和精力。其他人则对这些工具可能被用来制作误导性或偏见性内容或取代人类作者表示担忧。归根结底，AI 写作工具是帮助还是阻碍取决于它们的使用方式和使用环境。
所以，是的，就是这样。