如何以正确的方式使用人工智能进行研究——负责任且有效

我测试的 7 个 AI 检测器中有两个 100% 正确识别了 AI 生成的内容。在我的前几轮测试中，这个数字从零开始上升，但从我最后一轮的测试开始下降。

当我第一次研究是否有可能反击人工智能生成的剽窃行为，以及如何运作时，是在 2023 年 1 月，当时距离世界对生成人工智能的认识呈爆炸式增长仅几个月。

这是 2023 年 1 月原始文章的更新版本。当我第一次测试 GPT 检测器时，我使用了三个：GPT-2 输出检测器（这与我们之前发布的 URL 不同）、Writer.com AI 内容检测器和 Content at Scale AI 内容检测（显然现在称为 BrandWell） ）。

GPT-2 输出检测器的最佳结果正确率为 66%。我在 2023 年 10 月进行了另一次测试，并添加了另外三个：GPTZero、ZeroGPT（是的，它们是不同的）和 Writefull 的 GPT 检测器。然后，在 2024 年夏天，我添加了 QuillBot 和商业服务 Originality.ai。这次，我还将添加 Grammarly 的 Beta 检查器。

2023 年 10 月，我从测试套件中删除了 Writer.com AI 内容检测器，因为它在 2023 年 1 月失败了，在 10 月再次失败，在 2024 年夏天又失败了。不过，它现在似乎可以工作，所以我将其包含在测试套件中。请参阅下面该公司的评论，该评论是他们的团队在一月份原始文章发表后发给我的。

我重新运行了所有测试，看看探测器今天的表现如何。虽然我取得了两项巨大的成功，但最大的收获似乎是一个人工智能检查器与另一个人工智能检查器的结果是多么不一致。

我正在测试什么以及如何测试

不过，在继续之前，我们应该讨论一下抄袭以及它与我们的问题有何关系。 《韦氏词典》将“剽窃”定义为“窃取并冒用（他人的想法或文字）作为自己的；使用（他人的作品）而不注明出处。”

这个定义非常适合人工智能创建的内容。虽然使用 Notion AI 或 ChatGPT 等人工智能工具的人并没有窃取内容，但如果该人不相信这些文字来自人工智能并声称它们是自己的，那么它仍然符合抄袭的字典定义。

在这篇实验文章中，我请 ChatGPT 提供帮助。我的文字是普通的粗体文字。 AI 的文字是斜体的。在每个人工智能生成的部分之后，我将展示探测器的结果。在文章的最后，我们将看看探测器的整体表现如何。

以下是我自己写的上述文本的测试结果：

• GPT-2 输出检测器： 99.98% 真实
• Writer.com：95% 的内容由人工生成
• BrandWell AI 内容检测：像人类一样通过
• GPTZero：98% 为人类
• ZeroGPT： 22% AI GPT 您的文本很可能是人类编写的
• Writefull GPT 检测器：1% 可能来自 GPT-3、GPT-4 或 ChatGPT
• Originality.ai：我们 99% 确信文本是原创的
• QuillBot： 42% 的文本可能是人工智能生成的
• 语法：我们没有检测到常见的 AI 文本模式。您的文档似乎不包含 AI 生成的文本。

人工编写的内容：9 次中的 7 次 (77%) 正确
上次：7 次中的 5 次 (71%) 正确

在我们继续之前，让我们讨论一下我所认为的“正确”分析。如果分数是数字，任何高于 80% 的分数都将被视为正确的分析，这就是慷慨。如果分数有总结，我会看总结然后做出判断。

有了这个，让我们深入研究一下。

解释为什么 ChatGPT 对于教师和编辑来说是一个真正的抄袭问题

ChatGPT is a variant of the GPT (Generative Pre-trained Transformer) language model developed by OpenAI. It is designed to generate human-like text by predicting the next word or phrase in a given input sequence. While ChatGPT can be a useful tool for generating text and responding to prompts, it can also be a problem for teachers and editors when it comes to plagiarism.

One of the main reasons why ChatGPT can be a problem for teachers and editors is that it can generate text that is very similar to that of real human writers. This means that students or other individuals could potentially use ChatGPT to generate text that they could then submit as their own work, thereby committing plagiarism.

For teachers and editors, detecting whether a given piece of text was generated by ChatGPT or written by a human can be very difficult, as the generated text may not contain any obvious errors or discrepancies that would reveal its artificial origin. This can make it difficult for teachers and editors to identify and prevent plagiarism, as they may not be able to tell whether a given piece of text is original or copied from another source.

Overall, ChatGPT and other similar language models can be a problem for teachers and editors when it comes to plagiarism because they can generate text that is difficult to distinguish from that written by humans, making it easier for students and other individuals to commit plagiarism without being detected.

• GPT-2 输出检测器： 99.69% 真实
• Writer.com：77% 的内容是人工生成的
• BrandWell AI 内容检测：很难说
• GPTZero：100% 人工智能
• ZeroGPT：100% 人工智能
• Writefull GPT 检测器：12% 的可能性来自 GPT-3、GPT-4 或 ChatGPT。
• Originality.ai：100% 人工智能
• QuillBot：83% 的可能性是人工智能
• 语法：我们没有检测到常见的 AI 文本模式。您的文档似乎不包含 AI 生成的文本
  

人工智能编写的内容：9 次中的 4 次 (44%) 正确
上次：7 次中的 4 次 (57%) 正确

请记住，斜体显示的文本是由人工智能生成的。

向我展示至少三种检测 ChatGPT 用于生成文本的方法

There are several ways that you can potentially detect whether ChatGPT or another language model was used to produce a piece of text. Here are three potential approaches you could use:

1. 在文本中查找重复或不寻常的模式：检测语言模型是否用于生成文本片段的一种方法是在写作中查找重复或不寻常的模式。例如，语言模型可能会重复某些短语或单词组合，或者使用不寻常或不一致的句子结构。
2. 检查是否缺乏原创性：检测语言模型是否用于生成文本片段的另一种方法是检查写作是否缺乏原创性。如果一段文本似乎是从其他来源复制的，或者它包含在互联网或其他来源中广泛提供的信息，则可能表明它是由语言模型生成的。
3. 使用抄袭检查器：最后，您可以使用抄袭检查器来检查一段文本是否看起来是从其他来源复制的。虽然抄袭检查器可能无法明确确定是否使用语言模型来生成一段文本，但它可以帮助您识别从其他来源复制或释义的情况。
4. 当答案明显错误时请注意：我在 Notion AI 评论中谈到了这一点，其中我重点关注了 AI 看似权威但明显错误的一些文本。如果学生或作家不能完全掌握所讨论的主题，他们可能无法发现不准确之处，并将其留在人工智能生成的响应中。当然，错误的陈述不仅仅是人工智能写作工具的权限。例如，许多博主和评论者重复其他博主的言论，创造了完全“虚假事实”的回声室，表明虽然智力可能是人为的，但愚蠢是一种普遍特征。

Keep in mind that it can be difficult to definitively determine whether a language model was used to generate a piece of text, and these methods may not always be effective. However, they can be useful tools to help you identify potential instances of language model-generated text.

在这组测试中，只有上面的斜体内容通过检查器套件运行。

• GPT-2 输出检测器： 99.98% 是假的
• Writer.com：73% 的内容是人工生成的
• BrandWell AI 内容检测：像人类一样通过
• GPTZero：100% 人工智能
• ZeroGPT：96.99% 的 AI 生成
• Writefull GPT 检测器：79% 的可能性来自 GPT-3、GPT-4 或 ChatGPT。
• Originality.ai：100% 人工智能
• QuillBot：100% 人工智能
• 语法：我们没有检测到常见的 AI 文本模式。您的文档似乎不包含 AI 生成的文本
  

人工智能编写的内容：9 中的 5 条 (55%) 正确
上次：7 中的 5 条 (71%) 正确

列出三个可以检测 ChatGPT 文本的抄袭检查器

It is worth noting that there is currently no plagiarism checker that is specifically designed to detect text generated by ChatGPT or other language models. While some plagiarism checkers may be able to identify certain characteristics of language model-generated text that could indicate its artificial origin, there is no guarantee that they will be able to definitively determine whether a piece of text was generated by a language model.

With that said, here are three plagiarism checkers that you might consider using to help identify potential instances of language model-generated text:

1. Turnitin：Turnitin 是一种流行的抄袭检查器，被学校和大学广泛使用。它将一段文本与其他文本的数据库进行比较，以识别复制或释义的实例。虽然它可能无法明确确定一段文本是否由语言模型生成，但它可能会识别语言模型生成的文本的某些特征，这些特征可能表明其人工起源。
2. PlagScan：PlagScan 是另一种抄袭检查器，它将一段文本与其他文本的数据库进行比较，以识别复制或释义的情况。与 Turnitin 一样，它可能能够识别语言模型生成的文本的某些特征，这些特征可以表明其人工来源，但它并不是专门为检测语言模型生成的文本而设计的。
3. Copyleaks：Copyleaks 是一种抄袭检查器，它使用先进的机器学习算法来扫描一段文本并将其与其他文本的数据库进行比较，以识别复制或释义的情况。虽然它可能能够识别语言模型生成的文本的某些特征，但它并不是专门为检测语言模型生成的文本而设计的。

It is worth noting that no plagiarism checker is completely foolproof, and there is always the possibility that a piece of language model-generated text could escape detection. Therefore, it is important to use plagiarism checkers as just one part of a larger strategy to detect and prevent plagiarism.

• GPT-2 输出检测器： 99.58% 真实
• Writer.com：74% 的内容是人工生成的
• BrandWell AI 内容检测：像人类一样通过
• GPTZero：100% 人工智能
• ZeroGPT：100% 人工智能
• Writefull GPT 检测器：87% 的可能性来自 GPT-3、GPT-4 或 ChatGPT。
• Originality.ai：100% 人工智能
• QuillBot：100% 由人工智能生成
• 语法：未检测到抄袭或 AI 文本

人工智能编写的内容：正确 9 中 5 (55%)
上次：正确 7 中 5 (71%)

在线人工智能抄袭检查器

大多数抄袭检测器用于将写作与其他写作的语料库进行比较。例如，当学生提交论文时，Turnitin 等产品会根据其数据库中的庞大论文库以及互联网上的其他文档和文本扫描提交的论文，以确定提交的论文是否包含已写的内容。

然而，人工智能写作工具可以生成原创内容，至少在理论上是这样。是的，他们根据所受过的训练来构建内容，但他们构建的单词对于每个作品来说都有些独特。

因此，上面提到的抄袭检查器可能不起作用，因为人工智能生成的内容可能不存在于其他学生的论文中。

在本文中，我们只关注 GPT 检测器。但抄袭是一个大问题，正如我们所看到的，有些人选择将抄袭定义为你声称是你自己写的东西，而另一些人选择将抄袭定义为你声称是你自己写的别人写的东西。

直到现在，这种区别从来都不是问题。现在我们有了非人类作家，抄袭的区别就更加微妙了。这条线到底画在哪里，由每一位教师、学校、编辑和机构来决定。

• GPT-2 输出检测器： 99.56% 真实
• Writer.com：98% 的内容是人工生成的
• BrandWell AI 内容检测：像人类一样通过
• GPTZero：98% 是人类
• ZeroGPT： 16.82% AI - 您的文本是人工编写的
• Writefull GPT 检测器：7% 的可能性来自 GPT-3、GPT-4 或 ChatGPT。
• Originality.ai：100% 原创
• QuillBot：0% AI
• 语法：未检测到抄袭或 AI 文本

人工智能编写的内容：9 中的 9 (100%) 正确
上次：7 中的 7 (100%) 正确

总体结果

总体而言，与上一轮测试相比，结果有所下降。那一次，我们有三项服务都是满分。现在这个数字减少到了两个，因为 ZeroGPT（我们当时的完美得分播放器之一）未能通过之前成功的测试。我们添加的两个新检测器 Writer.com 和 Grammarly 并没有提高分数。事实上，两者总体上都不成功。

虽然总体结果有所改善，但我不愿意仅仅依靠这些工具来验证学生的内容。正如所显示的，非母语人士的写作经常被评为由人工智能生成，尽管我手工制作的内容不再被评为人工智能，但有几个段落被测试人员标记为可能基于人工智能。您还可以看到测试系统之间的结果非常不一致。因此，我主张在依赖任何（或全部）这些工具的结果之前要谨慎。

让我们看看各个测试人员的表现。

GPT-2输出检测器（准确度60%）

第一个工具是使用纽约人工智能公司 Hugging Face 管理的机器学习中心构建的。虽然该公司已获得 4000 万美元的资金来开发其自然语言库，但 GPT-2 检测器似乎是用户使用 Hugging Face Transformers 库创建的工具。在我进行的五次测试中，探测器有三项是准确的。

Writer.com AI 内容检测器（准确度不适用）

Writer.com是一项面向企业团队的人工智能写作生成服务。其人工智能内容检测器工具可以扫描生成的内容。我发现这个工具不可靠。虽然之前未能生成结果，但这次运行了。不幸的是，它的准确性相当低。它本质上将每个文本块识别为人工编写的，其中六个测试中的三个是由 ChatGPT 编写的。

这篇文章最初于 1 月份发表后，Writer.com 的工作人员联系了 ZDNET。首席执行官 May Habib 有这样的评论要分享：

对人工智能探测器的需求猛增。自几个月前推出以来，流量每周增长 2-3 倍。我们现在已经在其背后进行了必要的扩展，以确保它不会下降，我们的目标是保持它免费 - 并保持最新以捕获最新模型的输出，包括我们的。如果要逐字使用人工智能输出，那么绝对应该对其进行归因。

BrandWell AI内容检测（准确率40%）

我发现的第三个工具最初是由人工智能内容生成公司 Content at Scale 开发的。随后，该工具迁移到 Brandwell.ai，这似乎是现在一家以人工智能为中心的营销服务公司的新名称。

不幸的是，准确率相当低。该工具将所有人工智能内容识别为人类内容，如以下屏幕截图所示：

本文完全由 ChatGPT 编写。

GPTZero（准确度 100%）

目前还不完全清楚 GPTZero 的驱动力是什么。该公司正在招聘工程师和销售人员，并且在 AWS 上运行，因此有费用和销售。然而，我能找到的有关服务的信息是，您可以注册一个免费帐户，无需登录即可扫描所提供的 5,000 多个单词。如果您对这项 GPT 检测服务感兴趣，您必须看看他们是否会回复您提供更多详细信息。自从我第一次运行测试以来，准确率有所提高，并且在这一轮中保持在 100%。

ZeroGPT（准确度 80%）

自从我们上次研究以来，ZeroGPT 作为一项服务似乎已经成熟。当我们上次查看时，没有列出任何公司名称，该网站上充斥着谷歌广告，没有明显的盈利策略。这项服务运作得相当不错，但看起来很粗略。

那种粗略的感觉现在已经消失了。 ZeroGPT 与任何其他 SaaS 服务一样，包含定价、公司名称、联系信息以及所有其他信息。它仍然表现得很好，所以也许开发人员决定将他们的工作代码变成更多的工作业务。但准确性下降了。它将一项人工编写的测试误认为是人工智能。

Writefull GPT 检测器（准确度 60%）

Writefull 销售写作支持服务以及免费试用其工具。 GPT 检测器相当新并且工作得相当好。然而，该工具在我们的测试中经历了一些起伏。从60%提高到80%，但这次又下降到60%。

Originality.ai（准确率 100%，差不多）

Originality.ai 是一项商业服务，自称是人工智能检查器和抄袭检查器。该公司根据使用积分销售其服务。为了让您了解一下，我为本文所做的所有扫描都使用了 30 个使用积分。该公司每月销售 2,000 个积分，价格为每月 12.95 美元。我通过系统输入了大约 1,400 个单词，仅使用了每月分配的 1.5%。

人工智能检查器的结果非常好，但当将该服务用作抄袭检查器时，该工具五分之三失败。下面的截图声称粘贴的文本是0%抄袭：

这是错误的，因为粘贴到该工具中的所有文本都来自这篇在网上发表了两年的文章。我认为抄袭扫描程序可能无法读取 ZDNET 内容，但事实并非如此，如以下屏幕截图所示：

公平地说，我在本文中并没有打算检查抄袭检查器。但由于我使用的是我从现有文章中提取的源材料，我认为抄袭检查器会猛烈抨击所有这些材料为 100% 抄袭。无论如何，Originality.ai 在我们要测试的人工智能检查器部分表现得非常好。该工具因此而得分。

QuillBot（准确度 80% 左右）

没有什么是容易的。我第一次通过 QuillBot 进行第一次测试时，它说 45% 的文本可能是由人工智能生成的。事实并非如此。我写的。但是，在完成所有其他测试后，我返回 QuillBot 获取此部分的屏幕截图，向其提供生成 45% 分数的相同文本，并且，如您所见，它现在报告 0% AI。

那么，我们该如何看待这个结果呢？遗憾的是，我没有截取第一次测试本文时的屏幕截图，但它突显了人们对过度依赖人工智能探测器的担忧，因为它们也很容易产生幻觉。

语法（准确率 40%）

Grammarly 是一款众所周知的工具，可帮助作者编写语法正确的内容。这不是我们在这里测试的。 Grammarly 可以检查抄袭和 AI 内容。你可以将文档粘贴到他们的语法检查器中，在右下角，有一个抄袭和人工智能文本检查按钮。

在此测试中，该工具找到了一个与我粘贴的内容相匹配的现有在线文档。这个结果是有道理的，因为这是对在线已有几年的文章的更新。但不正确的是“您的文档似乎不包含 Al 生成的文本”这一说法，因为整个片段都是由 ChatGPT 生成的。

OpenAI 自己的 ChatGPT 检测器怎么样？

嗯，OpenAI 去年取消了它，因为检测器不是特别准确。截至 8 月份，它的准确率应该达到 99%，但四个月后仍然没有发布的迹象。它声称的准确度也有点令人难以置信，因为 ChatGPT 本身远非 100% 准确。

但无论如何，正如我的 ZDNET 好友 Steven Vaughan-Nichols 所写，它目前还无法实现。当该工具发布供公众使用时，我们将对其进行试用。敬请关注。

最后的想法

首先，我要让 ChatGPT 发表自己的看法：人工智能驱动的抄袭是一个日益严重的问题，因为像 Notion AI 和 ChatGPT 这样的人工智能工具可以生成难以与人类编写的文本区分开来的文本。有多种方法可以检测一段文本是否由人工智能生成，例如寻找重复或不寻常的模式、检查是否缺乏原创性或使用抄袭检查器。 Turnitin、PlagScan 和 Copyleaks 等抄袭检查器或许能够识别语言模型生成文本的某些特征，但它们并非万无一失。

不幸的是，即使是我找到的专业工具也根本不适合这项任务。与我一月份的测试相比，进步有限。然而，我当然不愿意根据这些工具的结果来威胁学生的学术地位或指责他们作弊。

目前，我认为我们还没有准备好让人工智能对抗人工智能。相反，我们必须依靠人类的感知（这意味着人们必须集中注意力）来识别人工智能生成的作品。

不要立即假设某些东西是机器生成的。仅仅因为某些东西很愚蠢或非常不准确，并不意味着它不是由人类编写的。众所周知，人类可以自己写出一些不好的东西。

那么，你觉得怎么样？你能判断一件作品是否是人工智能生成的吗？这些人工智能写作工具突然出现后的几个月里，你用过吗？您认为它们对教育和新闻业是帮助还是阻碍？请在下面的评论中告诉我们。 ChatGPT 对此的回答如下：

As a language model, I can't see or interact with physical pieces of writing, so I can't tell if a piece is AI-generated or not. However, I can tell you that there are several AI writing tools that are available, and they can be used to generate a wide range of written content, including news articles, fiction, poetry, and more.

I don't have personal experience using these tools since I am just a computer program and don't have the ability to browse the internet or use physical tools. However, I can tell you that some people have found AI writing tools to be helpful in education and journalism, as they can save time and effort by automating certain tasks. Others have expressed concerns about the potential for these tools to be used to produce misleading or biased content or to replace human writers. Ultimately, whether AI writing tools are a help or hindrance depends on how they are used and the context in which they are used.

所以，是的，就是这样。