为了乐趣、利润和道德而按摩 AI 语言模型

AI 语言模型真的展示了智能吗？道德呢？可以调整它们吗，如果可以，谁可以这样做，我们其他人怎么知道？

统计数据等同于理解吗？AI 有道德指南针吗？从表面上看，这两个问题似乎同样异想天开，答案也同样明显。随着 AI 炒作的回荡;然而，这类问题似乎注定会一次又一次地被问到。最先进的研究有助于探索。

AI 语言模型和人工管理

几十年前，AI 研究人员在很大程度上放弃了构建模仿我们极其灵活的人类智能的计算机的追求，而是创造了有用的算法（即有利可图的算法）。一些 AI 爱好者将他们的创造推销为真正的智能，尽管走了可以理解的弯路， Gary N. Smith 在 Mind Matters 上写道。

史密斯是波莫纳学院 （Pomona College） 的弗莱彻·琼斯经济学教授。他对金融市场、统计推理和人工智能的研究经常涉及股票市场异常、统计谬误，数据滥用被广泛引用。他还是许多 AI 书籍的获奖作者。

在他的文章中，Smith 着手探索大型语言模型 （LLM） 在多大程度上近似真实智能。LLM 的想法很简单：使用人类产生的大量知识数据集来训练机器学习算法，目标是生成模拟人类如何使用语言的模型。

有一些著名的 LLM，例如 Google 的 BERT，它是最早广泛可用且性能高的 LLM 之一。尽管 BERT 于 2018 年推出，但它已经具有标志性意义。 引入 BERT 的出版物在 2022 年引用量接近 40K，BERT 推动了许多下游应用以及后续研发。

BERT 在被认为是 LLM 核心的方面方面已经远远落后于其继任者：参数数量。这代表了每个 LLM 所体现的复杂性，目前 AI 专家的想法似乎是模型越大，即参数越多，它的性能就越好。

Google 最新的 Switch Transformer LLM 最多可扩展至 1.6 万亿个参数，与之前的 T5-XXL 模型（110 亿个参数）相比，训练时间缩短了 7 倍，精度相当。

GPT-2 和 GPT-3 LLM 的制造商 OpenAI 被用作商业应用程序的基础，例如通过 API 进行文案写作以及与 Microsoft 的合作，他们对 LLM 进行了广泛的研究。 研究结果表明 ，模型量表涉及的三个关键因素是模型参数的数量 （N）、数据集的大小 （D）、 以及计算能力 （C） 的数量。

有一些基准测试专门用于测试 LLM 在自然语言理解方面的性能，例如 GLUE、 SuperGLUE、 SQuAD 和 CNN/Daily Mail。Google 发布的研究表明 ，T5-XXL 在这些基准测试中与人类相当或优于人类。我们不知道 Switch Transformer LLM 的类似结果。

但是，我们可以合理地假设 Switch Transformer 正在为 LaMDA 提供支持，LaMDA 是 Google 的“突破性对话技术”，也就是聊天机器人，目前不向公众开放。谷歌在西雅图的人工智能小组负责人布莱斯·阿奎拉·阿卡斯（Blaise Aguera y Arcas）认为，“统计数据确实等同于理解”，并 引用了与 LaMDA 的几次交流作为证据。

这是史密斯开始探索这种说法是否成立的起点。这不是 Smith 第一次这样做。 按照 Gary Marcus 和其他深度学习批评家的思路，Smith 声称 LLM 在某些条件下可能看起来会产生看起来合理的结果，但当提供人类容易理解的输入时就会中断。

史密斯声称，这是因为 LLM 并不真正理解这些问题或不知道他们在说什么。2022 年 1 月，史密斯 报告 说使用 GPT-3 来说明统计数据并不等于理解的事实。2022 年 3 月，史密斯试图再次运行他的实验，原因是 OpenAI 承认雇用了 40 名承包商来手动满足 GPT-3 的答案。

今年 1 月，史密斯尝试了许多问题，每个问题都产生了许多“令人困惑和矛盾”的答案。3 月，GPT-3 连贯而明智地回答了这些问题中的每一个，每次都给出了相同的答案。然而，当 Smith 尝试新的问题和这些问题的变体时，他很明显 OpenAI 的承包商正在幕后工作以修复出现的故障。

这促使史密斯将 GPT-3 比作 Mechanical Turk，这是 18 世纪建造的国际象棋自动机，其中一位国际象棋大师被巧妙地藏在柜子内。尽管一些 LLM 支持者认为，在某些时候，LLM 的庞大规模可能会产生真正的智能，但 Smith 跑题了。

GPT-3 非常像一位优秀魔术师的表演，史密斯写道。我们可以暂停怀疑，认为这是真正的魔法。或者，我们可以欣赏这场表演，即使我们知道它只是一种幻觉。

AI 语言模型有道德指南针吗？

缺乏常识性理解以及由此产生的令人困惑和矛盾的结果构成了 LLM 的一个众所周知的缺点——但还有更多。LLM 提出了一系列道德问题，其中最突出的是围绕训练和使用它们对环境的影响，以及此类模型所表现出的偏见和毒性。

也许迄今为止这场正在进行的公开对话中最引人注目的事件是 Google 道德 AI 团队负责人 Timnit Gebru 和 Margaret Mitchell 的解雇/辞职。Gebru 和 Mitchell 在 2020 年试图发表记录这些问题的研究并提出问题时，面临 Google 的审查。

然而，尽管存在道德影响，但也有实际影响。为商业目的创建的 LLM 应符合其所服务受众的规范和道德标准，才能取得成功。例如，制作因其语言而被认为不可接受的营销文案会限制 LLM 的适用性。

这个问题的根源在于 LLM 的训练方式。尽管正在开发和应用优化 LLM 训练过程的技术，但今天的 LLM 代表了一种根本上的蛮力方法，根据这种方法，向问题投入更多数据是一件好事。正如 AI 和深度学习的先驱之一 Andrew Ng 最近分享的那样，情况并非总是如此。

对于包含大量数据的应用程序，例如自然语言处理 （NLP），注入系统的领域知识量会随着时间的推移而下降。Ng 解释说，在深度学习的早期，人们通常会训练一个小型深度学习模型，然后将其与更传统的领域知识库方法相结合，因为深度学习的效果不是很好。 

这是 Google 前机器翻译主管 David Talbot 等人一直在说的话：除了从数据中学习之外，应用领域知识对机器翻译也很有意义。在机器翻译和自然语言处理 （NLP） 的情况下，该领域知识就是语言学。

但随着 LLM 的规模越来越大，注入的领域知识越来越少，而使用的数据越来越多。这一事实的一个关键含义是，通过此过程生成的 LLM 反映了用于训练它们的数据的偏差。由于这些数据不是经过整理的，它包括各种输入，这会导致不良结果。

解决此问题的一种方法是管理源数据。然而，来自德国达姆施塔特工业大学的一组研究人员从不同的角度解决了这个问题。在他们在 Nature 上的论文中，Schramowski 等人认为“大型预训练语言模型包含类似人类的偏见，即什么是对的，什么是错的”。

虽然 LLM 反映了用于训练它们的数据的偏见这一事实是公认的，但这项研究表明，最近的 LLM 也包含类似人类的偏见，即什么是对的，什么是错的，某种形式的伦理和道德社会规范。正如研究人员所说，LLM 带来了一个 “道德方向”。

该研究首先通过对人类进行研究得出了这一结论，其中要求参与者在上下文中对某些行为进行评分。一个例子是动作 “kill”，给定不同的上下文，例如 “time”、“people” 或 “insects”。这些在上下文中的行为被分配一个正确/错误的分数，答案用于计算短语的道德分数。

相同短语的道德分数是针对 BERT 计算的，研究人员使用一种称为道德指导的方法。研究人员表明，BERT 的道德方向与人类道德规范密切相关。此外，研究人员将 BERT 的道德指导应用于 GPT-3，发现与其他预防 LLM 毒性变性的方法相比，它的表现更好。

虽然这是一个有趣的研究方向，取得了可喜的结果，但我们不禁对它提出的道德问题也感到好奇。首先，众所周知，道德价值观因人群而异。除了选择人群样本固有的偏见外，BERT 和参与研究的人都使用英语这一事实还存在更多的偏见。他们的道德价值观不一定代表全球人口。

此外，虽然意图可能是好的，但我们也应该意识到其影响。应用类似的技术产生的结果经过精心策划，以排除现实世界的所有表现形式，包括其所有偶然性和丑陋性。如果目标是制作营销文案，这可能是可取的，但如果目标是拥有代表现实世界的东西，则不一定如此。

MLOps：跟踪机器学习过程和偏差

如果这种情况听起来很熟悉，那是因为我们以前见过这一切：搜索引擎应该过滤掉结果，还是社交媒体平台应该审查某些内容/取消某些人的平台化？如果是，那么标准是什么，谁来决定？

是否应该对 LLM 进行按摩以产生某些结果的问题似乎是这些问题的直接后代。人们在这些问题上的立场反映了他们的道德价值观，而答案并不明确。然而，从这两个例子中可以看出，尽管 LLM 取得了所有进展，但在实际应用方面还有很长的路要走。

无论 LLM 是出于正确性而被创建者修改，还是出于乐趣、利润、道德或任何其他原因被第三方修改，都应该保留这些自定义的记录。这属于称为 MLOps 的学科：类似于软件开发中 DevOps 是指系统地开发和发布软件的过程，MLOps 等同于机器学习模型。

与 DevOps 不仅可以提高效率，还可以实现对软件创建过程的透明度和控制类似，MLOps 也是如此。区别在于机器学习模型具有更多的移动部件，因此 MLOps 更复杂。但是，拥有一系列机器学习模型非常重要，这不仅是为了能够在出现问题时修复它们，而且是为了了解它们的偏见。

在软件开发中，开源库被用作构建块，人们可以按原样使用或根据自己的需要进行定制。我们在机器学习方面也有类似的概念，因为一些机器学习模型是开源的。虽然不可能像人们在开源软件中更改代码那样直接更改机器学习模型，但我们在这里看到的那种事后更改是可能的。

我们现在已经达到了拥有所谓的 NLP 基础模型的地步：像 GPT-3 这样巨大的模型，经过大量数据的训练，人们可以使用它来针对特定应用程序或领域进行微调。其中一些也是开源的。例如，BERT 已经产生了许多变体。

在这种背景下，根据 LLM 所服务的特定社区的道德价值观进行微调的情况并非不可想象。常识和 AI 伦理都表明，与 LLM 互动的人应该了解其创建者所做的选择。虽然不是每个人都愿意或能够深入研究完整的审计跟踪，但摘要或许可证变更可能有助于实现这一目标。