如果您的 AI 生成的代码出错，谁面临的责任风险最大？

AI 最新进展的简史、它们的含义以及为什么您应该关心或不关心。

DeepMind、Google、Meta 和 OpenAI 等公司发布的大量新 AI 模型正在加剧。他们每个人都在某种程度上有所不同，他们每个人都重新开始了关于他们的成就、应用和影响的对话。

Imagen 和 DALLE-2、Gato、GPT-3 和之前的其他 AI 模型一样，都令人印象深刻，但可能不是你认为的原因。以下是我们在 AI 竞赛中所处位置的简要说明，以及我们迄今为止学到的知识。

大型语言模型的优缺点

按照这个速度，甚至跟踪发布都变得越来越困难，更不用说分析它们了。让我们从 GPT-3 开始这个时间线。我们选择 GPT-3 作为此时间线的基线和起点，原因有很多。

OpenAI 的创建于 2020 年 5 月宣布，这看起来已经是一辈子以前的事了。这足以让 OpenAI 围绕 GPT-3 创建商业服务，通过与 Microsoft 的合作将其作为 API 公开。

到目前为止，有越来越多的应用程序在后台利用 GPT-3 为最终用户提供服务。其中一些应用程序只不过是美化的营销文案生成器——围绕 GPT-3 API 的薄包装器。其他人，如 Viable，已经定制了 GPT-3 以适应他们的用途并绕过其缺陷。

GPT-3 是一种大型语言模型 （LLM），其中“大”是指模型具有的参数数量。目前 AI 专家的共识似乎是，模型越大，即参数越多，它的性能就越好。作为参考，让我们注意 GPT-3 有 1750 亿个参数，而 BERT（谷歌于 2018 年发布并用于今天为其搜索引擎提供动力的标志性 LLM）有 1.1 亿个参数。

LLM 的想法很简单：使用人类产生的大量知识数据集来训练机器学习算法，目标是生成模拟人类如何使用语言的模型。GPT-3 被更广泛的受众使用，并在商业上使用，这一事实使其成为赞扬和批评的目标。

正如史蒂文·约翰逊在《纽约时报》上所写的那样，GPT-3 可以“以令人难以置信的流利度写出原创散文”。这似乎诱惑了包括约翰逊在内的人们怀疑是否真的有“壳中之鬼”。约翰逊写道，GPT-3 似乎正在纵高阶概念并将它们放入新的组合中，而不仅仅是模仿文本模式。然而，这里的关键词是 “seems”。

Gary Marcus、 Gary N. Smith 和 Emily Bender 等 批评者（约翰逊还引用了其中一些人）指出了 GPT-3 在最基本层面上的根本缺陷。用 Bender 和她的合著者用来为现在著名的研究论文命名的词来说，LLM 是“随机鹦鹉”。

LLM 逐字预测以得出散文的机制本质上是反刍，Marcus 写道，并引用了他与著名语言学家 Noam Chomsky 的交流。Marcus 解释说，这样的系统是在数十亿个单词的数字文本上训练的;他们的天赋在于找到与他们所接受的训练相匹配的模式。这是统计学的最高壮举，但并不意味着系统知道它用作预测工具的词的含义。

语言的频率和多义词等特性能否影响神经网络是否能够突然解决它不是专门为之开发的任务，即所谓的“小样本学习”？DeepMind 说是的。

针对 GPT-3 和其他 LLM 的另一条批评是，它们产生的结果往往显示出毒性并复制民族、种族和其他偏见。这真的不足为奇，请记住用于训练 LLM 的数据来自哪里：数据都是由人生成的，并且在很大程度上是从 Web 上收集的。除非采取纠正措施，否则 LLM 会产生这样的输出是完全可以预期的。

最后但并非最不重要的一点是，LLM 需要大量资源来培训和运营。乔姆斯基关于 GPT-3 的格言是“它唯一的成就是消耗了加州的大量能源”。但乔姆斯基并不是唯一一个指出这一点的人。2022 年，DeepMind 发表了一篇论文，“训练计算-最佳大型语言模型”，分析师在其中声称，训练 LLM 是通过严重次优的计算使用来完成的。

综上所述，GPT-3 在某种程度上是旧新闻。在过去的几个月里，宣布了许多新的 LLM。2021 年 10 月， Microsoft 和 Nvidia 发布了 Megatron —— 5300 亿个参数的 Turing NLG。2021 年 12 月， DeepMind 发布了 2800 亿个参数的 Gopher， 谷歌发布了 1,2 万亿个参数的 GLaM。

2022 年 1 月， Google 发布了具有 1370 亿个参数的 LaMDA。2022 年 4 月， DeepMind 发布了 700 亿个参数的 Chinchilla，Google 发布了 5400 亿个参数的 PaLM。2022 年 5 月， Meta 发布了具有 1750 亿个参数的 OPT-175B。

无论是大小、性能、效率、透明度、训练数据集组成还是新颖性，这些 LLM 中的每一个都在某些方面非常出色和独特。虽然这些 LLM 中的大多数仍然无法为公众所知，但 内部人士偶尔会对这些模型所谓的“理解”语言的能力进行抒 情。然而，这种说法似乎 相当夸张。

突破 AI 的极限，超越语言

虽然 LLM 在扩展能力和产生的结果质量方面取得了长足的进步，但它们的基本前提保持不变。因此，他们的基本弱点也保持不变。然而，就 AI 的前沿而言，LLM 并不是唯一的游戏。

虽然 LLM 专注于处理文本数据，但还有其他 AI 模型专注于视觉和音频数据。这些用于计算机视觉和语音识别等应用。然而，过去几年 AI 模型模式之间的界限变得模糊。

所谓的多模态学习是将来自各种来源的独立数据整合到单个 AI 模型中。开发多模态 AI 模型的希望是能够处理多个数据集，使用基于学习的方法来生成更智能的见解。

OpenAI 将多模态确定为 AI 的长期目标，并在该领域非常活跃。在其最新的研究公告中，OpenAI 提出了两个模型，它声称可以更接近这个目标。

第一个 AI 模型 DALL·E 于 2021 年 1 月宣布。OpenAI 指出，DALL-E 可以成功地将文本转换为适用于自然语言表达的广泛概念的合适图像，并且它使用与 GPT-3 相同的方法 。

第二个 AI 模型 CLIP 也于 2021 年 1 月发布，它可以立即以“零镜头”的方式将图像分类为属于预定义类别之一。CLIP 不必像大多数其他视觉 AI 模型那样对特定于这些类别的数据进行微调，同时在行业基准 ImageNet 中的得分超过它们。

2022 年 4 月，OpenAI 宣布 DALL·E 2.该公司指出，与其前身相比，DALL-E 2 以 4 倍的分辨率生成更逼真、更准确的图像。

2022 年 5 月，谷歌宣布推出自己的多模态 AI 模型，类似于 DALL-E，称为 Imagen。Google 的研究表明，在并排比较中，人类评分者更喜欢 Imagen 而不是其他模型，无论是在样本质量和图像文本对齐方面。

DALL-E 2 对宇航员骑马的标志性描绘被誉为“AI 理解世界之旅的里程碑”。批评者认为这可能有点夸大其词。

吹嘘的权利似乎在不断变化。至于这些多模态 AI 模型是否对解决对资源利用率和偏见的批评有任何作用，虽然目前尚不清楚，但根据已知的情况，答案似乎分别是“可能不是”和“有点”。那么实际的情报部分呢？让我们看一下幕后。

OpenAI 指出，“DALL·E 2 已经学会了图像和用于描述它们的文本之间的关系。它使用一种称为“扩散”的过程，该过程从随机点的模式开始，当它识别出图像的特定方面时，该模式逐渐向图像改变”。

谷歌指出，他们的“关键发现是，在纯文本语料库上预先训练的通用 LLM（例如 T5）在编码文本以进行图像合成方面非常有效：增加 Imagen 中语言模型的大小比增加图像扩散模型的大小更能提高样本保真度和图像文本对齐”。

虽然 Imagen 似乎严重依赖 LLM，但 DALL-E 2 的过程有所不同。然而，OpenAI 和 Google 的员工以及独立专家都声称，这些模型显示出一种与人类理解重叠的“理解”形式。麻省理工学院技术评论甚至将骑马的宇航员称为 AI 理解世界之旅中的里程碑，该图像已成为 DALL-E 2 的标志性图像。

然而，加里·马库斯 （Gary Marcus） 仍然不相信。Marcus 是一位科学家、畅销书作家和企业家，因其对许多主题的批评而在 AI 圈子里广为人知，包括智能的本质和深度学习的问题所在。他很快就指出了 DALL-E 2 和 Imagen 的不足，并参与了公共对话，包括与 Google 的人员进行对话。

Marcus 在一篇标题恰如其分的“骑马宇航员”文章中分享了他的见解。他的结论是，期望这些模型对与句法结构相关的语义完全敏感是一厢情愿的想法，而无法推理是现代机器学习方法的一个普遍失败点，也是寻找新想法的关键场所。

最后但并非最不重要的一点是，在 2022 年 5 月，DeepMind 发布了 Gato，一个通用的 AI 模型。正如 ZDNet 的 Tiernan Ray 所指出的那样，Gato 是一种不同类型的多模态 AI 模型。Gato 可以处理多种类型的数据来执行多种任务，例如玩视频游戏、聊天、编写合成、为图片添加字幕以及控制机械臂堆叠块。 

正如 Ray 还指出的那样，Gato 在很多事情上都做得一般。然而，这并没有阻止构建 Gato 的 DeepMind 团队的人惊呼“游戏结束了！这是关于使这些模型更大、更安全、计算效率更高、采样速度更快、内存更智能、模态更多”。

少数人的语言、目标和市场力量

那么，这一切给我们留下了什么呢？撇开炒作、形而上学的信仰和热情的爆发不谈，应该冷静地审视人工智能的现状。虽然过去几个月发布的模型确实是令人印象深刻的工程壮举，有时能够产生惊人的结果，但它们所指向的情报并不是真正的人工。

人类智能是生成这些模型的令人印象深刻的工程背后的原因。正是人类智能构建了越来越好的模型，艾伦·图灵 （Alan Turing） 的基础论文 《计算机与智能》（Computing Machinery and Intelligence ） 称之为“模仿游戏”，也就是人们普遍认为的“图灵测试”。

正如乔治城法学院隐私与技术中心（CPT）的执行主任艾米莉·塔克（Emily Tucker ）所写的那样，图灵用人类是否可以将计算机误认为另一个人的问题取代了“机器能思考吗？

图灵并没有本着对前一个问题有用的启发式精神提供后一个问题;他并没有说他认为这两个问题是彼此的不同版本。相反，他表达了这样一种信念，即“机器能思考吗”这个问题没有价值，并且似乎肯定地希望在不久的将来，人类实际上很难甚至根本不可能问自己这个问题。

在某些方面，这个未来可能很快就会到来。像 Imagen 和 DALL-E 这样的模型在出现需要人类拥有的智能才能处理的提示时就会中断。但是，对于大多数意图和目的，这些可能被视为边缘情况。世界上的 DALL-E 能够产生的东西与最熟练的艺术家相当。

那么问题是，这一切的目的是什么。就其本身而言，花费像 Imagen 这样的东西所需的时间和资源来能够随意生成很酷的图像似乎是相当错误的。

将此视为创建“真正的”AI 的中间目标可能更合理，但前提是我们愿意接受这样一种观念，即在越来越大的规模上做同样的事情会以某种方式导致不同的结果。

神经网络将输入（左侧的圆圈）转换为右侧的输出。这是如何发生的，是 weights， center 的转换，我们经常将其与数据本身的模式混淆。 

有鉴于此，Tucker 表示打算尽可能具体地说明所讨论的技术是什么及其工作原理，而不是使用“人工智能和”机器学习“等术语，这在某种程度上开始有意义。

例如，Tucker 写道，与其说“人脸识别使用人工智能”，不如说“科技公司使用海量数据集来训练算法来匹配人脸图像”。如果完整的解释对更大的论点造成干扰，或者超出 CPT 的专业知识，他们会将读者指向外部来源。

说实话，就可读性而言，这听起来不是很实用。但是，请记住，当我们说“AI”时，它确实是一种惯例，而不是表面价值。实际上是科技公司使用海量数据集来训练算法来执行——有时是有用的和/或令人印象深刻的——对人类智能的模仿。

这不可避免地导致了更多的问题，例如——做什么，为了谁的利益。正如受过专业训练的经济学家、斯坦福数字经济实验室 主任埃里克·布林约尔夫森 （Erik Brynjolfsson） 所写的那样，过度关注类人人工智能会降低大多数人的工资，“尽管它放大了拥有和控制这些技术的少数人的市场力量”。

在这方面，AI 与之前的其它之前的其他技术没有什么不同。这一次可能有所不同的是事情发展的速度，以及少数人权力的放大程度。