如果人工智能生成的代码出现错误，谁将面临最大的责任风险？

Hyena 代码能够处理大量数据，从而导致 GPT 式技术耗尽内存并失败。

斯坦福大学和 MILA 的 Hyena Hierarchy 是一种用于关联数据项的技术，无论是数字图像中的单词还是像素。该技术可以在基准 AI 任务中达到与大型语言模型现有“黄金标准”（即“注意力”机制）类似的准确性，但计算能力仅低 100 倍。

尽管人们对 OpenAI 的聊天机器人人工智能程序 ChatGPT 及其后续技术 GPT-4 充满热情，但这些程序归根结底只是软件应用程序。与所有应用程序一样，它们也存在技术限制，导致其性能无法达到最佳状态。

在 3 月份发表的一篇论文中，斯坦福大学和加拿大 MILA 人工智能研究所的人工智能 (AI) 科学家提出了一种技术，该技术在吞噬大量数据和处理数据方面可能比 GPT-4 或类似技术更有效。将其转化为答案。

该技术被称为 Hyena，能够在基准测试（例如问答）中达到同等的准确性，同时使用一小部分计算能力。在某些情况下，Hyena 代码能够处理大量文本，从而导致 GPT 式技术耗尽内存并失败。

作者写道：“我们在数十亿参数范围内取得的有希望的结果表明，注意力可能并不是我们所需要的全部。”这句话指的是 2017 年具有里程碑意义的人工智能报告的标题“注意力就是你所需要的”。在那篇论文中，谷歌科学家 Ashish Vaswani 及其同事向世界介绍了谷歌的 Transformer AI 计划。 Transformer 成为最近每一种大型语言模型的基础。

但Transformer有一个很大的缺陷。它使用一种称为“注意力”的东西，其中计算机程序获取一组符号（例如单词）中的信息，并将该信息移动到一组新的符号中，例如您从 ChatGPT 看到的答案，即输出。

这种注意力操作是所有大型语言程序（包括 ChatGPT 和 GPT-4）的基本工具，具有“二次”计算复杂度（维基百科计算的“时间复杂度”）。这种复杂性意味着 ChatGPT 生成答案所需的时间随着作为输入提供的数据量的平方而增加。

在某些时候，如果有太多的数据——提示中的单词太多，或者在与程序聊天的时间里有太多的对话字符串——那么程序要么陷入提供答案的困境，要么必须GPU 芯片的数量越来越多，运行速度越来越快，导致计算需求激增。

在 arXiv 预印本服务器上发布的新论文“Hyena Hierarchy：走向更大的卷积语言模型”中，斯坦福大学的主要作者 Michael Poli 及其同事建议用次二次函数取代 Transformer 的注意力函数， 即鬣狗。

作者没有解释这个名字，但人们可以想象“鬣狗”计划的几个原因。鬣狗是生活在非洲的动物，它们可以捕猎数英里。从某种意义上说，一个非常强大的语言模型可以像鬣狗一样，长途跋涉寻找营养。

但正如标题所暗示的那样，作者真正关心的是“等级制度”，鬣狗家族有严格的等级制度，当地鬣狗氏族的成员有不同级别的等级，从而确立了统治地位。正如您将看到的，鬣狗程序以某种类似的方式一遍又一遍地应用一堆非常简单的操作，以便它们结合起来形成一种数据处理的层次结构。正是这种组合元素赋予了该程序“鬣狗”的名称。

该论文的撰稿人包括人工智能界的杰出人物，例如 MILA 的科学总监 Yoshua Bengio，他是 2019 年图灵奖（相当于计算机领域的诺贝尔奖）的获得者。早在 Vaswani 和团队将注意力机制应用于 Transformer 之前，Bengio 就因开发注意力机制而受到广泛赞誉。

作者中还有斯坦福大学计算机科学副教授 Christopher Ré，他近年来帮助推进了人工智能作为“软件 2.0”的概念。

为了找到注意力的次二次替代方案，波利和团队开始研究注意力机制是如何发挥作用的，看看这项工作是否可以更有效地完成。

人工智能科学的最新实践被称为机械可解释性，它正在产生关于神经网络内部、注意的计算“电路”内部正在发生的事情的见解。您可以将其视为拆开软件，就像拆开时钟或 PC 以查看其部件并弄清楚其工作原理一样。

Poli 和团队引用的一项工作是人工智能初创公司 Anthropic 的研究员 Nelson Elhage 的一组实验。这些实验将 Transformer 程序拆开，看看注意力在做什么。

从本质上讲，埃尔哈格和团队发现，注意力通过非常简单的计算机操作在最基本的层面发挥作用，例如从最近的输入中复制一个单词并将其粘贴到输出中。

例如，如果开始在大型语言模型程序（例如 ChatGPT）中输入《哈利·波特与魔法石》中的一句话，例如“德思礼先生是一家名为 Grunnings 的公司的董事……”，只需输入“D-u-r-s”，名称的开头，可能足以提示程序完成名称“Dursley”，因为它在魔法石的前一句中看到过该名称。系统能够从内存中复制字符“l-e-y”的记录来自动完成句子。

然而，随着单词数量的不断增长，注意力操作会遇到二次复杂度问题。更多单词需要更多所谓的“权重”或参数来运行注意力操作。

正如作者所写：“Transformer 模块是序列建模的强大工具，但它并非没有局限性。最值得注意的一个是计算成本，随着输入序列长度的增加，计算成本会迅速增长。”

虽然 OpenAI 尚未披露 ChatGPT 和 GPT-4 的技术细节，但据信它们可能拥有一万亿甚至更多这样的参数。运行这些参数需要 Nvidia 提供更多 GPU 芯片，从而提高了计算成本。

为了降低二次计算成本，Poli 和团队用所谓的“卷积”取代了注意力运算，“卷积”是人工智能程序中最古老的运算之一，早在 20 世纪 80 年代就得到了完善。卷积只是一个过滤器，可以挑选出数据中的项目，无论是数码照片中的像素还是句子中的单词。

Poli 和团队进行了一种混搭：他们采用了斯坦福大学研究员 Daniel Y. Fu 和团队所做的工作，将卷积滤波器应用于单词序列，并将其与学者 David Romero 和阿姆斯特丹自由大学同事的工作结合起来让程序可以动态更改过滤器大小。这种灵活适应的能力减少了程序所需的昂贵参数或权重的数量。

Hyena 是一种相互构建的过滤器组合，不会导致神经网络参数大幅增加。

混搭的结果是，卷积可以应用于无限量的文本，而不需要越来越多的参数来复制越来越多的数据。正如作者所说，这是一种“无需注意”的方法。

Poli 和团队写道：“鬣狗操作员能够通过大规模关注来显着缩小质量差距，以较小的计算预算达到类似的困惑度和下游性能。”困惑度是一个技术术语，指的是由 ChatGPT 等程序生成的答案的复杂程度。

为了证明 Hyena 的能力，作者根据一系列基准测试了该程序，以确定语言程序在各种人工智能任务上的表现。

其中一项测试是 The Pile，这是由非盈利人工智能研究机构 Eleuther.ai 在 2020 年整理的 825 GB 文本集合。这些文本是从 PubMed、arXiv、GitHub、美国专利局等“高质量”来源收集的，因此来源的形式比 Reddit 讨论的形式更严格。

该程序面临的主要挑战是在输入一堆新句子时生成下一个单词。研究人员写道，从 2018 年开始，Hyena 程序能够获得与 OpenAI 原始 GPT 程序相当的分数，计算操作减少了 20%——“第一个与 GPT 质量相匹配的无注意力卷积架构”，操作更少。

Hyena 能够与 OpenAI 的原始 GPT 程序相媲美，计算操作量减少了 20%。

接下来，作者在名为 SuperGLUE 的推理任务上测试了该程序，该程序由纽约大学、Facebook AI Research、谷歌 DeepMind 部门和华盛顿大学的学者于 2019 年推出。

例如，当给出句子“我的身体在草地上投下阴影”和原因的两个选择“太阳正在升起”或“草地被割断”，并要求选择一个或另一个时，程序应该生成“太阳正在升起”作为适当的输出。

在多项任务中，Hyena 程序的得分达到或接近 GPT 某个版本的分数，而训练数据量还不到一半。

更有趣的是，当作者调高用作输入的短语的长度时发生的情况：更多的单词意味着性能的更好提高。鬣狗有 2,048 个“标记”（您可以将其视为单词）来完成语言任务，所需时间比注意力方法要少。

作者表示，在 64,000 个代币的情况下，“Hyena 的速度提高了 100 倍”——性能提高了一百倍。

波利和团队认为，他们不仅在鬣狗身上尝试了不同的方法，而且“打破了二次障碍”，使程序计算结果的难度发生了质的变化。

他们认为，未来质量上也可能发生重大转变：“打破二次障碍是迈向深度学习新可能性的关键一步，例如使用整本教科书作为背景，生成长篇音乐或处理十亿像素级图像， “他们写道。

作者写道，鬣狗能够使用更有效地处理数千个单词的过滤器，这意味着对语言程序的查询“上下文”几乎没有限制。实际上，它可以回忆起远离当前对话线索的文本或之前对话的元素，就像鬣狗在数英里外狩猎一样。

“鬣狗操作员拥有无限的背景，”他们写道。 “也就是说，它们不会人为地受到局部性等限制，并且可以学习[输入]的任何元素之间的远程依赖关系。”

此外，除了文字之外，该程序还可以应用于不同形式的数据，例如图像，也许还有视频和声音。

值得注意的是，论文中显示的 Hyena 程序与 GPT-4 甚至 GPT-3 相比规模较小。虽然 GPT-3 有 1750 亿个参数或权重，但 Hyena 的最大版本只有 13 亿个参数。因此，Hyena 在与 GPT-3 或 4 的全面正面比较中表现如何还有待观察。

但是，如果鬣狗计划的更大版本所取得的效率保持不变，那么它可能会成为一种新的范式，在过去十年中受到广泛关注。

正如波利和团队的结论：“像鬣狗这样的简单次二次设计，通过一套简单的指导原则和对机械可解释性基准的评估，可以构成高效大型模型的基础。”