Meta 的 GenAI 从简单的预测转变为后果的国际象棋游戏

Meta 科学家主张采用优化的“多令牌预测”来代替 ChatGPT 的传统方法，即惩罚错误答案的方法。

Meta 所谓的多令牌预测方法的示意图。在人工智能模型的训练过程中，输入像往常一样输入，但不是训练人工智能模型来生成单个标记作为响应（例如下一个最可能的单词），而是训练模型同时生成四个或更多可能的代币。

GPT-4 等生成式 AI 模型能够生成类似于思想的文本输出，例如多项选择题的答案，这让我们所有人都感到震惊。然而，达到“正确”的想法，比如回答问题，仍然是一个更深层次的问题，“幻觉”现象就证明了这一点，人工智能模型会以明显的信心断言错误的陈述。

在一项新工作中，Meta 的科学家们通过引入对错误答案的惩罚概念，对大型语言模型 (LLM) 进行了调整，以产生在给定情况下更正确的输出。

这种方法被称为“多令牌预测”，旨在向人工智能模型灌输不太理想的答案的成本。从这个意义上说，它类似于在人工智能中建立护栏的流行方法，例如“根据人类反馈进行强化学习”或 RLHF，这是 OpenAI 为遏制 ChatGPT 最令人发指的输出而推广的一种方法。

（“AI 模型”是 AI 程序的一部分，包含大量神经网络参数和激活函数，它们是 AI 程序功能的关键要素。）

《通过多令牌预测更好更快的大型语言模型》的作者写道：“在编码等生成基准上，收益尤其明显，我们的模型始终比强基准高出几个百分点。”主要作者 Fabian Gloeckle 与 Facebook AI Research 的同事以及合作机构 CERMICS École des Ponts ParisTech 和 LISN Université Paris-Saclay 一起，于上个月在 arXiv 预印本服务器上发布了这篇论文。

作者主要担心的是，法学硕士尽管取得了令人印象深刻的成就，但并没有实现推理或规划等目标。他们写道，ChatGPT 和其他方法的传统方法被称为“下一个令牌预测”，“仍然是获取语言、世界知识和推理能力的低效方法。”

Meta 团队不是简单地进行下一个标记预测，而是训练人工智能模型来预测单个“标记”，例如标记字符串中的单词或字符（例如，句子中的下一个单词）。 token 版本经过训练可以同时预测文本的多个 token，其中每个 token 都可以是序列的正确完成。

从技术上讲，Gloeckle 的团队改变了 LLM 的基本结构（称为 Transformer），使其具有四个输出“头”，每个头生成一个单词、字符或其他符号，而不是标准的单头。

该方法的直接好处是，当人工智能模型处于实时状态时，它可以提高内存效率，为用户做出预测，即人工智能的推理阶段。由于多个输出头可以在幕后工作以尝试各种可能性，因此可以实现高度并行性。这种形式的“推测性解码”意味着与一次预测一件事相比，多令牌方法“可以将推理速度加快 3 倍”。

还有更深刻的感悟。从某种意义上说，一次选择一个标记的普通人工智能模型是平坦的：只要当前的预测是好的，它们并不认为任何单个预测比上一个更重要。

事实上，该团队注意到短语中的某些标记之间存在很大差异。在经常被引用的标点符号中——“停止泡吧，海豹宝宝”——中间短语中是否存在逗号，是对动物权利的紧急呼吁和有趣图像之间的区别。话语中的幽默在脑海中浮现，因为逗号改变了短语的语义。

正如其他人所观察到的，要点是“并非所有令牌决策对于从语言模型生成有用文本都同样重要”，格洛克尔的团队写道。 “虽然某些标记允许不限制文本其余部分的风格变化，但其他标记表示与文本的高级语义属性相关的选择点，并可能决定答案是否被认为有用或出轨。”

该团队写道，多头、多令牌方法根据其他同时发生的预测为每个预测分配适合度。 “一般来说，我们认为文本生成的质量取决于在选择点做出正确的决定，而 n 令牌预测损失会促进这些，”该团队写道。

“选择点”涉及这样的时刻，其中一个预测需要其他人沿着这条路走下去，从而决定整个短语的成败。该团队写道：“多令牌预测隐式地为训练令牌分配权重，具体取决于它们与其后继者的相关程度。”

通过类比，格洛克尔的团队将选择下一个单词比作穿过迷宫：每个选择都可能是通往奖励的途径，也可能是通往可怕命运的途径。

他们使用迷宫的图像来说明“顺序预测任务”（因为他们指的是预测下一个单词）。下一个正确的步骤可能是关键的一步，它将人工智能模型送上正确的道路或错误的道路——用他们的话说，这是一个“后果性的选择”。

作者写道，选择下一个正确的标记就像穿过迷宫一样：在某些时刻，选择是一个“后果性”的选择，它将使程序成功（奖杯）或失败（骷髅和交叉骨）。

在技术的惊人融合中，作者将多令牌方法与 RLHF 方法联系起来，试图预测最终的奖励：“假设语言模型部署在强化学习环境中，例如根据人类反馈进行强化学习…[其中]动作是要生成的单个令牌[…]。”

以这种方式将文本预测与奖励函数联系起来，可以发挥奖励函数在游戏中取得长足进步的所有领域。奖励函数用于各种称为强化学习的人工智能问题，而不仅仅是 RLHF。

例如，谷歌的 DeepMind 部门使用强化学习开发了 AlphaZero，该程序可以在国际象棋和围棋中击败人类。它还被用在 AlphaStar 程序中，在实时战略游戏《星际争霸 II》中与人类进行视频游戏技能竞赛。

这种游戏化的直接结果是通过多令牌方法产生更“最佳”的答案。作者提供了各种基准结果。例如，比较了具有 70 亿个神经参数或权重的人工智能模型在从单标记预测转向多标记预测时如何提高性能。

在 Google 于 2021 年开发的一项名为“大多数基本编程问题”（MBPP）的测试中，AI 模型必须为给定函数生成代码，例如 Python 行。在该基准测试中，该程序始终通过多标记预测实现更高的准确性。

还有一个甜蜜的地方。人工智能模型似乎在同时处理四个令牌时表现最佳，而预测超过六个或八个令牌时，结果就不太好。

在诸如“大多数基本编程问题”之类的标准化测试中，法学硕士必须生成编程代码，相同大小的人工智能模型（具有 70 亿个神经参数或权重）在生成更多代币时会实现更高的准确性，如下所示“n”，同时生成的令牌数量。

与神经网络中的许多事情一样，不能立即确定为什么多标记预测应该比单标记预测更好。作者提出的预感是，通过训练多令牌预测模型，生成的模型可以避免人工智能模型根据用户的真实提示进行实时预测时发生的脱节。这就是所谓的“教师强制训练和自回归生成之间的分布不匹配”。

格洛克尔和他的同事写道，还有很多事情需要弄清楚。一个目标是开发一种自动化最佳点的方法，即同时获得最大准确度的最佳同步令牌数量。另一个问题是如何自动确定训练人工智能模型所需的适量数据，因为“多标记预测的最佳词汇量可能与下一个标记预测的词汇量不同，调整它们可能会带来更好的结果。”

一个更大的结论是，传统的强化学习为生成人工智能提供的功能可能比许多人迄今为止所怀疑的要多得多，这表明这两种方法在未来将会有更多的融合。