谷歌新的无限注意力技术可让您将无限文本输入到法学硕士中

这项技术可以为令人着迷的人工智能实现铺平道路。

当今的大型语言模型 (LLM) 在给出结果之前对您可以输入的信息量有限制。谷歌推出了一种改变这种情况的方法：一种允许法学硕士接受无限量文本的方法。这项技术被称为“Infini-attention”，无需牺牲内存和计算能力，就能创造出更高效且具有潜在影响力的 LLM 结果。

“有效的记忆系统不仅对于理解法学硕士的长期背景至关重要，而且对于推理、计划、不断适应新知识，甚至对于学习如何学习也至关重要，”作者在其声明附带的研究论文中写道。

上下文窗口在 LLM 的运行方式中发挥着核心作用，截至撰写本文时，所有流行的 AI 模型，包括 OpenAI 的 GPT-4 和 Anthropic 的 Claude 3，都具有有限的上下文窗口。例如，Claude 3 允许在单个查询中使用最多 200,000 个标记或字母数字字符。 GPT-4 的上下文窗口允许 128,000 个令牌。  

上下文窗口对于法学硕士来说非常重要。上下文窗口中允许的令牌越多，用户可以输入更多的数据来生成他们想要的结果。因此，LLM 创建者尝试在每次新迭代中增加代币数量，以使他们的模型在学习、理解和交付结果方面更有效。

然而，为了做到这一点，科技公司需要满足内存和计算要求。谷歌研究人员写道，法学硕士的背景窗口每增加一倍，内存和计算要求就会增加四倍。内存和计算能力的每次增加自然不仅是资源密集型的，而且极其昂贵。

谷歌的 Infini-attention 通过使用现有的内存和计算需求来解决这个问题。当研究人员在上下文窗口中输入超出他们测试模型限制的额外细节时，他们将所有数据转移到所谓的“压缩内存”中，并将其从活动内存中删除，然后将其释放以供后续研究使用。额外的背景信息。输入所有数据后，模型能够将压缩内存与其活动内存中的所有输入配对以提供响应。研究人员写道，这项技术能够“通过持续的预训练和微调，将现有的法学硕士自然扩展到无限长的环境”。

研究人员能够将尽可能多的背景信息放入模型中，因此研究人员将他们的无限注意力技术与现有的法学硕士进行了比较，发现他们的选择更优越。研究人员写道：“我们的方法可以自然地扩展到一百万长度的输入序列，同时优于长上下文语言建模基准和书籍摘要任务的基线。”

研究人员没有分享他们的数据或证明他们的方法确实比现有模型表现更好。然而，按理说，如果能够消除上下文窗口限制，那么配备该技术的模型应该优于那些有限制的模型。

谷歌的技术可以为法学硕士成绩的显着提高铺平道路，使公司能够创建新的应用程序，产生更多的见解等等。但目前，无限注意力还只是纯粹的研究。目前尚不清楚该技术是否会广泛应用于法学硕士。