长上下文窗口对于像 Gemini 这样的 AI 模型意味着什么？

如果您熟悉人工智能模型和聊天机器人，您可能听说过“上下文”一词的使用方式与您习惯的不同。这就是这意味着什么。

谷歌刚刚宣布将升级其 Gemini Advanced 服务，提供 100 万个上下文模型，很快就会跃升至 200 万个。

想象一下，你狂看一部电视剧，但一次只能记住一集。当您继续观看下一集时，您会立即忘记刚刚观看的所有内容。现在，想象一下您可以记住您看过的电视节目的每一集和每一季；这会让你理解故事、人物和曲折。 

在讨论人工智能 (AI) 模型时，一次只记住一个情节并在进入下一情节时被迫忘记它的能力代表了一个较短的上下文窗口。记住一个系列中的所有情节代表一个具有大上下文或长上下文窗口的人工智能模型。

简而言之，长上下文窗口意味着模型可以一次记住大量信息。 

了解上下文在人工智能中代表什么对于了解长上下文窗口以及它如何影响机器人或其他系统的性能是必要的。

ChatGPT、Gemini 聊天机器人和 Microsoft Copilot 等 AI 系统是基于 AI 模型构建的，在本例中分别是 GPT-3.5、Gemini 和 GPT-4。这些模型本质上充当系统的大脑，保存知识，记住对话中的信息，并对用户的查询做出适当的响应。 

人工智能中的上下文是指赋予人工智能正在处理的当前数据意义和相关性的信息。这是模型在决定或生成响应时考虑的信息。

上下文以标记来衡量，上下文窗口表示模型一次可以考虑或处理的最大标记数。每个标记代表一个单词或单词的一部分，具体取决于语言。在英语中，一个 token 往往代表一个单词，因此像 GPT-4 这样具有 16,000 (16k) token 窗口的 AI 模型可以处理大约 12,000 个单词。 

标记化方法（即如何计算单词并将其转换为标记）因系统而异。以下是标记化方法的示例：

一个可以处理大约 12,000 个单词的人工智能聊天机器人可以总结一篇 3,000 字的文章或 5,000 字的研究论文，然后回答后续问题，而不会忘记用户共享的文档中的内容。在整个对话过程中都会考虑之前消息中的标记，为机器人提供所讨论内容的上下文。 

因此，如果对话保持在令牌限制内，人工智能聊天机器人可以维护完整的上下文。但如果超过令牌限制，最早的令牌可能会被忽略或丢失以留在窗口内，因此机器人可能会丢失一些上下文。 

这就是为什么 Google 自豪地宣传 Gemini 1.5 Pro 的 100 万个令牌的大型上下文窗口。据谷歌首席执行官 Sundar Pichai 表示，一百万个代币意味着其 Gemini Advanced 聊天机器人可以处理超过 30,000 行代码、长达 1,500 页的 PDF 或 96 个 Cheesecake Factory 菜单。