OpenAI 让开发人员能够以极高的价格构建实时语音应用程序

发送和接收实时音频的开发人员成本是纯文本大型语言模型的两倍。

OpenAI 的年度开发者日于周三在旧金山举行，发布了大量产品和功能。此次活动的核心内容是该公司推出其实时应用程序编程接口 (API)。

开发人员可以使用该功能在推理操作期间发送和接收口语输入和输出，或者使用生产型大语言模型 (LLM) 进行预测。人们希望这种类型的交互能够使人与语言模型之间的对话更加流畅、实时。

这种能力也需要付出巨大的代价。 OpenAI 目前对 GPT-4o 大语言模型（构成实时 API 基础的模型）的定价为每百万输入文本令牌 2.50 美元，每百万输出令牌 10 美元。

基于文本和音频标记，实时输入和输出成本至少是该速率的两倍，因为 GPT-4o 需要两种输入和输出。使用实时 API 时，GPT-4o 的输入和输出代币每百万代币的成本分别为 5 美元和 20 美元。

开发者日的日程安排很繁忙。

对于语音令牌，每百万个音频输入令牌的成本高达 100 美元，每百万个音频输出令牌的成本高达 200 美元。

OpenAI 指出，根据语音对话的标准统计数据，音频代币的定价“相当于每分钟音频输入约 0.06 美元，每分钟音频输出约 0.24 美元”。

OpenAI 针对 GPT-4o 大语言模型推理中的实时 API 函数调用的定价表。

OpenAI 举例说明了如何在生成式人工智能中使用实时语音，包括提供个人建议的自动健康教练，以及可以与学生对话以练习新语言的语言导师。

在开发者大会期间，OpenAI 提供了一种通过即时缓存来降低开发者总成本的方法，即在之前提交给模型的输入上重复使用令牌。这种方法将 GPT-4o 输入文本标记的价格降低了一半。

周三还推出了法学硕士“蒸馏”，它允许开发人员使用较大模型的数据来训练较小的模型。

开发人员使用称为“存储完成”的技术捕获 OpenAI 功能更强大的语言模型之一（例如 GPT-4o）的输入和输出。然后，这些存储的完成结果将成为训练数据，以“微调”较小的模型，例如 GPT-4o mini。

OpenAI 将蒸馏服务视为一种消除开发人员从较大模型训练较小模型所需的大量迭代工作的方法。

该公司在博客中就此事表示：“到目前为止，蒸馏是一个多步骤、容易出错的过程，这要求开发人员跨离线工具手动协调多个操作，从生成数据集到微调模型和测量性能改进。”

蒸馏是 OpenAI 现有微调服务的补充，不同之处在于您可以使用较大模型的输入输出对作为微调数据。在微调服务中，该公司周三增加了图像微调功能。开发人员提交图像数据集，就像处理文本一样，以使现有模型（例如 GPT-4o）更具体地针对某个任务或知识领域。

实践中的一个例子是食品配送服务 Grab 的工作。该公司使用真实世界的街道标志图像让 GPT-4o 绘制公司的送货路线。 OpenAI 表示：“与基本 GPT-4o 模型相比，Grab 能够将车道计数准确度提高 20%，限速标志定位提高 13%，使他们能够更好地自动化以前的手动流程的地图操作。”

定价基于将开发人员提交的每张图像分割成代币，然后将其定价为每百万个输入代币 3.75 美元，每百万个输出代币 15 美元，与标准微调相同。对于训练图像模型，成本为每百万代币 25 美元。