您现在可以使用 OpenAI 的 Sora 视频生成器开始 3 个有利可图的副业
按使用付费的云服务有望将 GPT-3 和类似模型的训练成本降低一半,同时将训练时间缩短八倍。
Cerebras 表示,与 Cirrascale 的合作将使研究人员能够以远低于典型多年租赁成本的价格访问 AI 机器集群。图中,一排 Cerebras 机架用于其 CS2 专用 AI 计算机。
人工智能计算机制造商 Cerebras Systems 制造了芯片和计算机,现在生产 专门用于加速深度学习的超级计算机,该公司周二宣布推出加速超大型语言模型的服务,这些模型不仅在研究中越来越受欢迎,而且在商业用途中也越来越受欢迎。
“我们认为大型语言模型被低估了,而不是过度炒作,”Cerebras 联合创始人兼首席执行官 Andrew Feldman 在新闻发布会上说。“我们才刚刚开始看到它们的影响;在生态系统的三个层中,即硬件层、基础设施层和应用层,每个层都会有赢家和新人。
Feldman 预测说:“明年,你会看到大型语言模型对经济各个部分的影响急剧上升。
Cerebras 与云计算服务提供商 Cirrascale 合作,提供所谓的“按模型付费”计算时间,这是一种统一的训练费率,用于在其专为深度学习设计的 CS2 计算机集群上收敛大型语言模型,例如 OpenAI 的 GPT-3。
该服务的品牌为 Cerebras AI Model Studio。
价格从在 10 小时内训练一个 13 亿参数的 GPT-3 模型的 2500 美元到在 85 天内训练 700 亿个参数的 GPT-3 模型的费用 250 万美元不等,平均是用户租用云容量或租用机器数年以完成同等工作所支付的成本的一半。CS2 集群的训练速度是云中 Nvidia A100 机器集群的 8 倍。
Cirrascale 正在使用 Cerebras 拥有的 CS2 和机器集群,以及位于加利福尼亚州圣克拉拉 Colovore 的托管设施中的 Andromeda 超级计算机,Cirrascale 也在那里安装了设备。
Cerebras 与 Cirrascale 合作的价格表承诺,其平均成本仅为云服务或用于训练大型模型的专用集群的一半。
与 Studio 的合作伙伴关系是在 Cerebras 和 Cirrascale 一年前宣布的合作伙伴关系之后,每周在云中提供 CS2 计算机。
Feldman 说,该服务将根据语言模型的规模自动扩展集群的大小。该公司强调,训练性能的提高与添加更多计算机成线性比例。
Feldman 说,扩展到最大的集群将价格上涨到溢价。例如,Andromeda 的 16 台计算机集群是 4 路 CS2 集群的 4 倍,但使用它可能会花费客户 5 倍的钱,因为它达到了更高的性能水平。
Feldman 说,削减大型模型训练成本最重要的直接好处可能是让那些负担不起通常所需的巨额租赁成本的各方能够参与大型模型开发。
“我们一次又一次地看到,提前了解定价以及所需的时间是一整类客户面临的真正问题,我们希望克服这些问题,”他说。
Feldman 说,另一种选择是公司花费大量资金一次租赁硬件数年。
“如果你想想当今最大的模型的训练方式,它们都位于签订了几年租约的专用集群上,”Feldman 说。“现在有些公司筹集了巨额资金并拥有巨大的估值,但在他们最疯狂的梦想中,他们从未拥有过硬件。”
同样在周二,Cerebras 宣布其本月早些时候推出的 Andromeda 超级计算机(由 16 台 CS2 机器组成的集群)将被 Jasper 使用,Jasper 是一家由风险投资支持的初创公司,将大型语言模型作为业务应用程序的服务运行,例如生成新闻稿和博客文章。
Jasper 的生成文本功能拥有近 10 万付费客户,为需要使用客户数据(例如特定知识库、产品目录和企业“语音”)训练大型语言模型的企业提供服务。
“他们想要个性化的模型,而且他们非常想要它们,”Jasper 的首席执行官戴夫·罗根莫瑟 (Dave Rogenmoser) 在同一场新闻发布会上说。他说,这个想法是让营销部门 “都用同样的声音说话”,让新员工 “跟上速度,都用同样的声音说话”,就像公司的其他成员一样。这包括使用客户的习惯语言生成 Facebook 广告的模型之类的内容。
Rogenmoser 说,与 Cerebras 合作能够降低训练成本并显著加快大型语言模型的训练时间“对我们来说是一个巨大的吸引力”。
Rogenmoser 表示,Jasper 最近完成了 A 轮融资,该公司的估值为 15 亿美元。
使用专用集群不仅可以更快、更便宜,而且更细致入微,Cerebras 的产品主管 Andy Hock 在同一场新闻发布会上表示。
Hock 说:“我们在市场上更广泛地观察到的一件事是,许多公司都希望能够快速研究和开发这些大规模模型,但传统云中存在的基础设施并不能使这种大规模研发变得容易。
“能够提出诸如,我应该从头开始训练 [大型语言模型],还是应该微调开源公共检查点,最佳答案是什么,如何最有效地使用计算来降低商品成本,从而为我的客户提供最佳服务 - 能够提出这些问题的成本很高,而且在许多情况下是不切实际的。”
他说,Cerebras 集群使 Jasper 和其他人能够提出这些问题。
这两项公告都是在本周于新奥尔良举行的第 36 届年度神经信息系统会议 (NeurIPS) 上发布的,该会议是 AI 领域的首屈一指的会议。




