AI PC 到底是什么？你应该在 2025 年买一个吗？

谷歌表示，训练大型模型是该公司的“巨大重点”，应该在基准测试结果中得到更多关注。

一个 Google 数据中心，机架上装有 TPU 版本 4 加速器芯片，用于处理机器学习。Google 使用一个包含 2048 个 TPU 的集群，在 19 小时内训练了其有史以来最大的 BERT 自然语言程序版本，该程序由 4810 亿个参数组成，作为提交给 MLPerf 基准测试竞赛的参赛作品。

人工智能的深度学习世界痴迷于大小。 

深度学习程序，例如 OpenAI 的 GPT-3，继续使用越来越多的 Nvidia 和 AMD 的 GPU 芯片（或新型加速器芯片）来构建越来越大的软件程序。研究人员认为，这些程序的准确性随着规模的增加而增加。

周三 ，MLCommons 报告的最新行业基准测试结果充分展示了这种对大小的痴迷，该结果为衡量计算机芯片处理深度学习代码的速度设定了标准。 

Google 决定不参加深度学习的任何标准基准测试，这些测试包括在该领域已经成熟但相对过时的程序。相反，Google 的工程师展示了 Google 的 BERT 自然语言程序的一个版本，这是其他供应商没有使用的。 

MLPerf 是用于衡量比赛性能的基准测试套件，它报告了两个细分市场的结果：标准的“封闭”部门，大多数供应商在 ResNet-50 等成熟网络上竞争;以及 “Open” 部门，允许供应商尝试非标准方法。 

正是在开放部门，谷歌展示了一台使用 2,048 个 Google TPU 芯片（第 4 版）的计算机。那台机器能够在大约 19 小时内开发 BERT 程序。 

BERT 程序是一个拥有 4810 亿个参数的神经网络，以前从未披露过。它比流通中的标准版 BERT 大三个数量级以上，称为“BERT Large”，后者只有 3.4 亿个参数。拥有更多的参数通常需要更多的计算能力。 

谷歌表示，这项新颖的提交反映了规模在 AI 中日益增长的重要性。

Google 在 MLPerf 的“Open”部门提交了其 BERT 语言程序的新颖版本。Graphcore 和 Samsung 是参与该部门的另外两家供应商。 

“我们这次的想法是，我们一直热衷于确保我们提交给 MLPerf 的内容与我们的内部需求以及 ML 行业的需求完全一致，”谷歌负责机器学习基础设施的 Aarush Selvan 在媒体简报会上说。 

“因此，训练大型模型 -- 数百亿或数千亿个参数，甚至 1 万亿个及以上参数的模型 -- 无论是在 Google 内部 -- 这是我们研究和生产的巨大重点，也是我们的云客户。”

MLPerf 测试套件是 MLCommons 的创建，MLCommons 是一个行业联盟，针对机器学习的两个部分发布多次计算机年度基准评估：所谓的训练，其中神经网络是通过在多个实验中优化其设置来构建的;以及所谓的推理，即完成的神经网络在收到新数据时进行预测。 

周三的报告是训练阶段的最新基准测试。这是继 6 月份的上一份报告之后 的。

MLPerf 的完整结果在 MLCommons 网站上的新闻稿中进行了讨论。提交的完整数据可以在网站上发布的表格中看到。

Google 的 Selvan 表示，MLCommons 应该考虑包含更多的大型模型。他说，像 ResNet-50 这样较老、较小的网络“只为我们提供了大规模训练性能的代理”。 

“在短短几秒钟内投入 4,000 个芯片来训练 BERT 真的很酷，”Selvan 说，他指的是大多数供应商在封闭部门关注的较小版本的 BERT。

“它展示了可扩展性的某些方面，但它实际上只是一个代理，因为在现实生活中，你永远不会使用那么多芯片来训练那么小的模型。”

“在短短几秒钟内投入 4,000 个芯片来训练 BERT 真的很酷，”Selvan 说，他指的是大多数供应商在封闭部门关注的较小版本的 BERT。“它展示了可扩展性的某些方面，但它实际上只是一个代理，因为在现实生活中，你永远不会使用那么多芯片来训练那么小的模型。”

塞尔万说，缺失的组成部分是随着系统规模的扩大而产生的所谓效率。他告诉 ZDNet，Google 能够以 63% 的效率运行其巨型 BERT 模型，该效率是按每秒执行的浮点运算数量相对于理论容量来衡量的。他说，这比 Nvidia 在开发与 Microsoft 合作开发的 Megatron-Turing 语言模型时取得的第二高行业成果 52% 要好。 

“展望未来，我们认为在 MLPerf 竞赛中拥有某种大型模型基准测试将非常棒，”Selvan 说。

MLCommons 执行董事大卫·坎特 （David Kanter） 表示，拥有大型模型的决定应该留给下议院成员集体决定。然而，他指出，使用小型神经网络作为测试使更多方能够参加比赛。 

“基准测试的重点是公平和有代表性，但也要不要让任何运行它的人破产，”坎特说。 

“从理论上讲，我们可以将训练 GPT-3 作为 MLPerf  基准，”Kanter 补充道，他指的是 OpenAI 去年推出的 1750 亿参数语言模型，作为最先进的自然语言模型。 

“基准测试的重点是公平和有代表性，但也要不要让任何运行它的人破产，”MLCommons 主席 Kanter 说。“从理论上讲，我们可以将训练 GPT-3 作为 MLPerf  基准......挑战在于，训练 GPT-3 的计算成本相当高。这是数千万美元。

“挑战在于，训练 GPT-3 的计算成本相当高。这是数千万美元。

Kanter 说，相比之下，MLPerf 的标准测试（其代码可供所有人使用）是任何 AI 研究人员都可以利用的资源来复制测试，而无需使用奇特的计算方法。 

“通过这种方式，它为整个社区生产了这些非常有价值的工程文物，并有助于推动行业向前发展。”

Selvan 在一封电子邮件中告诉 ZDNet，谷歌没有发布新颖的 BERT 模型的计划，并将其描述为“我们只为 MLPerf 做的事情”。Selvan 说，该程序类似于谷歌今年早些时候对高度并行化神经网络的研究中概述的设计。 

尽管 4810 亿个参数的 BERT 程序很新颖，但它代表真实世界的任务，因为它建立在真实世界的代码之上。 

“我们确实相信，我们提交的这些基准测试，因为它们利用了堆叠的 Transformer 架构，就其计算特性而言，对于已经发布的现有大型语言模型来说，它们是相当现实的，”Selvan 告诉 ZDNet。

Selvan 解释说，与 MLPerf 中较小的提交一样，巨大的 BERT 模型经过训练，可以产生具有一定准确性的结果。在这种情况下，预测准确率为 75%，高于 MLPerf 要求的 72.2%。

Nvidia 芯片再次在训练神经网络方面占据了最高分的大部分，这次得到了 Microsoft Azure 的一些帮助。

Google 计划还依赖于较少的文本数据样本来达到与其他供应商的 Closed Division 结果相同的准确性。封闭部门需要一个程序来训练近五亿个令牌序列，其中大多数每个序列的长度为 128 个令牌。Google 程序仅使用大约 2000 万个令牌进行训练，但每个序列的长度为 512 个令牌。Google 的一篇博文中对这项工作进行了更详细的讨论。

Google 用于完成这项工作的 2,048-TPU 系统目前作为 Google Cloud 服务提供。

MLPerf 的其余结果（主要在封闭部门）表明 Nvidia 和其他供应商在减少训练 ResNet、BERT 和其他任务的标准版本所需的时间方面继续取得进展。 

Nvidia 一如既往地占据了顶级结果的最大份额。例如，使用其最新一代 GPU A100 的计算机在训练 ResNet-50 的最快时间中占据了前四名，最快的仅为 21 秒。这是在 1,080 个 AMD 的 EPYC x86 处理器的帮助下，4,320 个 A100 并行运行。结果比 Nvidia 在 6 月报告中的 24 秒有所改进。

然而，在系统使用较少的 Nvidia 芯片和较少的主机处理器的地方，竞争对手的得分高于 Nvidia。英特尔的 Habana Labs 在 ResNet-50 中排名第五，其中 256 个 Habana 的 Gaudi 加速器芯片由 128 个英特尔至强处理器监督。 

Graphcore 证明，它可以以比 Nvidia 的系统低得多的成本提供更好的结果，节省的大部分成本是同等数量的 AI 加速器所需的 Intel 或 AMD 主机处理器更少。 

总部位于英国布里斯托尔的初创公司Graphcore在6月份的报告中，在BERT训练的双处理器系统方面获得了最高分，该公司的新版本IPU-POD计算机在ResNet-50上排名第六，该计算机使用了256个IPU加速器芯片和32个AMD EPYC主机处理器。

Habana 和 Graphcore ResNet-50 的结果分别为 3.4 分钟和 3.8 分钟。相比之下，Nvidia 的第 7 名参赛作品需要 4.5 分钟，这是一款配备 16 个 EPYC 处理器的 64 路 A100 系统。

与Graphcore首次参与的6月报告一样，该公司强调了在整体系统的性能和成本之间取得平衡的重要性。该公司表示，在其 16 路系统上，ResNet-50 的定时训练时间为 28 分钟，比成本高得多的同类 Nvidia DGXA100 系统快了一分钟。 

“我们的 POD-16 的性能优于 DGXA100...而且它是DGXA100标价的一半，“Graphcore 的首席软件架构师 Dave Lacey 在媒体简报会上说。

Graphcore表示，大部分成本优势来自于相对于IPU芯片而言，Intel或AMD x86主机处理器的比例较小。

Graphcore 在训练标准 BERT 模型方面排名第六，仅次于 Nvidia 芯片，训练时间接近 7 分钟，而排名第五的 Nvidia 系统为 3 分钟。然而，Graphcore 系统仅使用了 4 个 AMD EPYC 处理器，而基于 Nvidia 的系统使用了 16 个处理器。 

“主机处理器价格是系统成本的重要组成部分，”Lacey 说。“就像任何昂贵的资源一样，你只使用你需要的东西。”

Graphcore 证明，其低比例的主机处理器（Intel 或 AMD x86）与加速器芯片是一种更高效的 AI 处理模型，可节省大量成本。 

当被问及 Google 关于大型神经网络任务的观点时，Lacey 说，主要的 MLPerf 结果可以很好地作为真实任务的代理。 

MLCommons 主席 Kanter 表示，除了单个供应商的成就之外，MLPerf 基准测试还展示了芯片行业在加快神经网络性能方面取得的总体成就。

“如果你看一下 MLPerf 训练中随时间推移的最佳结果的轨迹，你会发现它比摩尔定律快得多，”Kanter 说，他指的是几十年来半导体的经验法则，晶体管密度大约每 18 个月翻一番，导致性能翻倍。

“通过对架构、系统大小、软件和模型分区的优化，”Kanter 说，供应商正在设法将神经网络性能的速度提高到比摩尔定律的历史轨迹快 11 倍的速度。 

基准测试套件继续获得供应商的支持，有更多的参与者和更多的提交。所有基准报告的结果总计为 175 个，高于 6 月报告中的 144 个。 

这次有新的供应商加入了竞争。例如，三星电子提交了使用 256 个 AMD 芯片和 1,024 个 Nvidia A100 的超级计算机的结果。该系统在一些非标准软件调整的帮助下，在所有训练正常版本 BERT 的系统中得分第二快，仅为 25 秒。 

这次的新成员是Microsoft 的 Azure 云服务，它报告了 19 个使用 AMD 处理器和 Nvidia A100 在各种配置下提交的结果。Azure 在 8 项基准测试中的 7 项中赢得了前 5 名中的 2 项。

一个 Azure 系统使用 192 个 AMD EPYC 处理器和 768 个 A100 在医疗数据上训练图像分割模型（KiTS19 挑战赛）时获得最高分。

“我们希望使超级计算民主化，”Azure 高性能计算和 AI 主管 Nidhi Chappell 告诉 ZDNet。 

她说，在云中制作商用系统（例如 768 路 AI100 系统）“汇集了 HPC 和 AI 的精华，而不是采用服务于每个工作负载的普通云”。 

“AI 训练是一个 HPC 问题，我们在 HPC 方面的专业知识帮助我们大规模构建 AI，”她说。“我们希望构建针对大规模进行优化的基础设施。”这包括具有多达 80000 个内核的系统。 

Microsoft 通过与 Nvidia 合作进行的首次 MLPerf 培训提交，表明其 Azure 云服务正在“使高性能计算大众化”。

Chappell 说，参加 MLPerf 的一个重要原因是表明，这种大规模的工作在云环境中的表现与在本地一样好。 

“我们已经证明，我们已经能够掩盖云虚拟化的开销;这种开销在云中几乎是远程的，“因此它不会拖累性能，她说。

当被问及大型模型与标准 MLPerf 任务时，Chappell 表示，Azure 提交一些非标准的大规模工作，类似于 Google 在 Open 部门所做的工作，“这只是时间问题”。 

“它会发生的。”

她说，与此同时，封闭部门的标准 MLPerf 测试很有用，因为它们“显示了 AI 的发展速度;这是一个不断的优化过程。

Chappell 在 Nvidia 的合作者、Nvidia 数据中心产品高级集团产品经理 Shar Narasimhan 在同一次简报中表示，MLPerf 的标准测试具有就像一条统一的跑道的优点，许多运动员可以在公平的场地上竞争。 

“它为每个人提供了一个机会，让他们参加完全相同的比赛，并正面比较结果，”Narasimhan 说 。“当我们查看奥运会成绩时，一个多世纪以来，我们的赛道一直完全相同，这让你可以将 100 年前举行的比赛与 [牙买加短跑运动员] 尤塞恩·博尔特的成绩进行比较。”

当然，凭借世界上最大的已发布 NLP 模型 Megatron-Turing，Nvidia 和 Azure 似乎可以像 Google 一样提供新颖的大型模型提交。

“我们无法将这些模型与其他任何人进行比较，”Narasimhan 解释说，因此很难在 MLPerf 的上下文中使此类工作有用。Nvidia 尚未承诺未来提交任何大型模型。

Narasimhan 说，就行业而言，重要的是许多公司希望将 AI 用于重点目的，“而不是需要 4,000 个芯片才能运行的巨大语言模型。”他说，较小的基准测试可用于预测工作负载和性能。

谷歌的 Selvan 表示，谷歌打算在未来继续提交 MLPerf 的封闭部门基准测试。 

“明年我们会在封闭组看到大家——希望不能保证，但我们计划在那里，”他说。