Nvidia、戴尔和高通在最新的基准测试中加快了人工智能结果的速度

这将有助于遏制运行人工智能程序的计算成本不断上升的趋势。

Nvidia 对 AI 任务的图形描述。

在最新的人工智能基准测试中，英伟达、戴尔、高通和一群初创公司采用了新颖的技术来完成减少回答问题的计算预算的任务，同时在这个过程中节省电力。

这可能有助于遏制运行规模不断扩大的人工智能程序（例如 OpenAI 的 ChatGPT 和 GPT-4）的计算需求不断上升的趋势。

周二，运行 MLPerf 测试的联盟 MLCommons 提出了最新的基准测试，测试神经网络可以运行多快来进行预测。英伟达、戴尔、高通和超微等领先供应商提交了具有各种芯片配置的计算机系统，看看哪些系统获得了最高分。

他们竞相提供每秒可以回答最多的问题、最短的回答时间（称为延迟）或最少的功耗（即能源效率）。

一群有趣的初创公司也参与其中，包括 Neural Magic、xFusion、cTuning、Nettrix、Neuchips、Moffett 和 Krai。

该测试结果被称为“MLPerf Inference 3.0”，它模拟了当受过训练的神经网络输入新数据并必须产生结论作为其输出时发生的计算操作。

该基准衡量计算机为包括 ImageNet 在内的多项任务生成答案的速度，其中的挑战是神经网络将多个标签之一应用到描述照片中对象（例如猫或狗）的照片上。

测试结果遵循 9 月份报告的 MLPerf 推断 2.1。

MLCommons 在一份新闻稿中指出，多家供应商提交的结果显示“在一些基准测试中，性能显着提高了 60% 以上”。

对于基准测试，芯片和系统制造商竞相测试他们在诸如一秒内处理的照片数量等指标上的表现，或者他们能获得多低的延迟、发送请求的总往返时间。到计算机并返回一个预测。

报告的结果涉及在数据中心和“边缘”中运行的计算机系统，“边缘”一词已涵盖传统数据中心机器以外的各种计算机系统。电子表格列出了数据中心和边缘的所有不同部分的结果。

结果显示更多的组织购买了基准测试。 MLCommons 表示，“破纪录的 25 个提交组织”提交了“超过 6,700 个性能结果，以及超过 2,400 个性能和能效测量结果”。这比 9 月份的 5,300 次性能测量和 2,400 次功率测量有所增加。

提交内容分为两类：“封闭”和“开放”。在前一类中，各个提交者都遵循严格的人工智能软件运行规则，从而可以在公平的竞争环境中对系统进行最直接的比较。

在后一种情况下，提交者可以使用不符合基准测试标准规则的独特软件方法，从而产生一些新颖的创新。

与通常的情况一样，用于运行人工智能的 GPU 的主要供应商 Nvidia 在大多数测试中都因其性能而获得了许多荣誉。运行在两个英特尔至强处理器和八个 Nvidia“Hopper”GPU 芯片上的 Nvidia 系统在六项不同基准测试任务中的五项中名列前茅，其中包括运行 Google BERT 语言模型（ChatGPT 的前身）。在六项任务之一中，使用几乎相同配置的英特尔和 Nvidia 芯片的戴尔系统名列前茅。

有关 Nvidia 结果的更多信息可以在该公司的博客文章中找到。

该公司表示，高通公司能够将 BERT 语言程序的查询吞吐量提高到前 2.1 轮结果的三倍。高通提交的使用两颗AMD EPYC服务器芯片和18颗高通“AI100”人工智能加速器芯片的系统在BERT任务中获得了数据中心计算机开放组的最高分。它的成绩是每秒对 BERT 网络进行 53,024 次查询的吞吐量，仅比封闭组中排名第一的 Nvidia 落后一点点。

新参与者包括总部位于巴黎的 cTuning，这是一家非营利组织，正在为人工智能程序员开发开源工具，以便在不同的硬件平台上重现基准测试结果。

在边缘计算基准测试的封闭类别中，五分之四的任务中，CTuning 在最低延迟、从提交查询到返回答案的最短时间方面名列前茅。

回归推理竞争者 Neural Magic 是一家由麻省理工学院学者 Nir Shavit 共同创立的风险投资初创公司，它再次推出了其特殊软件，可以找到神经网络的哪些“神经权重”可以不使用，以便将它们不由计算机芯片处理，从而节省计算需求。

该公司的 DeepSparse 软件只能使用主机处理器（Intel、AMD 的 x86 芯片或未来基于 ARM 的芯片），无需 Nvidia GPU 的任何帮助。

在边缘计算开放部门的 BERT 语言测试中，Neural Magic 的 DeepSparse 软件使用两个 AMD EPYC 服务器处理器，从 Google BERT 神经网络产生每秒 5,578 个响应。在由两个 Xeon 处理器和一个 Nvidia Hopper GPU 组成的封闭组中，这仅略落后于 Supermicro 计算机的第二名。

该公司认为，依靠普通的 x86 芯片而不是价格更高的 GPU，将有助于通过降低运行程序的总体成本，将人工智能传播到更多的公司和机构。

Neural Magic 产品工程主管 Michael Goin 在接受 ZDNET 采访时表示：“您可以从这款消费级硬件中获得更多好处。” “公司已经在其商店或零售场所使用这些相同的 AMD 芯片来进行销售、库存和物流。”

有关 Neural Magic 方法的更多信息，请参阅该公司的博客文章