Neural Magic 的稀疏性、Nvidia 的 Hopper 和阿里巴巴的网络在最新的 MLPerf AI 基准测试中名列前茅

AI 芯片的最新基准测试显示了处理不断增长的规模（包括机器集群）和稀疏性（修剪神经网络以使其更高效）的新方法。

Nvidia 的最新一代 GPU 设计 Hopper 出现在神经网络硬件的 MLPerf 基准测试中。该芯片显示出令人钦佩的分数，单芯片系统击败了一些使用旧品种 A100 的多个芯片的系统。 

人工智能的机器学习形式的趋势越来越大，神经网络越来越大。最大的神经网络，例如 Google 的 Pathways 语言模型，通过其参数或“权重”来衡量，其权重超过五万亿个，其中每增加一个权重，使用的计算能力就会增加。

如何应对这种不断增加的规模？一方面拥有更强大的芯片，另一方面也通过节食一些软件。 

周四，运行 MLPerf 测试的联盟 MLCommons 提出了关于神经网络运行多快进行预测的最新基准测试。报告的结果包含一些重要的里程碑，包括 3 月份公布的 Nvidia “Hopper” GPU 的首次基准测试结果。

与此同时，中国云巨头阿里巴巴提交了有史以来第一个报告的结果，将整个计算机集群作为一台机器运行，在可以实现的总吞吐量方面击败了其他提交的结果。 

一家名为 Neural Magic 的初创公司展示了它如何能够使用“修剪”（一种切割神经网络部分的方法）来实现一个更精简的软件，该软件的性能与普通程序一样好，但所需的计算能力更少。

“我们都在训练这些令人尴尬的蛮力、密集模型，”Neural Magic 的产品工程主管 Michael Goin 在接受 ZDNet 采访时说，他指的是 Pathways 等巨型神经网络。“我们都知道必须有更好的方法。”

称为 Inference 2.1 的基准测试代表了 AI 机器学习方法的一半，当经过训练的神经网络获得新数据，并且必须产生结论作为其输出。该基准测试衡量计算机为许多任务（包括 ImageNet）生成答案的速度，其中挑战是神经网络将多个标签之一应用于描述照片中物体（如猫或狗）的照片。 

芯片和系统制造商竞争，看看他们在以下指标上的表现如何，例如一秒钟内处理的照片数量，或者他们可以获得多低的延迟、发送到计算机的请求的总往返时间以及要返回的预测。 

此外，一些供应商提交的测试结果显示他们的机器消耗了多少能源，随着数据中心变得越来越大，消耗了大量电力，这是一个越来越重要的因素。 

问题的另一半，即训练神经网络，在 MLCommons 单独报告的另一组基准测试结果中有所介绍，最新一轮是在 6 月。 

Inference 2.1 报告遵循 4 月份的上一轮推理基准测试。这一次，报告的结果仅与在数据中心和“边缘”中运行的计算机系统有关，“边缘”一词已经涵盖了传统数据中心机器以外的各种计算机系统。一个电子表格用于数据中心结果，另一个电子表格用于边缘。

最新报告不包括被称为 TinyML 的超低功耗设备和移动计算机的结果，这些设备在 4 月份的报告中被归为一类。 

基准测试总共收到了来自芯片制造商和合作伙伴以及 Neural Magic 等初创公司的 5,300 份提交。这比 4 月份 报告的上一轮报告高出近 40%。

与过去一样，Nvidia 在众多任务中加快推理速度方面获得了最高分。Nvidia 的 A100 GPU 在提交数量中占据主导地位，通常情况下，它与 Intel 和 Advanced Micro Devices 的处理器集成在由众多合作伙伴构建的系统中，包括阿里巴巴、ASUSTeK、Microsoft Azure、Biren、Dell、Fujitsu、GIGABYTE、H3C、Hewlett Packard Enterprise、Inspur、Intel、Krai、Lenovo、OctoML、SAPEON 和 Supermicro。 

Nvidia 自己在结果的数据中心部分提交了两个条目，其中包含名为“H100”的 Hopper GPU。一个系统配有 AMD EPYC CPU 作为主机处理器，另一个系统配有 Intel Xeon CPU。 

值得注意的是，在这两种情况下，Hopper GPU 尽管是单个芯片，但得分非常高，在许多情况下都优于具有 2 个、4 个或 8 个 A100 芯片的系统。

Hopper GPU 预计将于今年晚些时候上市。英伟达表示，预计在 2023 年初将推出其即将推出的“Grace”CPU 芯片，该芯片将与英特尔和 AMD CPU 竞争，该部件将成为系统中 Hopper 的配套芯片。 

与 Nvidia 一起，移动芯片巨头高通展示了其 Cloud AI 100 芯片的新成果，这是一款专为机器学习任务构建的新型加速器。高通在本轮融资中增加了新的系统合作伙伴，包括 Dell 和 Hewlett Packard Enterprise 以及联想，并增加了使用其芯片的提交总数。

虽然芯片制造商和系统制造商之间的竞争往往占据头条新闻，但越来越多的聪明的研究人员出现在 MLPerf 中，他们带来了可以从相同硬件中获得更多性能的新方法。 

过去的例子包括 OctoML，这是一家试图将 DevOps 的严谨性引入机器学习的初创公司。 

这一次，成立 4 年、由风险投资支持的初创公司 Neural Magic 提供了一种有趣的方法。该公司的技术部分来自创始人 Nir Shavit（麻省理工学院的学者）和 Alex Matveev（前麻省理工学院的研究科学家兼 公司首席技术官）的研究。 

这项工作指出了在精简神经网络所需的计算能力方面可能取得的突破。 

Neural Magic 的技术训练神经网络并找到哪些权重可以不使用。然后，它将这些权重设置为零值，以便计算机芯片不会处理它们。 

这种方法称为修剪，类似于去除树上不需要的树枝。然而，它也是深度学习更广泛趋势的一部分，这种趋势可以追溯到几十年前，被称为“稀疏性”。在机器学习的稀疏方法中，一些数据和程序的某些部分可以被视为实际目的的不必要信息。 

Neural Magic 想出了降低神经网络权重的方法，神经网络权重是占用神经网络大部分内存和带宽需求的张量结构。多对多连接层的原始网络被修剪，直到只剩下一些连接，而其他连接被清零。修剪方法是机器学习中称为稀疏性（sparsity）的更大原则的一部分。 

另一种称为量化的技术可将一些数字转换为更简单的表示形式。例如，可以将 32 位浮点数压缩为 8 位标量值，这样更易于计算。 

Neural Magic 技术充当一种转换工具，数据科学家可以使用它来自动查找其神经网络中可以在不牺牲准确性的情况下安全丢弃的部分。 

根据 Neural Magic 的项目负责人的说法，好处不仅在于减少了处理器必须处理的计算数量，还减少了 CPU 必须从芯片外部传输到外部内存（如 DRAM）的数量，这会减慢一切速度。 

“你删除了 90% 的参数，你删除了你需要的 90% 的 FLOP，”Neural Magic 的 Goin 说，他指的是“每秒浮点运算”，这是衡量处理器运行计算速度的标准指标。 

此外，“CPU 很容易受到内存带宽的限制，”Goin 说。“移动大型张量需要大量的内存带宽，而 CPU 在这方面很糟糕，”Goin 指出。张量是组织神经网络权重值的结构，必须保留在内存中。 

Neural Magic 说，通过修剪，CPU 可以比 GPU 更具优势。在左侧，GPU 必须运行整个神经网络及其所有权重，以填充 GPU 的高度并行化电路。在右侧，CPU 能够使用片上丰富的 L3 高速缓存来运行本地内存（称为张量列）中的张量，而无需访问片外 DRAM。

Neural Magic 使用两个运行频率为 2.3 GHz 的 Intel Xeon 8380 芯片的系统提交了数据中心和边缘 类别的结果。Neural Magic 选择的类别是数据中心和边缘的“开放”类别，允许提交者使用不符合基准测试标准规则的独特软件方法。 

该公司使用其名为 DeepSparse 的新型运行时引擎来运行由 Google 开发的 BERT 自然语言处理神经网络的一个版本。 

通过修剪 BERT 网络，大大减小的权重大小可以保存在 CPU 的本地内存中，而不是从片外转移到 DRAM。 

现代 CPU 具有称为缓存的大容量本地内存，可以存储常用值。大多数服务器芯片（如 Xeon）上的所谓 3 级缓存可以容纳数十 MB 的数据。Neural Magic DeepSparse 软件将 BERT 程序的文件大小从 1.3 GB 削减到低至 10 MB。 

“现在权重可以非常小，那么你可以将它们放入缓存中，更具体地说，将多个作放入这些不同级别的缓存中，以获得更有效的内存带宽，而不是卡在外使用 DRAM，”Goin 告诉 ZDNet。

DeepSparse 程序显示每秒处理的查询数明显高于许多标准系统。 

与遵循严格软件规则的 ResNet 数据中心测试的“封闭”版本的结果相比，Neural Magic 的单个 Intel CPU 在多个 Nvidia 加速器（包括来自 Hewlett Packard Enterprise 和 Nvidia 本身）的众多提交中名列前茅。 

在更具代表性的比较中，配备两台 Intel Xeon 的 Dell PowerEdge 服务器每秒仅处理 47.09 个查询，而其中一台 Neural Magic 机器每秒能够生成 928.6 个查询，速度提高了一个数量级。 

Neural Magic 基于 Intel Xeon 的系统在相同精度水平上交出的结果比 Dell 系统快一个数量级，尽管 BERT 神经网络 60% 的权重归零。 

Neural Magic 的 DeepSparse 使用的 BERT 版本去除了 60% 的权重，其中 10 层人工神经元归零，只剩下 14 层，而戴尔计算机正在使用标准的完整版本。尽管如此，Neural Magic 机器产生的预测仍然与标准的 99% 准确率测量相差 1%。

Neural Magic 描述了它能够将 BERT 自然语言处理程序修剪到不同程度的稀疏性。

Neural Magic 发布了自己的博客文章来描述这一成就。

Neural Magic 的工作对 AI 和芯片社区具有广泛的影响。如果可以将神经网络调整为不那么耗费资源，那么它可能会提供一种方法来阻止机器学习不断增长的功率预算。

“当你考虑部署一个盒子来进行推理的实际成本时，运行时引擎还有很多工作要做，但就机器学习社区而言，在让 ML 工程师和数据科学家使用更多工具来优化他们的模型方面，还有更多工作要做。“Goin 告诉 ZDNet。

“我们有一个很大的路线图，”Goin 说。“我们希望向更多人开放优化。” 

“如果我们可以将模型修剪到其重量的 95%，为什么不是每个人都这样做呢？” 

Goin 说，稀疏性“将像量化一样，每个人都会接受它，我们只是处于它的边缘。 

对于芯片行业来说，Neural Magic 能够展示 X86 芯片的优势这一事实意味着更多种类的芯片方法可用于推理和训练。今年早些时候，Neural Magic 与 Intel 在 x86 CPU 方面的最大竞争对手 Advanced Micro Devices 合作，表明这项工作不仅限于 Intel 品牌芯片。

去年，英特尔的科学家们甚至在着手制作 BERT 的修剪模型时转向了 Neural Magic。在以色列英特尔实验室的 Ofir Zafrir 及其同事的一篇论文中，将名为“渐进幅度修剪”的神经魔术方法与名为“学习率倒带”的英特尔方法相结合。作者报告说，两者的结合导致的准确性损失最小。

Goin 预计 Neural Magic 将在未来添加基于 ARM 的系统。“我希望能够直接从这台 MacBook Pro 在这里进行 MLPerf 提交，”Goin 说，他指的是使用 ARM 指令集的 Mac M 系列芯片。

据 Goin 称，目前有近 40 名员工的 Neural Magic 去年筹集了 3000 万美元的风险投资，并“跑到 2024 年”。该公司通过出售使用 DeepSparse 运行时引擎的许可证来通过其代码获利。“我们看到人们对边缘自然语言处理和计算机视觉等事物最感兴趣，”Goin 说。 

Goin 说，零售是一个非常有前景的用例领域，制造和 IoT 应用程序也是如此。但适用性实际上是世界上任何数量的不起眼的系统，它们没有花哨的加速器，也可能永远不会有这样的硬件。“有些行业已经存在了几十年，到处都有 CPU，”Goin 说。“你走进星巴克的后室，他们的壁橱里有一架服务器。” 

在 MLPerf 的其他引人注目的第一中，云巨头阿里巴巴是第一家也是唯一一家提交由多台机器组成的系统的公司，这通常是单台机器的竞争。 

阿里巴巴提交了五个系统，这些系统由 2 到 6 个节点组成，混合运行 Intel Xeon 和 Nvidia GPU。一个名为 Sinian vODLA 的阿里巴巴软件程序会自动将神经网络的任务划分到不同计算机的不同处理器上。

最引人注目的特点是 Sinian 软件可以动态决定将神经网络的任务分配给不同类型的处理器，包括各种 Nvidia GPU，而不仅仅是一种，因此每个处理器的能力差异不是障碍，而是潜在优势。 

“这就是未来，异构计算，”阿里巴巴负责异构计算的首席科学家张伟峰在接受 ZDNet 采访时说。

阿里云服务器的基准测试结果显示了一些令人瞠目结舌的数字。在 BERT 语言任务中，总共具有 32 个 Nvidia GPU 的四节点系统每秒能够运行超过 90,000 个查询。这比封闭式数据中心计算机类别中的最高获胜者提交的速度快 27%，后者是 Inspur 的一台使用 24 个 GPU 的机器。

一台由四台独立计算机组成的阿里云计算机作为一台计算机（顶部）运行，能够编组 32 个 Nvidia GPU，从而产生结果，比顶级单个系统（浪潮的 24 芯片机器）快 27%。

“这项工作的价值可以概括为简单、高效和经济，”Zhang 告诉 ZDNet。  

Zhang 解释说，首先是易用性，“我们可以抽象出计算 [硬件] 的异构性，使其更像一个巨大的资源池”。

如何使多台计算机作为一个计算机运行是计算机科学的一个领域，随着超大型神经网络的兴起，该领域显示出新的相关性。然而，开发软件系统以在许多计算机上进行工作分区是一项艰巨的任务，大多数 AI 的工业用户都无法触及。 

Zhang 指出，Nvidia 已经找到了对其 GPU 进行分区的方法，使其成为多租户芯片，称为“MIG”，一种多实例 GPU。 

他说，这只是一个开始，但阿里巴巴希望能超越它。“MIG 将 GPU 分为七个小组件，但我们希望将其推广化，以超越物理限制，根据实际需求使用资源分配，”Zhang 解释说。 

“如果你运行的是 ResNet-50，也许你只使用了 10 TOPs 的计算量”，这意味着每秒数万亿次作。他说，即使是其中一个 MIG 也可能超过用户的需求。“我们可以进行更精细的分配，”使用 Sinian，“因此可能一百个用户可以同时使用 [单个 GPU]。

关于第二点，Zhang指出，效率是大多数芯片，很少得到应有的利用。由于各种因素，例如内存和磁盘访问时间以及带宽限制，GPU 的利用率有时低于 50%，这是一种浪费。Zhang指出，有时，这一比例低至10%。

“如果你使用一台带有 8 个 PCIe 插槽的机器”将芯片连接到内存，Zhang 说，“你将使用不到 50% 的资源，因为网络是瓶颈。通过首先处理网络问题，”我们能够在此提交中实现更高的利用率。

也许同样重要的是，随着机器扩展到越来越多的芯片，单个机箱的功耗成为一个棘手的问题。“假设你可以在主板上为 GPU 构建 32 个插槽”，Zhang 解释说，“你可能会得到相同的结果，但主板上有 32 个 PCIe 插槽，你的电源将增加三倍。

他说，就尝试实现绿色计算而言，这是一个大问题。 

第三个问题，经济性，与阿里巴巴的客户如何购买实例有关。“这对我们来说很重要，因为我们有很多设备，而不仅仅是 GPU，我们希望利用所有这些设备，”Zhang 说。“我们的客户说他们想使用最新的 [芯片]，但这可能并不正是他们所需要的，因此我们希望确保池中的所有内容都可供用户使用，包括 A100 [GPU] 以及较旧的技术。”

“只要我们解决他们的问题，给他们更多经济的资源，这可能会为我们的客户节省更多的钱——这基本上是我们努力解决这个问题的主要动力。”

如果您想深入了解阿里巴巴工作的更多细节，最好从一张幻灯片开始，张先生在 6 月在国际计算机体系结构研讨会上发表演讲时用了一堆幻灯片。

阿里巴巴的工作特别有趣，因为一段时间以来，计算机网络领域的专家一直在讨论位于局域网后面的第二个网络，这是一种专门用于满足深度学习大量带宽需求的专用 AI 网络。

从这个意义上说，阿里巴巴的网络提交和 Neural Magic 的稀疏性都在处理内存访问和带宽的首要问题，该领域的许多人表示，这是深度学习的障碍，比计算部分本身要大得多。