IBM 的行业转型蓝图如何利用 AI、5G 和协作
谷歌选择只参加一半的基准测试，而 Nvidia 及其合作伙伴再次在所有基准测试中占据主导地位。
MLCommons 总监 David Kanter 指出，硬件架构和深度学习软件的改进导致 AI 的性能改进，其预期是传统芯片扩展改进预期的十倍。
根据 MLCommons 周三发布的数据，谷歌和英伟达在一年两次的人工智能程序训练基准测试中平分了最高分，MLCommons 是监督机器学习性能的流行测试 MLPerf 的行业联盟。
MLPerf 2.0 版训练结果显示，谷歌在商用系统的四项任务中训练神经网络的最低时间方面得分最高：图像识别、对象检测、一项小图像测试、一项大图像测试以及 BERT 自然语言处理模型。
Nvidia 在八项测试中的其他四项中获得了最高荣誉，这些测试是其商用系统：图像分割、语音识别、推荐系统以及解决在“迷你 Go”数据集上玩围棋的强化学习任务。
两家公司在多个基准测试中都获得了高分，但是，谷歌没有报告其他四项测试的商用系统的结果，只报告了它赢得的那四项测试的结果。Nvidia 报告了所有八项测试的结果。
基准测试报告调整神经“权重”或参数所需的时间，直到计算机程序在给定任务上达到所需的最低精度，这一过程称为“训练”神经网络。
在所有供应商中，由于更强大的功能和更智能的软件方法，训练时间都显示出显著的改善。在媒体吹风会上，MLCommons 的执行董事 David Kanter 解释说，从广义上讲，结果表明，训练的性能提高比摩尔定律更好，摩尔定律是传统的经验法则，即芯片每 18 到 24 个月增加一倍的晶体管可以加快计算机性能。
Kanter 说，例如，在古老的 ImageNet 任务中，神经网络经过训练，为数百万张图像分配分类器标签，其分数今天比简单的芯片改进快 9 到 10 倍。
“我们做得比摩尔定律好得多，”坎特说。“假设晶体管与性能呈线性关系，您期望获得大约三倍半的性能提升;事实证明，我们得到了 10 倍的摩尔定律。
Kanter 说，好处会渗透到“普通人”身上，“研究人员只有一个工作站”，只包含 8 个芯片。
Nvidia 在构成全球大部分 AI 计算的 GPU 芯片的销售中占据主导地位，它定期提交大部分或全部测试的结果。他指出，这些单个工作站正在看到改进，或者说简单的晶体管缩放是 4 到 8 倍。“我们正在为研究人员提供更多功能，这使我们能够进行更多的实验，并希望能有更多的发现。”
谷歌的 TPU 是 Nvidia 芯片的主要竞争对手之一，与 MLPerf 的记录要差得多。在 12 月的基准测试报告中，该公司只提交了一个测试编号，用于在 BERT 测试中对其 TPU 的实验使用。
Google 在准备好的评论中表示，“Google 的 TPU v4 [版本 4] ML 超级计算机在五个基准测试中创下了性能记录，平均速度比第二快的非 Google 提交高 1.42 倍，比我们的 MLPerf 1.0 提交高 1.5 倍。
Google 对 5 个基准的引用包括针对非商用研究系统的推荐系统报告的最佳分数。
当被 ZDNet 问及为什么谷歌选择与这四个类别的商业系统竞争而不是其他四个类别时，该公司在一封电子邮件回复中表示，“我们提交申请的目的是主要关注那些为我们带来 MLPerf 之外最大利益的工作负载。
“我们根据模型与 Google 内部和 Google Cloud 客户使用的 ML 模型的相似性来决定提交哪些模型。提交和优化基准测试是一项繁重的工作，因此我们集中精力实现 MLPerf 之外的利益最大化。
“鉴于此，我们将精力集中在云可用类别的四个基准上 - BERT、ResNet、RetinaNet、MaskRCNN。”
Nvidia 强调了自己以及包括 Dell 和 Lenovo 在内的合作伙伴提交内容的全面范围。使用一种或另一种 Nvidia 芯片的计算机负责 105 个系统，在总共 264 个报告结果中，有 235 个报告了测试结果。
“根据今天发布的 MLPerf 基准测试，NVIDIA 及其合作伙伴继续提供最佳的整体 AI 训练性能和所有基准测试中最多的提交，其中 90% 的参赛作品来自生态系统，”Nvidia 高管 Shar Narasimhan 在准备好的讲话中表示。
“NVIDIA AI 平台涵盖了 MLPerf Training 2.0 轮中的所有八项基准测试，凸显了其领先的多功能性。”
在一张幻灯片中，Narasimhan 展示了他所说的“标准化”测量，该测量试图实现每个加速器的性能，因为不同的机器提交使用不同数量的加速器芯片。Narasimhan 说，这项衡量标准显示 Nvidia 在 8 项测试中的 6 项中表现最高。
“我们相信，这种显示最高性能标准化为 1.0 倍，然后以相似比例显示所有剩余加速器进行比较的特殊方法是比较每个人的最公平方式，”Narasimhan 说。
在其他发展中，MLPerf 测试继续获得追随者并获得比过去更多的测试结果。共有 21 个组织报告了 264 个测试结果，高于 12 月版本 1.1 报告中 的 14 个组织和 181 个报告。
新进入者包括 Asustek;中国科学院 （CASIA）;计算机制造商 H3C;HazyResearch，由一名研究生提交的名字;Krai，它参加了另一场 MLPerf 比赛，推理，但以前从未接受过训练;以及初创公司 MosaicML。
在排名前五的商业系统中，Nvidia 和 Google 紧随其后，只有少数提交者获得了第三、第四或第五名。
Microsoft 的 Azure 云部门在图像分割竞赛中获得第二名，在高分辨率图像对象检测竞赛中获得第四名，在语音识别竞赛中获得第三名，所有这些都使用配备 AMD EPYC 处理器和 Nvidia GPU 的系统。
计算机制造商 H3C 在图像分割竞赛、高分辨率图像对象检测竞赛、推荐引擎和围棋游戏等四项测试中获得第五名，并在语音识别方面获得第四名。所有这些系统都使用 Intel XEON 处理器和 Nvidia GPU。
Dell Technologies 在使用 AMD 处理器和 Nvidia GPU 的系统使用较低分辨率图像进行对象检测方面排名第四，在 BERT 自然语言测试中排名第五。
计算机制造商浪潮凭借使用 AMD EPYC 处理器和 Nvidia GPU 的系统在语音识别方面排名第五，在推荐系统（基于 XEON 和基于 EPYC 的系统）中分别排名第三和第四。
Graphcore 是一家总部位于英国布里斯托尔的初创公司，使用替代芯片和软件方法构建计算机，在 ImageNet 中排名第五。IT 解决方案提供商 Nettrix 在图像分割竞赛中获得 第四名，在 Go 强化学习挑战赛中获得第四名。
八项基准测试中每一项的前五名提交者，以及他们为列出的任务训练列出的神经网络所花费的分钟数。较小的数字意味着更少的训练时间，这更好。
在向记者举行的简报会上，Graphcore 强调了其有能力以更低的价格为其具有不同数量的 IPU 加速器芯片的 BowPOD 机器提供与英伟达相比有竞争力的分数。例如，该公司吹捧其 BowPOD256，它在 ResNet 图像识别方面排名第五，比 8 路 Nvidia DGX 系统快 10 倍，同时成本更低。
“最重要的绝对是经济性，”Graphcore 的软件主管 Matt Fyles 在媒体简报会上说。“我们过去的趋势是机器越来越快但越来越贵，但我们已经划清了界限，我们不会让它变得更贵。”
尽管一些较小的 Graphcore 机器在几分钟的训练时间上落后于最高分或 Nvidia 和 Graphcore，但“我们的客户都不在乎几分钟，他们关心的是你是否具有竞争力，然后你能否解决他们关心的问题，”他说。
Fyles 补充道：“有很多项目拥有数千个芯片，但现在行业将扩大你可以用该平台做的其他事情，而不仅仅是，我们必须赢得这场基准竞赛——这就是逐底竞争。
与过去的报道一样，Advanced Micro Devices 对 Intel 有吹嘘的权利。在参赛的 130 个系统中，有 79 个使用了 AMD 的 EPYC 或 ROME 服务器处理器，比例高于 Intel XEON 芯片。此外，在 8 项基准测试的前 40 个结果中，有 33 个是基于 AMD 的系统。
与过去一样，英特尔除了在合作伙伴系统中拥有其 XEON 处理器外，还通过其 Habana Labs 部门制作了自己的条目，使用 XEON 与 Habana Gaudi 加速器芯片而不是 Nvidia GPU 相结合。英特尔只将精力集中在 BERT 自然语言测试上，但未能进入前五名。
八项基准测试中有七项与 12 月的比赛相同。一个新条目取代了其中一项对象检测任务，其中计算机必须在图片中勾勒出对象的轮廓，并在轮廓上贴上标签以识别该对象。
在这个新版本中，广泛使用的 COCO 数据集和 SSD 神经网络被新数据集 OpenImages 和新神经网络 RetinaNet 所取代。
OpenImages 使用大于 1,200 x 1,600 像素的图像文件。另一个对象检测任务仍然使用 COCO，它使用较低分辨率的 640 x 480 像素图像。
在媒体简报会上，MLCommons 的 Kanter 解释说，OpenImages 数据集与新的基准神经网络相结合，供提交者使用。 以前的网络基于经典的 ResNet 神经网络，用于图像识别和图像分割。
新测试中使用的替代方案称为 RetinaNet，它通过对 ResNet 结构的多种增强来提高准确性。例如，它添加了所谓的“特征金字塔”，它同时查看网络所有层中对象周围上下文的所有视图，而不仅仅是网络的一个层，它添加了上下文以实现更好的分类。
Kanter 说：“特征金字塔是经典计算机视觉中的一种技术，因此这在某种程度上是对神经网络领域中应用的经典方法的重复。
除了特征金字塔之外，RetinaNet 的底层架构（称为 ResNeXt）还通过 ResNet 上的一项新创新来处理卷积。Classic ResNet 使用所谓的“密集卷积”按图像的高度和宽度以及 RGB 通道过滤像素。ResNeXt 将 RGB 滤镜分解为单独的滤镜，这些滤镜称为 “分组卷积”。这些组并行作，学习专门研究颜色通道的各个方面。这也有助于提高准确性。
