Nvidia 推出 Ampere 继任者 Hopper 和 800 亿个晶体管的 H100 GPU

以前在 A100 上训练需要一周时间才能完成的大量工作负载现在只需 20 小时。

Nvidia 宣布其数据中心 AI 工作负载的新架构将接替 Ampere 以计算先驱 Grace Hopper 的名字命名，名为 Hopper。

第一款基于 Hopper 的产品将是 H100，它包含 800 亿个晶体管，基于台积电的 4N 工艺构建，性能是基于 Ampere 的 A100 的三到六倍。该 GPU 将支持 PCIe Gen5、第四代 NVLink HBM3 内存，并具有 3Tbps 的内存带宽。

“20 个 H100 GPU 可以维持相当于整个世界互联网流量的容量，使客户能够提供高级推荐系统和大型语言模型，以实时运行数据推理，”Nvidia 说。

GPU 还将拥有第二代多实例技术，并能够在单个 GPU 上支持 7 个帐篷。该公司还表示，由于其机密计算支持，它将能够安全地执行此作。

“Hopper 通过结合使用硬件和软件，将机密计算引入加速计算。当启用机密计算或通过包含 CPU 和 GPU 的机密虚拟机创建可信执行环境时，节点中 CPU 到 GPU 和 GPU 到 GPU 之间的数据传输将以全 PCIe 线速进行加密和解密，“Nvidia 数据中心计算高级总监 Paresh Kharya 说。

“H100 还有一个硬件防火墙，可以保护 H100 GPU 上的整个工作负载，并将其隔离在内存和计算机引擎之间，因此除了拥有密钥的可信执行环境的所有者之外，没有人可以接触其中编码的任何数据。

“这种设计保证了完全的虚拟机隔离，并防止任何未经授权的实体访问或修改，包括虚拟机管理程序、主机作系统，甚至任何具有物理访问权限的人。”

英伟达表示，H100 可以处理 105 层、5300 亿参数的怪物模型 Megatron-Turing 530B，吞吐量提高了 30 倍。Nvidia 表示，在 8000 个 GPU 上使用 3950 亿个参数训练 Mix of Experts Transformer 模型时，使用 A100 只需 7 天，而在 H100 上训练只需要 20 小时。

该公司将为其 DGX H100 系统捆绑八个 H100 GPU，该系统将在 FP8 工作负载上提供 32 petaflops，新的 DGX Superpod 将使用第四代 NVLink 的交换机连接多达 32 个 DGX H100 节点，速度为 900GBps。

对于那些预算较适中的人来说，GPU 将从通常的云嫌疑人那里获得。

H100 将于第三季度开始供货。

除了 H100，英伟达还推出了其 Grace 超级芯片，该芯片基于一对使用 NVLink-C2C 连接的 Grace 芯片，用于芯片到芯片互连。该超级芯片在单个插槽中具有 144 个 Arm 内核、带 ECC 的 LPDDR5x 内存，功耗仅为 500 瓦。

Grace 超级芯片以及去年发布的 Grace Hopper 超级芯片中的 CPU 和 GPU 配对都将在 2023 年上半年上市。

在 GTC 的其他地方，Nvidia 宣布其 Drive Hyperion 9 汽车系统将在 2026 年的量产车中提供，其中包括 14 个摄像头、9 个雷达、3 个激光雷达和 20 个用于自动驾驶的超声波传感器，以及 3 个摄像头和 1 个雷达用于查看车内。

相关文章

• Nvidia 拥有 Arm 的梦想正式结束
• NVIDIA 调查网络安全事件
• FTC：Nvidia 与 Arm 合并结束“保障未来创新”
• 为什么取消 Nvidia+Arm 的交易最终对行业不利
• Nvidia 报告称，在 Arm 交易失败后，第四季度收入为 76 亿美元