亚马逊 AWS 推出 Trainium3 芯片 Project Rainier

Project Rainier 是一个“UltraCluster”，它将聚集数十万个 Trainium 芯片。

Trainium2 一年前首次发布，旨在训练具有数万亿参数的大型语言模型。它现在在 Amazon AWS 的 EC2 实例上普遍可用。

周一，在拉斯维加斯举行的年度 re:Invent 大会上，亚马逊 AWS 云计算服务在首次亮相一年后，披露了用于训练大型语言模型 (LLM) 和其他形式的人工智能 (AI) 的第三代 Trainium 计算机芯片该芯片的第二个版本。

AWS 首席执行官马特·加曼 (Matt Garman) 在周二的主题演讲中表示，将于明年推出的新 Trainium3 芯片的速度将是现有 Trainium2 的两倍，同时能效提高 40%。

Trainum3是AWS首款采用三纳米半导体制造工艺技术的芯片。

Garman 表示，与此同时，一年前推出的 Trainium2 芯片现已普遍上市。该芯片的速度比上一代芯片快四倍。这些芯片面向 LLM 培训，Garman 强调了 Meta Platforms 流行的开源模型 Llama 上的性能。

该公司表示：“对 Meta 的 Llama 405B 的独立推理性能测试表明，与主要云提供商的其他可用产品相比，在 Trn2 实例上运行的 Amazon Bedrock 提供的令牌生成吞吐量高出 3 倍以上。”

亚马逊还发布了 UltraServers，这是 AWS 弹性计算云服务的一项新产品，它使用 NeuronLink 互连将 64 个当前的 Trainium2 芯片“连接到一个巨型服务器”。这些服务器现在可以在 EC2 上使用。

UltraServer 机架将运行 Trainium2 UltraServer，该服务器运行 64 个用于生成 AI 的 Trainium2 芯片。

亚马逊表示，UltraServer 旨在处理具有数万亿个参数的 LLM。为了帮助开发 Trainium 部件，该公司推出了名为 Neuron 的软件开发套件，其中包括编译器、运行时库和针对 Trainium 优化的工具。 Neuron 原生支持人工智能领域的“流行框架”，例如 JAX 和 PyTorch，以及“Hugging Face 模型中心上的超过 100,000 个模型”。

加曼还对未来的发展进行了展望。运行Trainium3的新版本UltraServers预计将比基于Trainium2的UltraServers“性能提高”四倍，“使客户在构建模型时能够更快地迭代，并在部署模型时提供卓越的实时性能。”

该公司表示，“Project Rainier”的建设工作正在进行中，这将是一个“UltraCluster”，将众多 UltraServer 分组，以允许访问“数十万个 Trainium2 芯片”。

UltraCluster 是与 Gen AI 初创公司 Anthropic 合作开发的。

Re:Invent 活动将持续到 12 月 6 日星期五，您可以免费注册并在活动网站上观看直播。