人工智能的未来是一个软件故事，Graphcore首席执行官说

AI 计算机制造商 Graphcore 首席执行官 Nigel Toon 表示，尽管该公司以海量计算机硬件而闻名，但其网站已准备好与 Nvidia 争夺软件生态系统。

“我们可能仍处于吃豆人阶段，我们还没有进入 3D 游戏，”就 AI 的演变而言，Graphcore 首席执行官 Nigel Toon 说。

“这里的误解是，这是一个需要解决的软件问题，而不是一个硬件问题，”人工智能计算机初创公司 Graphcore 的首席执行官奈杰尔·托恩 （Nigel Toon） 说。 

Graphcore 以制造一个计算机系统而闻名，该系统在每个“智能处理单元”（IPU）芯片中都有数十万个处理器内核，用于处理人工智能问题。 

其最新的机器有一个 IPU 芯片“Bow”，它由两个半导体芯片一个堆叠在另一个上面。

然而，上周从位于英国布里斯托尔的 Graphcore 总部来到这座城市的 Toon 告诉 ZDNet，软件是日益庞大的 AI 问题所面临巨大挑战的核心，而硬件虽然绝非微不足道，但从某种意义上说，它是次要的。

“你可以构建各种奇特的硬件，但如果你实际上无法构建能够将一个人在非常简单的层面上进行描述的能力转化为硬件的软件，那么你就没有真正产生解决方案，”Toon 在曼哈顿联合广场附近的 The Grey Dog 咖啡馆吃午饭时说。

这是自大流行封锁消退以来 Toon 的众多旅行之一。他很享受回到与客户会面。“再次旅行真是太好了，”他说，并面对面交流。

在他在美国的比赛中需要强调的要点之一是软件因素。具体来说，Graphcore 的 Poplar 软件的功能，该软件将 PyTorch 或 TensorFlow 等 AI 框架上编写的程序转换为高效的机器代码。 

Toon 认为，事实上，翻译行为是 AI 的关键。无论您构建什么硬件，挑战在于如何将 PyTorch 或 TensorFlow 程序员正在执行的作转换为可用的晶体管。 

一个常见的概念是，AI 硬件就是为了加速矩阵乘法，矩阵乘法是神经网络权重更新的构建块。但是，从根本上说，事实并非如此。

“这只是矩阵乘法，只是我们需要的卷积，还是我们需要其他运算？” 

事实上，他说，“这更多地与数据的复杂性有关。

Toon 说，一个大型神经网络，例如 GPT-3，“实际上是一个关联内存”，因此数据之间的连接是必不可少的，而事物进出内存的移动成为计算的瓶颈。 

Toon 对这样的连接问题非常熟悉。他回忆说，Toon 在可编程芯片制造商 Altera 工作了 14 年，后来被 Intel 收购。被称为“FPGA”的可编程逻辑芯片通过烧毁它们之间的保险丝来使其计算机块（称为单元）链接以完成每项任务。 

他解释说，FPGA 的“所有软件”“都是关于你如何获取图形，即你的网表或 RTL，并将其转换为 FPGA 内部的互连。

此类软件任务变得非常复杂。 

“你在芯片内部构建一个互连层次结构来尝试使其正常工作，但是，从软件的角度来看，将图形映射到互连是一个 NP-Hard 问题，”他说，指的是“非确定性多项式时间”，一种计算复杂性的度量。 

因为它是将关联的复杂性转化为晶体管，“这真的是一个图问题，这就是我们将公司命名为 Graphcore 的原因，”Toon 说。一般来说，图形是给定程序中不同计算任务之间的相互依赖关系的总和。 

“你必须从计算机科学方法开始，说，这将是图形，你需要构建一个处理器来处理图形，进行高度并行的图形处理。”

“我们在此基础上构建软件，我们在此基础上构建处理器，”他说。

这意味着硬件只是为软件服务。“计算机遵循数据结构，”Toon 争辩道。“这是一个软件问题。”

这是 Toon 对 Nvidia 的 CUDA 软件进行即兴发挥的机会，该软件在 AI 世界中拥有巨大的力量。 

“这很有趣：许多人说 CUDA 在某种程度上是一个生态系统，它使其他人无法竞争，”Toon 观察到。“但你误解的是，没有人用 CUDA 编程，没有人想用 CUDA 编程，人们想用 TensorFlow 编程，现在是 PyTorch，接下来是 JAX——他们想要一个高级结构，”他说，指的是 Meta 和 Google 等公司构建的各种开源开发库。 

“所有这些框架都是图形框架，”他观察到，“你正在描述一个相当抽象的图形，图形中每个元素的核心都有大型运算符。

Toon 指出，Nvidia “已经构建了一组令人惊叹的库，可以从程序员熟悉的高级抽象进行转换——这是 Nvidia 所做的工作，不一定是 CUDA。

进入Graphcore的竞争产品Poplar，它从PyTorch和其他产品转化为他认为的Graphcore更高效的硬件。Poplar 将计算图拆解并转换为当今 Graphcore 硬件中的任何门，以及明天将取代这些门的任何门。 

然而，人们对 Graphcore 或任何其他年轻的有前途的公司（如 Cerebras Systems 和 SambaNova）在 Toon 所指的库上与 Nvidia 竞争持怀疑态度。在 4 月份的一篇社论中，著名的 Microprocessor Report 的编辑 Linley Gwennap 写道，“软件，而不是硬件”仍然是问题所在。Gwennap 认为，对于 Graphcore 和其他公司来说，缩小差距的时间正在逐渐消失，因为 Nvidia 在 Hopper 等硬件改进方面不断进步。 

像 Gwennap 这样的怀疑论者不是很欣赏 Poplar 软件的进步吗？

“这是一段旅程，”Toon 说。“如果你在两年前与 Poplar 接触，你会说，这还不够好;如果你现在与 Poplar 互动，你会说，它实际上非常好。

“两年后，人们会说，哇，这让我可以做一些我在 GPU 上无法完成的事情。”

Toon 断言，该软件已经是自己不断扩展的生态系统。“看看我们围绕Poplar创建的生态系统，比如PyTorch Lightning、PyTorch Geometric，”PyTorch的两个扩展被移植到Poplar和Graphcore IPU芯片上。 

“它不仅仅是 TensorFlow，而是一整套，”他说，“TensorFlow 非常适合 AI 研究人员，但它不是数据科学家、个人或大型企业可以来玩的环境。

与科学家相比，从业者需要可访问的工具。“我们与 Hugging Face、Weights and Biases 以及其他机器学习工具合作，”他指出。“还有许多其他库正在问世，有些公司正在 IPU 之上构建服务”，并且，“有 MLOps 已被移植到 Poplar 中。

他说，与 Cerebras 和其他竞争对手 相比，Graphcore“在构建软件生态系统以创造易用性方面要领先得多，这样人们就可以进入”。

事实上，它归结为软件双头垄断，Toon 坚持认为。“你看看其他任何人，即使是大公司，除了我们和 Nvidia 之外，没有其他人能拥有这样的生态系统。”

与此同时，他声称，Nvidia 的硬件进步并不全是因为他们的设计自由受到自身成功的限制。“Nvidia 在做什么？他们添加了 Tensor 内核，现在又添加了 Transformer 内核——他们无法更改处理器的基本内核，因为如果他们这样做，所有库都将不得不被扔掉。

他声称，虽然Graphcore在MLPerf行业测试套件的大多数基准测试中仍然落后于Nvidia，但Poplar和IPU设计的结合在可以深思熟虑地应用的特定情况下提供了可衡量的优势。 

“在某些模型上，例如图形神经网络，我们看到的性能是 Nvidia 机器的 5 到 10 倍”，他说，“因为数据结构，即我们在 IPU 中构建的底层架构，与那种稀疏的图形类型计算更加一致。 

他说，Poplar 软件还通过找到巧妙的方法来并行化图形的元素，从而在运行 Transformer 模型时实现了两到三倍的速度。 

软件是战场，而 Nvidia 可以进行真正的竞争，这一前提是 AI 本身仍在不断发展。Toon 坚持认为，AI 程序的规模还有很多空间可以变得更大，这给计算能力带来了压力。 

而破解人类认知密码的根本问题仍然遥不可及。 

从第一分来看，程序确实一直在变大。 

当今最大的 AI 模型，例如 Nvidia 和 Microsoft 的 Megatron-Turing NLG，一种源自 2017 年 Transformer 创新的自然语言生成模型，具有五万亿个参数，或者权重，神经网络中经过调整的元素，类似于真实人类神经元中的突触。 

包括 Cerebras 在内的一些公司指出，未来将有数万亿甚至数十万亿个参数，Toon 也赞同这种观点。 

“随着参数数量的增加和数据量的增加，”Toon 观察到，“计算量增加了这两部分的乘数，这就是这些大型 GPU 场不断发展的原因。

100 万亿这个数字是一种神奇的目标，因为它被认为是人脑中的突触数量，因此它可以作为某种基准。

显然，在越来越大的问题上没有争议，因为 Graphcore 和 Nvidia 以及其他所有人都在为它构建越来越强大的机器。

然而，Toon 对第二点感兴趣，计算机科学问题，即所有这些是否能做任何有用的事情，以及它是否可以接近人类智能。 

Toon 说：“围绕这个问题的挑战是，你知道，如果你有一个有 100 万亿个参数的模型，它会让它像人一样聪明吗？

这不仅仅是一个向这个问题扔晶体管的问题，而是一个设计系统的问题。 

“你知道吗，我们真的知道如何训练它吗？”意思是，一旦神经网络有 100 万亿个权重，就训练它。“我们知道如何给它正确的信息吗？我们是否知道如何以一种真正匹配人类智力的方式构建该模型，或者尽管有更多参数，它的效率会如此低下？

换句话说，“我们真的知道如何制造一台与大脑智能相匹配的机器吗？

他提供的一个答案是专业化。一个包含 100 万亿个参数的模型可能非常擅长狭义定义的东西。“在像 [DeepMind 的播放算法] Atari 这样的系统中，你有足够的约束来理解那个世界，”Toon 说。 

同样，“也许我们可以建立足够的理解，例如，关于细胞如何工作，以及 DNA 如何转化为 RNA 再到蛋白质，然后你可以有一个强化学习系统，它将利用这种理解来计算，例如，好的，那么我该如何折叠蛋白质，如果它与这个细胞结合， 我可以与细胞交流——假设这个细胞是一个癌细胞——我可以将药物附着到该蛋白质上，它可以修复癌症，“Toon 沉思道。 

“这有点像 DeepMind 打造的 Atari 游戏，它成为超人，一个杀死癌症的超人系统——它会很专业。”

他建议，另一种方法是“对世界进行更普遍的理解”，这类似于人类婴儿的学习方式，即“接触有关世界的大量数据”。Toon 说，100 万亿个突触问题将变成构建“层次结构”的问题之一。 

“人类建立了一个理解世界的层次结构，”他说，然后他们通过填补空白来“插值”。“你使用你确实知道的东西来推断和想象，”他说。 

“人类非常不善于推断;我们更擅长的是插值，你知道，缺少一些部分——我知道这个，我知道这个，这是介于两者之间的某个地方。

Toon 对层次结构的思考与该领域的一些理论家相呼应，包括 Meta 的 AI 首席科学家 Yann LeCun，他曾谈到在神经网络中构建理解层次结构。Toon 表示他同意 LeCun 的某些想法。 

Toon 说，从这个角度出发，AI 挑战变成了“如何建立对世界足够大的理解，以至于你所做的插值比外推多得多？

他认为，这个挑战将是高度“稀疏”的数据，从小的后续数据中更新参数，而不是对所有数据进行大量的重新训练。

“即使在你向世界更新的特定事物中，你也可能必须触及你对世界理解的不同点，”Toon 解释说。“它们可能不会整齐地集中在一个地方，数据非常混乱且非常稀疏。”

从计算的角度来看，“你最终会得到许多不同的并行作，”他说，“所有这些作都非常稀疏，因为它们正在处理不同的数据。 

这两个想法、插值和更具体的癌症杀手模型都与 Toon 的联合创始人、Graphcore 的首席技术官 Simon Knowles 提出的想法一致，他谈到了将一个更通用、非常大的神经网络“提炼”成特定的东西。 

它们也是似乎与 Poplar 软件作为关键功能的概念相吻合的想法。如果新数据是稀疏的，填补了空白，并且必须从关联存储器中的许多地方以及许多图作中提取，那么Poplar就扮演着重要的角色，作为一种交通警察，在IPU芯片之间并行分配这些数据和任务。 

尽管提出了这种情景，但 Toon 绝不是意识形态的。他意识到，目前还没有人有确定的答案。“我认为关于它是如何运作的有不同的理念和不同的想法，但没有人完全了解，”他谈到这个领域时说。“这就是人们正在探索的。”

所有深奥的问题何时得到解答？可能不会很快。

“AI 的惊人之处在于，我们距离 AlexNet 已经过去了十年，我们仍然觉得我们正在探索，”他说，他指的是在 2012 年 ImageNet 比赛中表现出色的神经网络，将深度学习形式的 AI 带到了前台。 

“我总是用电脑游戏来类比，”Toon 说，他为自己的第一台电脑编写了一款星球大战游戏，这是一台来自“早已被遗忘”的电脑制造商的 6502 套件。“我们可能仍处于吃豆人阶段，我们还没有进入 3D 游戏，”就 AI 的演变而言，他说。

在 3D 游戏的道路上，“我认为不会有 AI 冬天，”Toon 认为，他指的是几十年来多次资金枯竭并摧毁该行业。 

“今天的不同之处在于，它有效，这是真实的，”他说。在以前的时代，1980 年代的 Thinking Machines 等 AI 公司，“它就是不起作用，我们没有足够的数据，我们没有足够的计算。 

“现在，很明显它有效，有明确的证据，它带来了巨大的价值，”Toon 说。“人们正在它的基础上建立完整的企业，”他说。“我的意思是，字节跳动和 TikTok 从根本上说是一家人工智能驱动的公司，这只是它渗透到整个科技领域和企业的速度问题。”

科技巨头之间的战斗，例如 TikTok 和 Meta 的 Instagram 之间的战斗，可以被视为一场人工智能之战，一场争夺最佳算法的军备竞赛。

人们应该认为，Graphcore 肯定有钱度过任何冬天，拥有 7.3 亿美元的风险融资。Toon 拒绝提供信息或 Graphcore 的收入。 

“我们有钱，我们有一个团队，”他说。“我认为你总是可以有更多的钱和更大的团队，但你必须在现有的限制下工作。”Graphcore 有 650 名员工。 

目前，AI 冬天并不是挑战。在 Poplar 和 IPU 的卓越软件组合上销售客户是。这听起来肯定像是与巨头 Nvidia 的一场艰苦战斗。 

Facebook 的所有者 Meta 最近宣布了一款用于 AI 和 Metaverse 的“研究超级计算机”，该计算机基于 6,080 个 Nvidia GPU。似乎人们只是想要越来越多的 Nvidia。 

“我认为这就是我们作为一家企业面临的挑战，我们能否改变人们的心灵和思想，”Toon 说。 

嗯，他们能吗？

“注意这个空间，”Toon 说，然后向机场走去。