ChatGPT “不是特别创新”，而且“没有什么革命性”，Meta 的首席人工智能科学家说

这位深度学习先驱表示，公众认为 OpenAI 的 ChatGPT 是革命性的，但许多研究实验室正在使用相同的技术，并且正在进行同样类型的工作。

为什么公众没有看到来自 Meta 或 Google 的 ChatGPT 等程序？“答案是，谷歌和 Meta 都因为推出虚构的系统而损失惨重，”Meta 的首席人工智能科学家 Yann LeCun 说。

最近，关于 OpenAI 的 ChatGPT 程序在响应人类提示生成自然语言话语方面的巨大前景，人们已经泼洒了大量墨水。 

该程序让许多人感到如此新鲜和有趣，以至于 ChatGPT 在宇宙中一定是独一无二的。

人工智能学者不敢苟同。 

“就底层技术而言，ChatGPT 并不是特别创新，”Meta 首席人工智能科学家 Yann LeCun 上周在 Zoom 上的一次小型媒体和高管聚会上说。 

“这并不是什么革命性的事情，尽管公众是这样认为的，”LeCun 说。“只是，你知道的，它组合得很好，做得很好。”

LeCun 说，许多公司和研究实验室过去都构建了这种数据驱动的 AI 系统。他说，OpenAI 在其工作类型中独自一人的想法是不准确的。

“与其他实验室相比，OpenAI 根本不是什么特别的进步，”LeCun 说。

“不仅是谷歌和 Meta，还有六家初创公司基本上拥有与它非常相似的技术，”LeCun 补充道。“我不想说这不是火箭科学，但它真的是共享的，如果你愿意的话，它背后没有秘密。”

LeCun 指出，ChatGPT 及其构建程序 OpenAI 的 GPT-3 的多种方式是由多方多年来开发的多项技术组成的。 

“你必须意识到，ChatGPT 使用的 Transformer 架构以这种自我监督的方式进行了预训练，”LeCun 观察到。“自我监督学习是我长期以来一直在倡导的事情，甚至在 OpenAI 出现之前，”他说。 

“变形金刚是谷歌的发明，”LeCun 指出，他指的是谷歌在 2017 年推出的语言神经网络，它已成为包括 GPT-3 在内的大量语言程序的基础。 

LeCun 说，此类语言项目的工作可以追溯到几十年前。

“大型语言模型，第一个神经网络语言模型——当时，它很大，按照今天的标准，它很小——是大约 20 年前由 Yoshua Bengio 提出的，”LeCun 说，他指的是加拿大 MILA 人工智能研究所的负责人。Bengio 在注意力概念方面的工作后来被 Google 用于 Transformer，并成为所有语言模型中的关键元素。 

此外，OpenAI 的程序还广泛使用了一种称为通过人工反馈进行强化学习的技术，该技术让人工代理帮助对机器的输出进行排名以改进它，就像 Google 的 Web 页面排名一样。他说，这种方法不是在 OpenAI 中开创的，而是在 Google 的 DeepMind 部门开创的。 

“所以这有一段完整的历史，而这并不是凭空产生的，”LeCun 说，意思是 ChatGPT。

LeCun 说，ChatGPT 程序与其说是一个科学突破的案例，不如说它是一个体面的工程实例。他将该程序与 IBM 的 Watson 计算机进行了比较，后者在 2011 年参加了游戏节目 Jeopardy！，以及企业家 Sebastian Thrun 的自动驾驶汽车赢得了 DARPA 的 2005 年大挑战赛。Thrun 的获奖技术“在基础科学方面并不是特别创新，”LeCun 说，“它只是设计得非常好。

“这就是 OpenAI 所做的，”他说。“我不会因此批评他们。”

LeCun 受邀发表了由 Collective[i] Forecast 主持的一个半小时的演讲，这是一个由 Collective[i] 组织的在线互动讨论系列，该公司自称是“旨在优化 B2B 销售的 AI 平台”。

LeCun 在座谈会上回答了《纽约时报》记者 Cade Metz 提出的一个问题，他对 OpenAI 发表了评论。Metz 问道，由 LeCun 建立的 Meta AI 团队 FAIR 是否会像 OpenAI 那样以突破的方式在公众心目中被识别。 

“我们会从 Meta 看到这个吗？是的，我们会看到这个，“LeCun 回答道。“不仅是文本生成，还有创作辅助工具，”他说，包括“生成艺术”，他说，“我认为这将是一件大事。

他表示，Meta 将能够通过自动生成推广品牌的媒体来帮助小企业宣传自己。 

“大约有 1200 万家商店在 Facebook 上做广告，其中大多数是夫妻店，他们只是没有资源来设计设计精美的新广告，”LeCun 说。“所以对他们来说，生成艺术可以帮上大忙。”

在演讲的另一点上，LeCun 观察到，“你可能会问这个问题，为什么没有来自谷歌和 Meta 的类似系统”，再次提到了 ChatGPT。

“而且，答案是，谷歌和 Meta 都因为推出编造系统而损失惨重，”LeCun 笑着说。

LeCun 是 2019 年图灵奖的获得者，以表彰他对计算机科学的贡献，相当于计算的诺贝尔奖，与 MILA 的 Bengio 和多伦多大学教授以及 Google 研究员 Geoffrey Hinton 一起获得。这三人帮助开创了当今 AI 的深度学习时代。 

OpenAI 由 Microsoft 资助，Microsoft 拥有对初创公司生成的代码的独家访问权限，并逐渐将这些程序整合到其各种软件产品中，包括其 Azure 云服务。