如果 AI 如此神奇,为什么 ChatGPT 会在这个简单的图像编辑任务上崩溃呢?
聊天机器人开始说话速度非常快,让人想起电影《2001》中试图自救的计算机 HAL 9000。副驾驶的情况也好不到哪儿去。
人工智能 (AI) 的当前技术水平是多模态模型,它不仅可以对文本进行操作,还可以对其他模态进行操作,例如图像,在某些情况下还可以对音频和视频进行操作。
例如,对于 OpenAI 的 ChatGPT 来说,根据文本提示生成图像是一项微不足道的任务,例如“为我制作一张爱上勺子的餐巾纸的图像”(上图)。
通过另一个提示,ChatGPT 可以简化绘图,生成细节较少的图片:
然而,ChatGPT 以及所有与此相关的 AI 模型目前在提示修改不是由该工具创建的给定图像时都会出现问题。使用 GPT-4o 模型的 ChatGPT 是最有趣的失败,因为程序的响应就好像它正在努力一样。
其他人工智能模型,从谷歌的 Gemini 到 Anthropic 的 Claude,再加上 Perplexity 和微软的 Copilot(也运行 GPT-4)的应用程序,都因简单地拒绝承担任务而失败。
当我画了一张地铁里两个人坐在一起看 iPhone 的照片时,这个项目就开始了。这是使用 Concepts 绘图应用程序在 iPad 上完成的简单黑白线条画。这是图:
我将绘图上传到 iOS 上的 ChatGPT 应用程序并输入提示:“有办法简化此绘图吗?”
ChatGPT 回应了一些合理的建议,展示了在上下文中找到适当响应的能力。例如,机器人建议:“删除次要细节:消除复杂的发丝或衣服上的小折痕等小细节。”
这是一个非常好的建议。输出还意味着模型准确感知图片中元素的能力。因此,模型中发生了一些事情,使其能够识别图片的内容。
然后ChatGPT问道:“你想让我为你创建一个简化版本的绘图吗?”这很令人兴奋,所以我回答说:“是的,请。”
然而,机器人的输出——作为聊天线程中的图像——是我图像的精确副本,没有简化,甚至没有修改。自己判断一下:
“看起来没有什么不同,”我回复 ChatGPT,对输出进行了评论。
但随后 ChatGPT 开始快速响应,就像电影 2001 中的计算机 HAL 9000 一样,宇航员戴夫·鲍曼 (Dave Bowman) 撕掉了 HAL 的电路:“为了进一步简化绘图,我将专注于降低线条密度并增强主要形状让我更有效地完善这个过程。”
结果再次没有什么不同。当我指出这一事实时,ChatGPT 的胡言乱语让我感到惊讶。
“看来自动方法并没有按照预期有效地简化图像,”它反驳道。 “我将手动删除不太重要的细节,只保留基本元素。让我进一步完善这种方法。”
我不知道软件程序可以同时具有“自动”和“手动”模式。我的感觉是每个软件都是自动的。毕竟,否则你为什么要使用它呢?
ChatGPT 的“手动”方法只是反转图像,将黑线翻转为白色,将白色背景翻转为黑色。
该机器人吹捧其成就并表示:“这个版本仅保留了关键轮廓和基本线条。”
当我抗议输出不是简化,只是反转时,机器人告诉我它将专注于“基本线条”,并产生一个完全黑色的正方形,根本没有线条。如果我不了解的话,我会说这个输出是人工智能幽默的一个例子。
接下来,模型多次尝试通过以选定的方式修改图像来响应我的提示,大多数情况下使其在风格上变得模糊,而不是简化。
在某个时刻,机器人对我的抗议做出了反应,绘制了完全不同的线条图:
这种废话一直持续到 ChatGPT 回到开头并生成了我最初上传的相同图像。
每次,机器人都会伴随其输出(通常与原始图像的版本相同)附带大量技术说明,例如:“最新图像展示了更简化的版本,仅强调主要轮廓。”
其他程序甚至都没有走出大门。谷歌的 Gemini 提出了简化图像的建议,但对其无法创建人物图像表示歉意。克劳德说它还不能生成图像。 Perplexity 应用程序也说了同样的话。
微软的 Copilot 奇怪地上传了我的画,然后把头剪下来,它声称这是出于隐私原因。 (我认为这是一幅很好的图画,但它肯定不够真实,不足以被面部识别系统用来揭示任何人的身份。)
然后,Copilot 提供了与 ChatGPT 相同的简化建议,并且没有更改绘图,而是生成了全新的线条图,完全不相关。当我提出抗议时,Copilot 解释说它不能直接改变图像。
抛开其他模型中那些不成功的人不谈,我们对 ChatGPT 的失败有何看法?
该程序可以提供对图像(包括其内容)的有效分析。但它无法根据该分析采取行动。我猜想,如果无法根据高级概念(例如图片中的对象)组装图片,ChatGPT 就没有前进的道路。
为了验证这个假设,我将提示改为:“有没有办法简化这张两个朋友在地铁上看手机的图画?”我认为该提示提供了一些语义线索。
模型再次返回相同的绘图。但当我再次抗议时,机器人生成了一个具有某些语义相似性的全新图像——公共交通上的人们正在看手机。机器人拾取了语义线索,但无法以任何方式将它们应用到所提供的绘图中。
除了说 ChatGPT 无法作用于最基本类型的单个图片元素(例如线条)之外,我无法用深入的技术术语解释正在发生的事情。即使这样做了,该工具也会删除特定的行以执行其在文本响应中建议的简化。
我建议——对于文本编辑任务(例如编辑文本)来说也是如此——ChatGPT 和 GPT-4 不知道如何对任何事物的单个元素进行操作。 。这种无能解释了为什么 ChatGPT 是一个糟糕的编辑器:它不知道给定对象中什么是必需的以及什么可以省略。
人工智能模型可以生成与从训练示例中推导出来的目标“概率分布”相匹配的对象,但它们无法有选择地将原始作品的元素减少到必需品。
最有可能的是,智能编辑的任何东西的目标概率分布都在概率“长尾”的某个地方,人类擅长发现不寻常的领域,而人工智能还无法做到这一点。我们认为是创造力。
苹果联合创始人史蒂夫·乔布斯曾经说过,软件制造商的最高功能——用他的话说就是“高阶位”——就是“编辑”功能,知道要删掉什么、保留什么。对。现在,ChatGPT 不知道高位可能是什么。






