Meta 发布 OpenEQA 测试人工智能如何理解世界，适用于家庭机器人和智能眼镜

想象一个人工智能代理可以理解世界的世界。

Meta 的 OpenEQA 如何在家庭中创建体现智能的示例

Meta 希望帮助人工智能理解周围的世界，并在此过程中变得更加聪明。该公司周四推出了开放词汇具体问答（OpenEQA），以展示人工智能如何理解周围的空间。该开源框架旨在为人工智能代理提供感官输入，使其能够从环境中收集线索，“看到”其所在的空间，并以其他方式为抽象地寻求人工智能帮助的人类提供价值。

“想象一下一个具体的人工智能代理，它充当家庭机器人的大脑或一副时尚的智能眼镜，”梅塔解释道。 “这样的智能体需要利用视觉等感官方式来了解周围环境，并能够用清晰的日常语言进行交流，以有效地帮助人们。”

Meta 提供了许多 OpenEQA 如何在野外工作的示例，包括询问 AI 代理用户将他们需要的物品放在哪里，或者食品储藏室中是否还有食物。

“假设你正准备离开家，却找不到办公室徽章。你可以询问你的智能眼镜，你把它放在哪里了，工作人员可能会利用情景记忆，回答说徽章在餐桌上。” ，”梅塔写道。 “或者，如果你在回家的路上饿了，你可以问你的家庭机器人是否还有水果。根据它对环境的积极探索，它可能会回答说水果篮里有成熟的香蕉。”

听起来我们正朝着可以帮助我们管理生活的家用机器人或智能眼镜迈进。然而，开发这种技术仍然面临重大挑战：Meta 发现视觉+语言模型 (VLM) 的表现很糟糕。 “事实上，对于需要空间理解的问题，今天的 VLM 几乎是‘盲目’的——对视觉内容的访问并没有比纯语言模型提供显着的改进，”Meta 说。

这正是 Meta 将 OpenEQA 开源的原因。该公司表示，开发一种能够像人类一样真正“看到”周围世界、能够记住事物放置位置和时间，然后能够基于抽象查询为人类提供上下文价值的人工智能模型是极其困难的。 。该公司相信，研究人员、技术人员和专家组成的社区需要共同努力才能使其成为现实。

Meta 表示，OpenEQA 拥有超过 1,600 个“非模板化”问答对，可以代表人类如何与人工智能互动。尽管该公司已经验证了这些配对以确保算法能够正确回答它们，但还需要做更多的工作。

“举个例子，对于‘我坐在客厅沙发上看电视。哪个房间在我身后？’这个问题，模型基本上是随机猜测不同的房间，而没有显着受益于视觉情景记忆，而视觉情景记忆应该提供理解空间，”梅塔写道。 “这表明，在由此类模型驱动的具体人工智能代理准备好迎接黄金时期之前，需要在感知和推理方面进行进一步的改进。”

所以，现在还为时尚早。然而，如果 OpenEQA 表明了什么的话，那就是各公司正在非常努力地为我们提供能够重塑我们生活方式的人工智能代理。