如果人工智能生成的代码出现错误，谁将面临最大的责任风险？

微软的 Kosmos-1 可以获取图像和音频提示，为 ChatGPT 文本提示之外的下一阶段铺平道路。

微软推出了 Kosmos-1，将其描述为一种多模态大语言模型 (MLLM)，不仅可以响应语言提示，还可以响应视觉提示，可用于一系列任务，包括图像字幕、视觉问答、等等。

OpenAI 的 ChatGPT 帮助普及了 LLM 的概念，例如 GPT（生成式预训练变压器）模型，以及将文本提示或输入转换为输出的可能性。

尽管人们对这些聊天功能印象深刻，但法学硕士仍然难以应对多模式输入，例如图像和音频提示，微软的人工智能研究人员在一篇名为“语言并不是你所需要的全部：使感知与语言模型相一致”的论文中指出。嗯>。该论文提出，需要多模态感知，或者说知识获取和现实世界的“扎根”，才能超越类似 ChatGPT 的能力，转向通用人工智能 (AGI)。

论文称：“更重要的是，解锁多模态输入极大地将语言模型的应用扩展到更多高价值领域，例如多模态机器学习、文档智能和机器人技术。”

Alphabet 旗下的机器人公司 Everyday Robots 和谷歌的 Brain Team 去年使用法学硕士让机器人遵循人类对物理任务的描述，展示了接地的作用。该方法涉及将语言模型建立在给定现实环境中可能完成的任务中。微软还利用其 Prometheus AI 模型的基础，将 OpenAI 的 GPT 模型与来自 Bing 搜索排名和搜索结果的现实反馈相集成。

微软表示，其 Kosmos-1 MLLM 可以感知一般模式、遵循指令（零样本学习）并在上下文中学习（少样本学习）。该论文称：“我们的目标是使感知与法学硕士保持一致，以便模型能够看到和说话。”

Kosmos-1 的输出提示演示包括一张小猫的图像，一个人拿着一张纸，嘴上挂着微笑。提示是：“解释一下为什么这张照片很有趣？” Kosmos-1 的回答是：“猫戴着一个能让猫微笑的面具。”

其他例子也表明了这一点：从图像中感知到网球运动员有马尾辫；在 10:10 读取钟面图像上的时间；计算 4 + 5 图像的总和；回答“什么是 TorchScale？” （这是一个 PyTorch 机器学习库），基于 GitHub 描述页面；并从 Apple Watch 表面读取心率。

每个示例都展示了像 Kosmos-1 这样的 MLLM 在多种情况下自动执行任务的潜力，从告诉 Windows 10 用户如何重新启动计算机（或任何其他带有视觉提示的任务），到阅读网页来启动网络搜索、解释设备中的健康数据、为图像添加字幕等。然而，该模型不包括视频分析功能。

研究人员还测试了 Kosmos-1 在零样本 Raven IQ 测试中的表现。结果发现“当前模型与成年人的平均水平之间存在巨大的性能差距”，但也发现其准确性显示了 MLLM 通过将感知与语言模型保持一致来“在非语言环境中感知抽象概念模式”的潜力。

鉴于微软计划使用基于 Transformer 的语言模型使 Bing 成为谷歌搜索的更好竞争对手，对“网页问答”的研究很有趣。

“网页问答的目的是从网页中寻找问题的答案。它要求模型既能理解文本的语义，又能理解文本的结构。网页的结构（如表格、列表和 HTML 布局）起着关键作用。该任务可以帮助我们评估模型理解网页语义和结构的能力。”