MIT 的图像编辑 AI 工具可以轻松替换任何图像中的背景

这款来自 MIT 的 AI 辅助图像编辑工具可以更改任何图像的背景

长期以来，Photoshop 一直是我们许多人使用的程序，它通过快速修复和创意增强使我们的照片看起来很棒。

现在，麻省理工学院计算机科学与人工智能实验室 （CSAIL） 的研究人员开发了一种 AI 辅助图像编辑工具，该工具可以自动化照片编辑过程的许多部分。这将使编辑照片的工作更容易。

“我们不需要专家编辑人员花费几分钟逐帧和逐像素调整图像，而是希望使过程更简单、更快速，以便临时用户可以更轻松地进行图像编辑，”麻省理工学院 CSAIL 的访问研究员 Yagiz Aksoy 说。

“我们的愿景是让编辑人员只需单击一下即可组合图像，以创建这些成熟、逼真的奇幻世界。”

这种方法称为“语义软分割”（SSS），使用 AI（人工智能）自动分离图像中的对象，从而轻松编辑图像。例如，使用此技术，您可以更改背景的外观或将前景和背景图像合并到一个全新的场景中。

SSS 如何运作？

该工具研究原始图像的纹理和颜色，并将其与神经网络收集的有关图像中对象实际情况的信息相结合。神经网络处理图像特征并检测“柔和过渡”，例如头发和草。

“计算出这些软片段后，用户就不必手动更改过渡或对图像特定图层的外观进行单独修改，”Aksoy 说。“替换背景和调整颜色等手动编辑任务将变得更加容易。”

然后，图像中的像素通过颜色相互关联。此信息与神经网络检测到的特征相结合，以估计图像层。然而，这项任务并不简单，因为需要教计算机如何做到这一点。

“这些图像的棘手之处在于，并非每个像素都只属于一个对象，”Aksoy 补充道，他上周在温哥华举行的年度 SIGGRAPH 计算机图形会议上展示了这篇论文。“在许多情况下，可能很难确定哪些像素是背景的一部分，哪些像素是特定人物的一部分。”

SSS 可以在哪里使用？

根据 Aksoy 的说法，Instagram 和 Snapchat 等社交平台可以使用当前迭代的 SSS 来使其滤镜更加逼真，主要用于更改自拍的背景或模拟特定类型的相机。

未来计划

未来，研究人员计划将计算图像所需的时间从几分钟缩短到几秒钟，并通过提高系统匹配颜色和处理照明和阴影等内容的能力，使图像更加逼真。

来源：CSAIL