谷歌的新 AI 工具可以将文本变成音乐

谷歌最近宣布，它开发了一种新的人工智能（AI）音乐生成器，可以创建任何类型的音乐并带有文本描述。

在周四发表的一篇研究论文中，谷歌研究人员介绍了名为“MusicLM”的音乐制作 AI 工具，该工具从文本描述中生成高保真音乐，例如“由失真的吉他即兴演奏支持的平静的小提琴旋律”。

MusicLM 将条件音乐生成过程转换为分层序列到序列建模任务，并“生成 24 kHz 的音乐，在几分钟内保持一致。”

此外，AI 工具可以从文本和声音提示中生成长达 5 分钟的“原始”音乐。MusicLM 在一个包含超过 2,80,000 小时音乐的数据库上进行了训练，以便学习如何生成连贯的歌曲来描述任何所需流派的描述。

“我们的实验表明，MusicLM 在音频质量和对文本描述的遵守性方面都优于以前的系统。此外，我们证明 MusicLM 可以同时以文本和旋律为条件，因为它可以根据文本标题中描述的风格转换口哨和哼唱的旋律，“论文中写道。

根据研究论文，MusicLM 可以从文字丰富的字幕中创建歌曲，例如：

街机游戏的主要配乐。它节奏快，乐观，带有朗朗上口的电吉他即兴演奏。音乐是重复的，很容易记住，但带有意想不到的声音，如钹撞击或鼓声。

或

通过“故事模式”，通过提供一系列较短的文本提示来生成音频，包括：

Google 的 MusicLM 还可以生成音乐剪辑，从绘画中捕捉情绪和氛围——特别是从对艺术界一些最著名的艺术作品的描述中——包括爱德华·蒙克的《呐喊》和萨尔瓦多·达利著名的《记忆的持久性》。

您可以前往 Google 的 GitHub 页面收听 MusicLM 生成的一些音乐曲目。

为了支持未来的研究，Google 已经发布了 MusicCaps，这是一个由 5.5k 音乐-文本对组成的数据集，由人类专家提供富文本描述。

尽管如此，不要指望 MusicLM 会在将来很快向公众提供，因为在公开发布之前需要解决很多问题。

据谷歌的研究人员称，人工智能工具存在局限性，其中包括可能导致缺乏代表性和文化挪用、声音质量和技术故障的编程偏见，以及在文本提示中使用否定和时间排序。

事实上，在一项实验中，谷歌的研究人员发现，MusicLM 创建的音乐示例中大约有 1% 是直接从它接受训练的歌曲中复制而来的，这引起了版权问题。

“我们承认与用例相关的创意内容可能被盗用的风险。我们强烈强调未来需要更多的工作来应对与音乐生成相关的这些风险——我们目前没有发布模型的计划，“该研究指出。