Meta 最新的 AI 模型将提供数百种语言的内容

这家社交媒体巨头正在开源一个名为 No Language Left Behind 的新 AI 模型，该模型可以翻译 200 种语言，包括 55 种非洲语言。

Meta 周三宣布，该公司已经开源了一个可以翻译 200 种不同语言的 AI 模型——此举应该会向更广泛的受众开放不同的技术和数字内容。该模型名为 No Language Left Behind，可以翻译 200 种语言，包括 55 种非洲语言，并获得高质量的结果。 

“少数语言——包括英语、普通话、西班牙语和阿拉伯语——在网络上占据主导地位，”该公司在一篇博文中指出。“这些被广泛使用的语言的母语使用者可能会理所当然地认为用自己的母语阅读内容是多么有意义。NLLB 将帮助更多人用他们喜欢的语言阅读内容，而不是总是需要一种经常会弄错情绪或内容的中介语言。 

Meta 当然正在使用 NLLB 来改进自己的产品，但通过开源该模型，技术人员可以使用它来构建其他工具——例如在爪哇语和乌兹别克语等语言中运行良好的 AI 助手，或者为宝莱坞电影提供斯瓦希里语或奥罗莫语的隐藏式字幕。 

请参阅：元宇宙：势头正在增强，但公司仍然保持谨慎

NLLB 几乎将单个最先进的 AI 模型所涵盖的语言数量增加了一倍。Meta 表示，其中许多语言，例如 Kamba 和 Lao，没有得到很好的支持，或者根本没有得到现有的翻译工具的支持。目前，广泛使用的翻译工具支持的非洲语言不到 25 种。

与之前的 AI 研究相比，该模型还将翻译质量平均提高了 44%。对于一些非洲和印度语言，NLLB-200 的翻译准确率提高了 70% 以上。为了确定翻译质量，Meta 进行了自动指标评估和人工评估。

为了帮助确保翻译质量，Meta 研究人员构建 了 FLORES-200 数据集，帮助他们评估 NLLB 在 40000 个不同语言方向上的表现。 

除了开源 NLLB-200 模型外，Meta 还向开发人员提供 FLORES-200 数据集，以及用于重新创建训练数据集的模型训练代码和代码。

此外，该公司还将向研究人员和非营利组织提供高达 200,000 美元的赠款，用于 NLLB-200 的有影响力使用，这些组织专注于可持续发展、食品安全、基于性别的暴力、教育或其他领域的倡议，以支持联合国可持续发展目标。 

Meta 预计该模型每天将支持超过 250 亿次翻译。除了翻译内容和提供更好的广告外，该模型还将用于发现有害内容和错误信息。 

Meta 的 NLLB 研究也被应用于维基百科编辑使用的翻译系统。Meta 已与维基媒体基金会（Wikimedia Foundation）合作，该基金会是托管维基百科和其他免费知识项目的非营利组织，旨在帮助改进维基百科的翻译系统。维基百科有 300 多种语言的版本，但大多数版本的文章远少于 600 多万篇英文文章。 

编辑可以通过维基媒体基金会的内容翻译工具使用 NLLB-200 背后的技术，将文章翻译成 20 多种低资源语言（那些没有大量数据集来训练 AI 系统的语言）。