如果您的 AI 生成的代码出错，谁面临的责任风险最大？

对于 kalaallisut 和 Fura 等资源匮乏的语言，需要付出很大的努力来找出翻译中丢失的内容。

从英语翻译回英语时的语言分数，与该语言的样本句子数量相关。在右侧，示例句子的数量越多，分数就越高。有一些异常值，例如西里尔文中的英语，它的例子很少，但翻译得很好。 

在你收集了一千种语言的写作样本用于翻译，而人类仍然认为翻译结果为失败后，你会怎么做？

显然，检查一下失败之处。 

这就是 Google 机器学习科学家本月在 Arxiv 上发表的一篇关于多语言翻译的大型研究论文《为下一千种语言构建机器翻译系统》中提到的有趣工作。

“尽管在低资源机器翻译方面取得了巨大进步，但已构建广泛可用的通用域 MT 系统的语言数量仅限于 100 种左右，这在当今世界上使用的 7000+ 多种语言中只是一小部分，”主要作者 Ankur Bapna 及其同事写道。 

该论文描述了一个项目，该项目旨在创建一个包含一千多种语言的数据集，包括所谓的低资源语言，这些语言可用作训练机器学习样本的文档非常少。 

例如，虽然很容易收集数十亿个英语例句和超过 1 亿个冰岛语例句，但格陵兰岛约有 56,000 人使用的语言 kalaallisut，在线文本中现存的例句不到 100 万个;而吉兰丹-北大年马来语在马来西亚和泰国约有 500 万人使用，现成的例句不到 10,000 个。

为了为这种资源匮乏的语言编译机器翻译数据集，Bapna 和二十几位同事首先创建了一个工具，用于搜索互联网并识别资源匮乏语言的文本。作者使用许多机器学习技术来扩展一个名为 LangID 的系统，该系统包括用于识别 Web 文本是否属于给定语言的技术。这是一个相当复杂的消除误报的过程。 

在使用 LangID 技术搜索 Web 后，作者能够组装“一个带有 1503 种低资源语言语料库的数据集，大小从一句话 （Mape） 到 8300 万个句子 （沙巴马来语） 不等。 

科学家们将该列表归结为 1,057 种语言，“我们在其中恢复了超过 25,000 个单语句子（在重复数据删除之前）”，并将这组样本与 83 种“高资源语言”（如英语）的更大数据相结合。 

然后，他们通过运行实验来测试数据集，以便在该集中的语言之间进行翻译。他们使用各种版本的无处不在的 Transformer 神经网络进行语言建模。为了测试翻译的性能，作者专注于 38 种语言的英语互译，他们获得了真实翻译的示例，包括 kalaallisut 

这就是最有趣的部分。作者要求以低资源语言为母语的人工审稿人对 28 种语言的翻译质量进行评分，评分范围为 0 到 6,0 分表示“无意义或错误的语言”，6 分表示“完美”。 

结果不是很好。在从英语翻译而来的 28 种语言中，有 13 种语言在翻译质量方面的评分低于 4。这意味着几乎一半的英语目标翻译是平庸的。 

作者从第 23 页开始进行了一场引人入胜的讨论，探讨了那些评分较弱的翻译似乎出了什么问题。 

“最大的收获是，自动指标高估了相关方言的性能，”他们写道，这意味着，机器分配给翻译的分数，例如广泛使用的 BLEU 分数，往往会在神经网络简单地翻译成与另一种语言一样的错误语言时给予认可。例如，“尼日利亚洋泾浜语 （pcm） 是一种英语方言，其 BLEU 和 CHRF 分数非常高，分别约为 35 分和 60 分。然而，人类对翻译的评价非常苛刻，整整 20% 的人被判定为'胡说八道/错误的语言'，值得信赖的母语人士确认翻译无法使用。

他们观察到，“这里发生的事情是模型翻译成错误的方言（损坏的版本），但它在字符 n 元语法级别上足够接近”，以至于自动基准测试可以给它打高分。 

“这是数据污染问题的结果，”他们推断，“因为这些语言与 Web 上其他更常见的语言非常接近 [...]，训练数据更有可能与高级资源语言的损坏版本或其他变体混合。

蓝色为正确术语，黄色为误译的翻译示例。左侧列显示使用标准 BCP-47 标签翻译成的语言的代码。

然后是作者在翻译中所说的“特征性错误模式”，例如“翻译在训练数据中分布相似的上下文中出现的名词”，例如将“相对常见的名词，如'tiger'替换为另一种动物词，他们指出，”表明模型学习了这个名词出现的分布上下文， 但无法获得从一种语言到另一种语言的精确映射，并在此类别中提供足够的细节。

这样的问题发生在 “animal names， colors， and times of day” 和 “was also a issue with adjectives， 但我们很少观察到动词的此类错误。有时，单词被翻译成可能被视为文化上相似概念的句子——例如，从梵语翻译时，将'奶酪和黄油'翻译成'凝乳和酸奶'。

作者提出了与母语人士密切合作的广泛理由：

我们强调，在可能的情况下，尝试与母语人士和这些社区的成员建立关系很重要，而不是简单地作为远距离的人群工作者与他们互动。在这项工作中，作者尽可能多地联系了社区的成员，与这些社区的 100 多名成员进行了对话，其中许多人都积极参与该项目。 

附录对一长串这样的母语人士表示感谢。 

尽管列举了失败，但作者得出结论，这项工作取得了值得注意的成功。特别是，使用 LangID 方法搜索 Web，“我们能够构建一个多语言无标签文本数据集，其中包含 200 多种语言的 100 多万个句子和 400 多种语言的 10 万多个句子。

与 Transformer 模型合作使他们确信，“利用本文中描述的方法，可以为长尾语言构建高质量、实用的 MT 模型。