亚马逊，说不：AI 语音复制迫在眉睫的恐怖
如果像 Alexa 这样的 AI 真的可以将不到一分钟的录制语音转换为实时语音，那么它就为反乌托邦的煤气灯打开了一个全新的大门。这很可怕、令人毛骨悚然和令人不安。
我们真的想将完美模拟声音的能力交到跟踪者和施虐者手中吗？
上周，我们刊登了一篇题为“Amazon 的 Alexa 用孩子已故奶奶的声音朗读故事”的新闻文章。在这篇文章中，ZDNet 的 Stephanie Condon 讨论了 Amazon 在其 re：MARS 会议（Amazon 关于机器学习、自动化、机器人技术和太空等主题的年度会议）上的演讲。
在演示中，亚马逊的 Alexa AI 高级副总裁 Rohit Prasad 展示了一个小男孩问 Echo 设备的片段，“Alexa，奶奶能读完我《绿野仙踪》吗？”然后，视频显示 Echo 使用 Prasad 所说的孩子已故祖母的声音阅读这本书。
硬停。你脖子后面的汗毛是不是刚刚竖起来了？因为那一点也不令人毛骨悚然。一点也不。
不过，Prasad 将其描述为有益的，他说：“同理心和情感等人类特质是建立信任的关键。在大流行持续的时期，当我们中的许多人失去了我们所爱的人时，它们变得更加重要。虽然 AI 无法消除失去的痛苦，但它绝对可以让他们的记忆持久。
嗯，好的。那么让我们解构一下，好吗？
我听到死人的声音
有一种心理感官体验，临床上被描述为 SED，意思是“死者的感觉和准感官体验”。这是一个更现代的临床术语，指的是过去被描述为幻觉的东西。
根据 2020 年 11 月的一项临床研究，丧亲中死者的感官和准感官体验：跨学科和综合回顾，SED 体验不一定是一种心理障碍。相反，在经历过亲人去世等生活事件的人中，有 47% 到 82% 的人经历过某种 SED。
我引用的研究特别有趣，因为它既是综合的又是跨学科的，这意味着它汇总了各种研究领域的其他研究结果。因此，它很好地总结了 SED 的一般临床看法。
根据这项研究，SED 经历跨越国界，所有年龄段的人、许多宗教的成员、所有类型的关系损失，甚至死亡情况都会经历。
但是，SED 经历被认为是令人欣慰还是令人不安，取决于个人和个人的信仰体系。SED 还以各种方式表现出来，从听到脚步声，到存在体验，再到目击。它并不总是语音再现。
总体而言，该报告没有对 SED 经历在心理上是有益的还是有害的做出临床价值判断，并指出需要进一步研究。
但是，回到亚马逊试图将死去的奶奶的声音装进罐子里的尝试上，目前还不清楚为孩子提供失去亲人的声音会让人感到安慰，还是在发展方面是一个问题，以至于它会在未来几年为治疗师提供持续的就业机会。
奇怪的是，Amazon 选择展示已故亲戚的语音复制，而不是像一位健生健康的祖母，她可以为她心爱的孙子录制她的声音。但是，嘿，如果亚马逊的研究人员想去寻找令人毛骨悚然的东西，我们又该评判谁呢？
这让我们想到了对语音复制的整体讨论。由于一些有限的建设性应用程序，我不确定将语音复制 AI 技术发布到野外是否是一个好主意。Amazon 表示，他们可以取一个简短的样本，并从这个简短的样本中构建一个完整的对话。这似乎有些事情非常、非常错误。
可能出什么问题？
这听起来几乎就像你在《雨伞学院》这样的节目中描述超能力的方式：在听到一个人的声音不到一分钟时，有人就能说出任何话，并使其听起来完全像那个人说的那个人。
这怎么可能不是一种向善的力量呢？天啊。系好安全带。
我们在这里谈论的不仅仅是偶然的令人毛骨悚然，比如当 Alexa 突然开始尖叫或爆发出听起来邪恶的笑声时。当您在新领域进行创新时，奇怪的事情会偶然发生。这些行为一旦被发现，就会被修复。
不，我们谈论的是如果不良行为者掌握了这项技术并决定将其用于盈利，会发生什么......或者更糟。
美国心理学会心理学词典将“煤气灯效应”定义为：
纵他人怀疑他或她对事件的看法、经历或理解。该术语曾经是指极端的纵，以致诱发精神疾病或证明被煤气灯照射的人被送往精神病院是合理的，但现在被更普遍地使用。它通常被认为是一种口语，尽管偶尔会出现在临床文献中。
该术语起源于 1920 年代的舞台剧，然后被制作成 1944 年的电影，名为“煤气灯”。
不幸的是，煤气灯已经进入了数字领域。2018 年，《纽约时报》刊登了一篇文章，描述了数字恒温器、锁和灯如何成为家庭暴力的工具。
《纽约时报》描述了这些设备如何“被用作骚扰、监控、报复和控制的手段”。例子包括将恒温器调到 100 度或突然播放音乐。
美国公立大学边缘 还谈到了数字煤气灯。文章解释说，“这种类型的活动使施虐者能够轻松展示对受害者的控制，无论施虐者身在何处。这是施虐者用来慢慢削弱受害者自尊并进一步加剧受害者压力的另一种方法。
现在，让我们更上一层楼。如果一个人一直听到他们死去的父亲或母亲的声音，那么将他们送出边缘是多么容易？如果施虐者可以说服某人他们被困扰或正在失去对辨别现实能力的控制，那么施虐者就可以用恶意的主观现实来代替。
整个想法听起来像是糟糕的小说，但煤气灯在家庭暴力中如此普遍，以至于全国家庭暴力热线有一整页专门介绍施虐伴侣可能使用的煤气灯技术。如果您发现自己处于这种情况，您可以拨打热线 1-800-799-7233。
让我们再上一个档次：将跟踪者添加到组合中。假设您在家，接到您妈妈的电话。这是妈在来电显示上的号码。你回答，听起来像妈。她出了事故，或者遇到了什么麻烦。她求你出来接她。你确实做到了。因为妈打来了电话，你当然知道她的声音是什么样子的。
但这不是妈。有一些方法可以欺骗来电显示，并且通过 AI 语音复制，引诱受害者的可能性大大增加。再加上从许多阴暗的在线供应商那里购买个人身份信息 （PII） 的能力，以及令人震惊的详细信息，您将面临一个可怕的场景。
不要将这些情况视为低概率。疾病预防控制中心报告称，每 6 名女性中就有 1 名，每 19 名男性中就有 1 名在其一生中被跟踪过。美国司法部报告说，“被现任或前任丈夫或同居伴侣跟踪的女性中，有 81% 也受到该伴侣的身体攻击，31% 的女性也受到该伴侣的性侵犯。每年有超过 100 万女性和大约 370,000 名男性被跟踪。
那么，我们真的想将完美模拟声音的能力交到跟踪者和施虐者手中吗？
即使不是为了跟踪或滥用，这样的工具也可以帮助骗子。就像前面的例子一样，妈妈打电话让你来接她（当然，不是妈妈），想象一下爸爸在工作中接到他上大学的女儿打来的电话的场景。她遇到了紧急情况。他能给她寄几千美元吗？
显然，骗局的质量将决定电话的一些可信度，但只要有足够的可用 PII 和好的脚本，就会有人上当受骗并发放信用卡数字或电汇——尤其是因为声音是女儿的声音。
结合 deepfake 视频技术，创建个人虚假视频的可能性大大增加。无论该视频是青少年用来欺负同学，还是被虚假信息运动用来让民众相信领导者不怀好意，具有准确语音表示的深度伪造的想法都非常令人不安。
建设性应用程序
在一些娱乐行业应用程序中，语音复制可以增加价值。公平地说，这种技术也有一些积极的潜力。
例如，我们最近在 2021 年 Disney+ 系列《曼达洛人》和《波巴·费特之书》中看到了年轻的卢克·天行者。
卢克的图像是由演员格雷厄姆·汉密尔顿 （Graham Hamilton） 以数字方式创建的，但马克·哈米尔 （Mark Hamill） 在第 6 集：来自沙漠来了一个陌生人中被归功于他，尽管他没有提供卢克的声音。相反，制片人使用了一种名为 Respeecher 的工具，它使用了 Mark Hamill 的旧录音的音库，这些录音是为这一集拼凑而成的。
另一个可能的应用可能是为痴呆症患者提供智能助手（和智能助手）。虽然在对智力低下的人进行煤气灯照射和帮助他们应对之间可能只有一条非常细小的界限，但在适当的精神病护理下，语音娱乐可能会有积极的应用。
我和我的妻子在 Yoda 的明智指导下在全国各地旅行度过了愉快的时光。我们已经将他的声音添加到我们的旧 GPS 中。在我们的旅行中，我们让 Yoda 的声音轮流引导我们。令人欣慰的是，尤其是在那些漫长而空旷的伸展过程中，有尤达平静的声音和像 “左，你必须转弯 ”这样的陈述让我们走上正轨。
遗憾的是，尤达定位系统已不再可用，这可能（也可能不会）说明个人电子产品中名人角色声音的市场可行性。
停下来思考
在《侏罗纪公园》中，有一句台词是这样的：“你们的科学家们全神贯注于他们是否能做到，他们没有停下来思考他们是否应该这样做。就这部电影而言，它是关于用恐龙 DNA 重建恐龙的。但它同样适用于使用 AI 来重现人们的声音。
娱乐 AI 软件 Respeecher 需要一到两个小时的语音样本来重新创建语音。亚马逊的新技术需要不到一分钟的录音。这为更多的录音打开了大门，包括从语音邮件捕获的消息，甚至是发送给 Alexa 和 Siri 的命令。
鉴于 PII 信息甚至医疗信息在所谓的暗网上销售的普遍性，可以合理地预期黑客也会贩卖潜在受害者的简短录音，尤其是当这些录音只需要一分钟左右时。
这意味着，如果亚马逊真的将其已故的奶奶技能发布到 Alexa 平台，那么它将可供广大受众使用。正如本文所示，甚至可以在国产非 Alexa 设备上使用 Alexa 和 Alexa 技能。这意味着，即使这项技术仅限于 Alexa，它也有可能非常成问题。
我不得不问：Amazon 真的需要将这项技术作为一项技能发布到野外吗？
公平地说，Amazon 不会是唯一一家探索语音复制的公司。Fortune Business Insights 预测，到 2026 年，全球语音和语音识别市场将以近 20% 的年增长率达到 283 亿美元。有了这些数字，您可以确定这个领域还会有其他参与者。
保护用户免受数字煤气灯、跟踪和诈骗将变得越来越困难，而语音复制只会让情况变得更糟。
MITRE Corporation 网络战略和执行副主任兼胡佛研究所访问学者 Irving Lachow 博士在 Lawfare 博客上撰文， 将这种情况描述为“家庭中的 PsyOps”。
他指出，尽管有反跟踪法律，但“其中许多措施不能直接应用于网络煤气灯，因为与跟踪软件的情况不同，施虐者不会在家用智能设备上添加软件来骚扰受害者。相反，他们正在按照原本打算使用这些设备。
他还表示，在生产这些技术的公司的高管在某种程度上无法触及的地方，法律挑战会更加困难。他说：“有问题的技术有合法和积极的用途，不能仅仅因为他们的设备被用来对某人造成伤害，就现实地针对智能设备公司的高管。
显然，这是一个需要更多考虑的问题。像 Amazon 这样的公司需要仔细评估他们添加的功能是否弊大于利。网络安全专家需要继续强化 IoT 设备以抵御外部黑客攻击。治疗师和心理学家需要提高他们对数字煤气灯效应和其他 21 世纪威胁的认识。
但个人也可以保护自己。恶意软件情报分析师 Christopher Boyd 代表 Malwarebytes 博客撰写文章，建议保留事件的详细记录并记录设备生成的任何数据。我们补充说，管理自己的密码、使用强密码很重要，如果您预计会遇到麻烦，请务必学习如何锁定您的设备。
Lachow 报告说：“在家庭暴力场景中，利用智能设备的时机已经成熟，因为通常一个人（通常是男性）控制着房子的信息技术 （IT）。如果 IT 经理搬走，但仍然可以通过移动应用程序或在线界面访问基于家庭的智能设备，他或她就可以控制家庭环境。
牢记这一点并尽你所能学习。至于基于 AI 的系统学习复制已故亲属的声音，我不得不说“说不就好。不。不。不-不-不。Baaaad 事情可能会发生。
我相信你能想到很多可怕的场景。在下面的评论中与我们分享。我们思考得越多，意识到得越多，我们就越能更好地为它做好准备。