随着选举进入生成人工智能时代，所有人都关注网络防御
人类比 IT 系统更容易被破坏，错误的行为者将利用生成式人工智能来利用这个机会。
随着各国准备在以生成人工智能（AI）为标志的新时代举行重大选举，人类将成为黑客活动分子和民族国家行为者的主要目标。
生成式人工智能可能没有改变内容的传播方式，但它加速了内容的传播量并影响了其准确性。
Forrester Research 首席分析师 Allie Mellen 表示，该技术帮助威胁行为者大规模生成更好的网络钓鱼电子邮件，以获取有关目标候选人或选举的信息。梅伦的研究涵盖安全运营和民族国家威胁以及机器学习和人工智能在安全工具中的使用。她的团队正在密切跟踪 2024 年错误信息和虚假信息的程度。
梅伦指出了社交媒体公司在防止错误信息和虚假信息传播以避免 2016 年美国大选重演方面发挥的作用。
根据 Yubico 和 Defending Digital Campaigns 最近发布的一项研究，近 79% 的美国选民表示，他们担心人工智能生成的内容被用来冒充政治候选人或创建欺诈内容。另有 43% 的人表示，他们认为此类内容将损害今年的选举结果。该调查由 OnePoll 进行，对美国 2,000 名注册选民进行了调查，以评估网络安全和人工智能对 2024 年竞选活动的影响。
受访者获得了一段用人工智能语音录制的音频片段，41% 的人表示他们相信该声音是人类的。约 52% 的人还收到过一封看似来自某个活动的电子邮件或短信，但他们表示怀疑这是一次网络钓鱼尝试。
捍卫数字竞选组织总裁兼首席执行官迈克尔·凯泽在一份新闻稿中表示：“今年的选举对于针对候选人、工作人员以及与竞选活动相关的任何人的网络攻击来说尤其危险。” “拥有适当的网络安全不是一种选择，它对于任何进行政治运作的人来说都是至关重要的。否则，竞选活动不仅面临丢失有价值数据的风险，而且还会失去选民。”
Yubico 解决方案架构副总裁 David Treece 指出，营销活动是建立在信任基础上的，他在新闻稿中补充道，潜在的黑客行为（例如欺诈性电子邮件或直接与受众互动的社交媒体上的深度伪造）可能会影响营销活动。特里斯敦促候选人采取适当措施保护他们的竞选活动，并采取网络安全措施来建立选民的信任。
梅伦告诉 ZDNET，提高公众对虚假内容的认识也很关键，因为人类是最后一道防线。
她进一步强调，科技公司需要意识到，确保选举不仅仅是一个政府问题，而是行业内每个组织都必须考虑的更广泛的国家挑战。
她说，最重要的是，治理至关重要。并非每一次深度造假或社会工程攻击都能被正确识别，但组织可以通过适当的门控和流程来减轻其影响，以防止员工向外部来源汇款。
“最终，这是要解决问题的根源，而不是症状，”梅伦说。 “我们最应该关心的是建立适当的治理和[层]验证，以确保交易合法。”
与此同时，她表示我们应该继续提高检测深度造假和人工智能驱动的欺诈内容的能力。
利用生成式人工智能技术的攻击者大多是民族国家行为者，其他人则主要坚持使用已经有效的攻击技术。她表示，民族国家威胁行为者更有动力扩大攻击规模，并希望推动新技术和方法来访问他们原本无法访问的系统。她警告说，如果这些行为者能够传播错误信息，就会削弱公众的信任并从内部撕裂社会。
利用人类弱点的生成式人工智能
网络安全公司 Tenable 首席安全策略师内森·温茨勒 (Nathan Wenzler) 表示，他同意这种观点，并警告说，民族国家行为者可能会加大力度通过错误信息和虚假信息来滥用信任。
虽然他的团队今年没有注意到随着生成式人工智能的出现出现任何新型安全威胁，但温兹勒表示，该技术使攻击者能够扩大规模和范围。
Wenzler 告诉 ZDNET，这种能力使民族国家行为者能够利用公众对他们在网上看到的内容的盲目信任以及接受其为事实的意愿，他们将使用生成式人工智能来推送符合其目的的内容。
温兹勒表示，人工智能技术能够生成令人信服的网络钓鱼电子邮件和深度伪造邮件，这也使得社会工程成为发起攻击的可行催化剂。
网络防御工具在堵住技术弱点方面已变得非常有效，使 IT 系统更难受到损害。他说，威胁对手意识到了这一事实，并正在选择一个更容易的目标。
“随着技术变得越来越难以破解，人类[被证明]更容易破解，而 GenAI 是这个过程中[帮助黑客]的又一步，”他指出。 “这将使社会工程[攻击]更加有效，并使攻击者能够更快、更高效地生成内容，并且成功率很高。”
他说，如果网络犯罪分子发送 1000 万封网络钓鱼电子邮件，那么即使在创建更能说服目标点击的内容方面仅提高 1%，也会导致额外 100,000 名受害者。
“速度和规模才是关键。GenAI 将成为这些组织发起社会工程攻击的主要工具，”他补充道。
政府应该如何关注人工智能驱动的生成风险？
“他们应该非常担心，”温茨勒说。 “这可以追溯到对信任的攻击。这确实影响了人类的心理。人们想要相信他们所看到的东西，他们想要互相相信。从社会的角度来看，我们在质疑我们所看到的东西方面做得不够好随着 GenAI 变得越来越好，保持警惕变得越来越困难。”
他说：“你想营造一种健康的怀疑态度，但我们还没有做到这一点。”他指出，事后很难进行补救，因为损害已经造成，部分民众可能会错误地相信他们所认为的事情。看了有一段时间了。
他补充说，最终，安全公司将创建深度伪造检测等工具，作为自动化防御基础设施的一部分，可以有效应对这一挑战。
大型语言模型需要保护
组织还应该注意用于训练人工智能模型的数据。
梅伦表示，大型语言模型（LLM）中的训练数据应该经过审查并防止恶意攻击，例如数据中毒。受污染的人工智能模型可能会生成错误的输出。
Check Point Software 的威胁情报小组经理 Sergy Shykevich 也强调了法学硕士的风险，包括支持主要平台的更大的人工智能模型，例如 OpenAI 的 ChatGPT 和谷歌的 Gemini。
Shykevich 告诉 ZDNET，国家行为者可以瞄准这些模型来访问引擎并操纵生成式人工智能平台生成的响应。然后他们可以影响公众舆论并有可能改变选举进程。
由于尚未制定任何法规来管理如何获得法学硕士，他强调运营这些平台的公司需要保持透明度。
梅伦说，由于生成式人工智能相对较新，管理员管理此类系统并了解为何或如何生成响应也可能具有挑战性。
Wenzler 指出，组织可以使用更小、更专注、专门构建的法学硕士来管理和保护用于训练其生成式 AI 应用程序的数据，从而降低风险。
虽然获取更大的数据集有好处，但他建议企业考虑自己的风险偏好并找到适当的平衡点。
温茨勒敦促各国政府更快地采取行动，制定必要的授权和规则，以应对生成人工智能的风险。他说，这些规则将为指导组织采用和部署生成式人工智能应用程序提供方向。