政府需要加强人工智能时代的网络防御——并回归基础

私营和公共部门的组织都在转向采用人工智能，但对于后者而言，这样做提高了安全基础的重要性。

政府在采用人工智能（AI）时可能会采取更加谨慎的态度，尤其是生成式人工智能（gen AI），因为它们的主要任务是处理民众的个人数据。随着人工智能技术的不断发展，这还必须包括加强网络防御，这意味着是时候重新审视基本原理了。

凯捷亚太区首席执行官 Olaf Pietschner 在视频采访中表示，私营和公共部门的组织都担心采用新一代人工智能的安全和道德问题，但后者对这些问题抱有更高的期望。

Pietschner 表示，各国政府更加规避风险，并且暗含着对新一代人工智能所需的治理和护栏制定了更高的标准。他说，他们需要提供决策制定方式的透明度，但这需要人工智能驱动的流程具有一定程度的可解释性。

他补充说，因此，公共部门组织对人工智能模型生成的幻觉以及虚假和不准确信息等问题的容忍度较低。

身份和访问管理供应商 SailPoint Technologies 的公共部门身份安全策略师 Frank Briguglio 表示，它将重点放在现代安全架构的基础上。

当被问及人工智能的采用对公共部门意味着什么安全挑战的变化时，布里古利奥指出，更需要保护数据并插入所需的控制措施，以确保数据不会暴露于从互联网上抓取训练数据的人工智能服务。

身份管理安全供应商 CyberArk 的首席运营官 Eduarda Camacho 表示，在线身份的管理尤其需要范式转变。她补充说，使用多重身份验证或依赖云服务提供商的本机安全工具已经不够了。

此外，卡马乔在接受采访时表示，仅对特权账户实施更强有力的保护也是不够的。她补充说，这与新一代人工智能以及随之而来的深度造假的出现尤其相关，这使得建立身份变得更加复杂。

与卡马乔一样，布里古利奥也支持以身份为中心的方法的优点，他表示，这种方法要求组织了解所有数据所在的位置并对数据进行分类，以便从隐私和安全的角度对数据进行相应的保护。

他在视频采访中表示，他们还需要能够实时将政策应用到机器上，机器也可以访问数据。他说，最终，强调了零信任的作用，即每次访问网络或数据的尝试都被认为是敌对的，并且可能会损害公司系统。

授予访问权限的属性或策略需要得到准确的验证和管理，并且业务用户需要对这些属性有信心。布里古利奥指出，同样的原则也适用于需要了解数据所在位置、数据保护方式以及谁有权访问数据的数据和组织。

他补充说，应该在整个工作流程或数据流中重新验证身份，其中在用于访问或传输数据时重新评估凭证的真实性，包括数据传输给谁。

卡马乔表示，这强调了公司需要建立一个清晰的身份管理框架，而该框架目前仍然高度分散。她说，管理访问权不应仅仅根据用户的角色而有所不同，并敦促企业投资于一种假设其组织中的每个身份都享有特权的策略。

她补充说，假设每个身份都可能受到损害，而新一代人工智能的出现只会加剧这种情况。她指出，组织可以通过强有力的安全策略保持领先地位，并实施必要的内部变革管理和培训。

这对于公共部门至关重要，特别是随着越来越多的政府开始在其工作环境中推出新一代人工智能工具。

事实上，凯捷对全球 1,100 名高管进行的一项调查显示，过去一年，80% 的政府和公共部门组织加大了对新一代人工智能的投资。约 74% 的受访者认为该技术在帮助推动收入和创新方面具有变革性，其中 68% 的受访者已经在开展一些新一代人工智能试点工作。然而，只有 2% 的企业在其大部分或全部职能或地点启用了新一代人工智能功能。

虽然该行业 98% 的组织允许其员工以某种身份使用人工智能，但 64% 的组织已采取适当措施来管理此类使用。凯捷研究指出，另外 28% 的公司将此类使用仅限于选定的员工群体，46% 的公司正在制定负责任地使用新一代人工智能的指南。

然而，当被问及对道德 AI 的担忧时，74% 的公共部门组织表示对 gen AI 工具的公平性缺乏信心，56% 的组织表示担心 gen AI 模型中的偏见可能会在客户使用时导致令人尴尬的结果。另外 48% 的受访者强调，用于训练新一代人工智能应用程序的基础数据缺乏清晰度。

关注数据安全和治理

事实上，随着越来越多的政府服务走向数字化，对数据安全的关注也越来越高，从而增加了遭受在线威胁的风险。

新加坡数字发展和信息部 (MDDI) 上个月透露，2023 财年发生了 201 起与政府相关的数据事件，高于上一年报告的 182 起。该部将这一增长归因于随着更多政府服务为公民和企业实现数字化，数据使用量增加。

此外，更多的政府官员现在意识到报告事件的必要性，MDDI 表示这可能导致数据事件的增加。

MDDI 在其关于新加坡公共部门为保护个人数据所做努力的年度更新中表示，在 2023 年 4 月至 2024 年 3 月的过去一年中实施了 24 项举措。其中包括该部门中央隐私工具包中的一项新功能，该功能对 2000 万份文档进行了匿名处理并支持公共部门的 20 多个人工智能用例。

政府的数据丢失保护（DLP）工具得到了进一步改进，该工具旨在防止政府网络和设备中的机密或敏感数据意外丢失。

MDDI 表示，所有符合条件的政府系统现在也使用中央帐户管理工具，该工具会自动删除不再需要的用户帐户。这可以降低已离职官员以及威胁行为者使用休眠帐户进行漏洞利用的未经授权访问的风险。

Pietschner 表示，随着数字服务的普及，数据暴露、人为监督或技术安全漏洞带来的风险越来越大。他说，当事情出现问题时，正如 CrowdStrike 中断所暴露的那样，组织会寻求更快地推动创新并更快地采用技术。

他解释说，这凸显了使用最新 IT 工具和采用强大补丁管理策略的重要性，并指出未打补丁的旧技术仍然是企业面临的最大风险。

布里古利奥进一步补充说，这也表明需要坚持基本原则。他说，在没有进行回归测试或首先在沙箱中进行测试的情况下，不应推出安全补丁和对内核的更改。

Pietschner 补充说，尽管指导组织如何在发生数据事件时做出响应的治理框架也同样重要。例如，他说，公共部门组织必须保持透明并披露违规行为，以便公民知道他们的个人数据何时被曝光。

他说，还应该为新一代人工智能应用程序实施治理框架。这应包括指导员工采用 Gen AI 工具的政策。

然而，根据凯捷公司对全球 1,098 名高级管理人员和 1,092 名软件专业人员进行的另一项研究，63% 的公共部门组织尚未决定软件工程的治理框架。

尽管如此，该行业 88% 的软件专业人员正在使用至少一种未经其组织正式授权或支持的新一代人工智能工具。凯捷指出，这一数字是全球研究中调查的所有垂直行业中最高的。

皮特施纳说，这表明治理至关重要。他说，如果开发人员使用未经授权的人工智能工具，他们可能会无意中暴露应受保护的内部数据。

他指出，一些政府已经创建了定制的人工智能模型，以增加一层信任，并使他们能够监控其使用。这样可以确保员工只使用授权的人工智能工具——保护所使用的数据。

他说，更重要的是，公共部门组织可以消除人工智能模型中的任何偏见或幻觉，并且应该采取必要的防护措施，以减轻这些模型产生与政府价值观或意图相矛盾的反应的风险。

他补充说，零信任策略在标准化水平较高的公共部门更容易实施。例如，通常有共享的政府服务和标准化的采购流程，这使得零信任政策的执行变得更加容易。

7月，新加坡宣布计划发布技术指南并提供“实际措施”以增强人工智能工具和系统的安全性。政府表示，该自愿指南旨在为希望提高人工智能工具安全性的网络安全专业人士提供参考，并且可以与现有的安全流程一起采用，以解决人工智能系统中的潜在风险。

布里古利奥表示，Gen AI 正在迅速发展，每个人尚未完全了解该技术的真正力量以及如何使用它。它呼吁计划在决策过程中使用人工智能的组织，包括公共部门的组织，确保有一定的人为监督和治理来管理访问和敏感数据。

“当我们构建和成熟这些系统时，我们需要确信我们对人工智能的控制足以满足我们想要保护的目标，”他说。 “我们需要记住基础知识。”

不过，帕拉阿尔托网络美国公共部门业务主管埃里克·特雷克斯勒 (Eric Trexler) 表示，如果使用得当，人工智能可以与人类合作，更好地防御在攻击中使用相同人工智能工具的对手。

错误可能会发生，因此需要正确的制衡。 Trexler 在视频采访中详细介绍，如果做得正确，人工智能将帮助组织跟上在线威胁的速度和数量。

回顾他之前管理一个进行恶意软件分析的团队的经历，他说自动化提供了跟上对手的速度。 “我们只是没有足够的人力，而有些任务机器可以做得更好，”他指出。

他表示，包括 gen AI 在内的人工智能工具可以帮助“大海捞针”，而当安全事件和警报的数量每天达到数百万个时，人类很难做到这一点。他补充说，人工智能可以在一系列收集数据的多方面系统中寻找标记或指标，并创建事件摘要，然后人类可以进行审查。

特雷克斯勒也强调了认识到事情仍然可能出错的重要性，并建立必要的框架（包括治理、政策和行动手册）来减轻此类风险。