Google 报告揭示威胁行为者目前如何使用生成式人工智能。

谷歌威胁情报小组（GTIG）最近发布了一份关于生成式人工智能对抗性滥用的报告。该团队调查了高级持续威胁（APT）和协调信息行动（IO）行为者使用的提示，发现他们迄今为止实现了生产力的提升，但尚未开发出新的能力。

谷歌团队认为，目前对人工智能的许多滥用局限于理论研究，并不反映威胁行为者当前如何使用人工智能的现实情况，他们分享了与Gemini互动的数据。GTIG团队写道：

我们没有观察到威胁行为者在使用提示攻击或其它以机器学习（ML）为重点的威胁方面有任何原始或持续的尝试，这些内容在《安全人工智能框架（SAIF）》的风险分类中有所概述。威胁行为者没有精心设计定制的提示，而是使用了更基本的措施或公开可用的越狱提示，试图无成功地绕过Gemini的安全控制。

报告强调了生成式人工智能的双重性质，强调了其追踪滥用行为的潜力，同时揭示了那些试图利用大语言模型的参与者所带来的新兴威胁。团队总结道：

生成式人工智能并没有像我们预期的那样带来破坏性变化，它使威胁行为者能够更快、更大规模地行动。对于技术娴熟的行为者，生成式人工智能工具提供了一个类似于在网络威胁活动中使用Metasploit或Cobalt Strike的有用框架。对于技术不那么娴熟的行为者，这些工具也提供了学习和提高生产力的工具，使他们能够更快地开发工具并结合现有技术。

根据报告，攻击者正在利用人工智能来改进诸如网络钓鱼、虚假信息和恶意软件等战术，而防御性的人工智能机制正在迅速发展，帮助组织识别和应对不断演变的威胁。讨论最常见的针对人工智能的威胁时，谷歌指出基于公开提示的越狱尝试，以及试图绕过Gemini的安全控制的未成功尝试。

当APT指的是由政府支持的黑客活动，包括网络间谍活动和破坏性的计算机网络攻击时，IO指的是以欺骗性、协调方式进行的试图影响在线观众的活动，包括使用假账号和评论刷队。

根据谷歌的说法，政府支持的攻击者包括伊朗、中国、朝鲜的，以及在较小程度上的俄罗斯APT行为者。GTIG团队补充道：

最高使用量来自伊朗和中国。 APT攻击者使用Gemini来支持攻击生命周期的多个阶段，包括研究潜在的基础设施和免费托管提供商、对目标组织的侦察、漏洞研究、有效负载开发以及恶意脚本和绕过技术的帮助。

Sublime Security的创始人兼首席执行官Josh Kamdjou，评论道:

看到实际的威胁行为者归因（伊朗+朝鲜北韩的APT等）被放置在我们在电子邮件攻击预防层所看到的活动类型上，真是令人着迷。

Godwin Josh，Altrosyn联合创始人兼CDTECH董事，回复：

这反映了恶意软件的演变，早期的恶意软件虽然简陋但有效，随着每一次迭代，它们逐渐变得更加复杂。正如曾经多态代码使防御措施感到困惑一样，现在我们看到AI生成的攻击实时适应我们的检测机制。

根据报告，IO演员主要使用Gemini进行内容生成，包括开发角色和信息，以及翻译和本地化，伊朗IO演员占IO演员总使用量的四分之三。