11、深度神经网络与自主武器：风险与挑战

深度神经网络与自主武器：风险与挑战

在当今科技飞速发展的时代，人工智能尤其是深度神经网络和自主武器的应用越来越广泛。然而，它们背后隐藏的风险也逐渐浮出水面，值得我们深入探讨。

深度神经网络：黑箱中的隐患

深度神经网络作为一种强大的学习机器，它不遵循预设的编程规则，而是从数据中学习。对于设计者来说，它就像一个“黑箱”。计算机程序员可以查看网络的输出，判断其对错，但要理解系统为何得出某个结论，以及更重要的是提前预测其故障，却极具挑战性。

以视觉对象识别AI为例，当前这类AI对“对抗性图像”的脆弱性，鲜明地体现了验证学习系统行为的难题。深度神经网络在对象识别方面表现出色，在标准基准测试中甚至能与人类媲美或超越人类。但研究人员发现，至少以目前的技术来看，它们存在人类所没有的奇怪脆弱性。

对抗性图像是利用深度神经网络的漏洞，诱使它们自信地识别虚假图像的图片。通常由研究人员故意创建，主要有两种形式：一种看起来像抽象的波浪线和形状，另一种在人眼中则像无意义的静态画面。然而，神经网络却能以超过99%的置信度将这些无意义的图像识别为具体对象，如海星、猎豹或孔雀。

这种现象的问题不在于网络识别错误某些对象，而在于其识别错误的方式对人类来说既怪异又违反直觉。神经网络从无意义的静态画面或抽象形状中错误识别对象的方式，是人类永远不会采用的。这使得人类很难准确预测神经网络可能出现故障的情况，因为其行为方式对人类来说完全陌生，难以建立准确的心理模型来预测其行为。

这种脆弱性并非个别网络的弱点，目前用于对象识别的大多数深度神经网络似乎都存在这种问题。实际上，甚至不需要了解网络的具体内部结构就能欺骗它。

为了更好地理解这一现象，我们来