Crafting Adversarial Input Sequences for Recurrent Neural Networks

最新推荐文章于 2024-07-26 13:49:57 发布

原创

最新推荐文章于 2024-07-26 13:49:57 发布 · 760 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #深度学习 #机器学习

本文探讨了如何利用对抗性输入序列误导RNN，通过计算图展开和前向导数技术，针对循环神经网络的特点设计对抗样本。研究了从预处理扰动到原始输入的转换，并介绍了对抗序列实验和LSTM的应用。结论部分强调了在不同数据类型和威胁模型下的挑战与未来研究方向。

作者： 19届 lz

论文：《Crafting Adversarial Input Sequences for Recurrent Neural Networks》

问题

对手可以制作对抗性序列来误导分类和顺序递归神经网络

贡献:

•我们在序列数据的上下文中形式化了对抗样本优化问题。我们使用前向导数来调整制作算法以适应 RNN 的特殊性。这包括展示如何计算循环计算图的前向导数。
• 我们研究将模型预处理输入的对抗性扰动转换为原始输入。

相关工作

循环神经网络 (RNN) 是从前馈神经网络改编而来的机器学习模型，与前馈神经网络不同，RNN 能够处理大长度且通常可变长度的序列数据。 RNN 在其计算图中引入循环以有效地模拟时间的影响。循环计算的存在可能对基于模型微分的现有对抗样本算法的适用性提出挑战，因为循环通过应用链式法则直接阻止计算梯度。

我们研究了一个特定的对抗样本实例——我们称之为对抗序列——旨在误导 RNN 产生错误的输出。我们表明，使用一种名为计算图展开的技术，前向导数可以适用于具有循环计算图的神经网络。

神经网络是一类机器学习模型，可用于监督、无监督和强化学习的所有任务。它们由神经元（基本计算单元）组成，将激活函数 φ 应用于它们的输入 ~ x 以产生通常由其他神经元处理的输出。因此，神经元执行的计算采用以下形式：

其中~w是一个参数，称为权重向量，其作用在下文详述。在神经网络 f 中，神经元通常被分组在相互连接的层 fk 中。一个网络总是至少有两层对应于模型的输入和输出。可以在这些输入和输出层之间插入一个或多个中间隐藏层。如果网络只有一个或没有隐藏层，则称为浅层神经网络。否则，网络被称为深度网络，隐藏层的常见解释是它们提取产生输出所需的输入的连续和分层表示

Recurrent Neural Networks

循环神经网络的特性最重要的是在模型的计算图中引入了循环，这导致了一种参数共享的形式，负责对大序列的可扩展性。换句话说，除了不同层神经元之间的链接外，循环神经网络还允许位于同一层的神经元之间的链接，这导致网络架构中存在循环。循环允许模型在不同时间步长的给定输入值的连续值中共享权重——它们是连接神经元输出和输入的链接的参数。