weixin_45320238的博客

这篇论文出自于中国人民大学，全面回顾了大型语言模型 (LLM) 的最新进展，重点关注其发展背景、关键发现和主流技术。

轻量级的二分类器；局部固有维度与几种简单的调整卷积神经网络(CNN)定义了许多感知任务的最先进解决方案。然而，目前的CNN方法在很大程度上仍然容易受到输入的对抗性扰动的影响，这些扰动是专门为欺骗系统而设计的，同时人眼几乎无法察觉。近年来，人们提出了各种方法来保护cnn免受此类攻击，例如通过模型强化或添加显式防御机制。因此，在网络中包含一个小的“检测器”，并在区分真实数据和包含对抗性扰动的数据的二元分类任务上进行训练。在这项工作中，我们提出了一个简单且轻量级的检测器，它利用了最近关于网络。

尽管卷积神经网络(cnn)在许多计算机视觉和图像分析任务中取得了成功，但它们仍然容易受到所谓的对抗性攻击:输入图像中的微小、精心设计的扰动可能导致错误的预测。一种可能的防御方法是检测对抗性的例子。在这项工作中，我们展示了如何使用分析来区分良性测试样本和对抗图像。我们提出了两种新的检测方法:我们的第一种方法使用输入图像的来检测对抗性攻击。这种简单、鲁棒的分类器可以成功地检测到常用攻击方法的对抗性扰动。第二种方法建立在第一种方法的基础上，并在网络的。有了这个扩展，与不同的攻击方法相比，我们能够提高对抗性检测率。

我们首次提出了一种分层VAE，它可以快速生成样本，并且在所有自然图像基准上的对数似然性 LL（log-likelihood ）能优于PixelCNN。我们首先观察到，在理论上，VAEs实际上可以代表自回归模型，如果它们存在的话，如果它们足够深的话，也可以代表更快、更好的模型。尽管如此，自回归模型在对数似然方面的历史表现优于vae。我们通过将VAE扩展到比先前探索的更大的随机深度来测试深度不足是否解释了原因，并对其进行了CIFAR-10, ImageNet和FFHQ评估。。

对抗性训练是用对抗性数据训练深度学习模型的过程，是深度学习模型最成功的对抗性防御方法之一。我们发现，如果在推理阶段对该模型进行微调，使其适应带有额外信息的对抗输入，则可以进一步提高对抗性训练模型对白盒攻击的鲁棒性。我们引入了一种算法，在原始输出类和“邻居”类之间使用现有的训练数据在推理阶段对模型进行“后训练”。预训练的FastFGSM CIFAR10分类器基模型对白盒投影梯度攻击(white-box projected gradient attack, PGD)的准确率从46.8%显著提高到64.5%。

其他LLM模型：FLAN、Gopher、ERNIE 4.0、Retro、LaMDA、ChinChilla、Galactia-120B、CodeGen、BLOOM、Zephyr、Grok-0、ORCA-2、StartCoder、MPT、Mixtral-8x7B、Falcon 180B、Gemini。GPT： 仅解码器，GPT-1、GPT-2、GPT-3、InstrucGPT、ChatGPT、GPT-4、CODEX和WebGPT。LLM缺点：没有内存、回答概率性、过时的信息、训练成本大、产生幻觉。

LMAs与人机交互领域的交汇代表着未来应用的一个重要方向。

由于图像重复导致大量论文被撤稿，本研究评估了所建议数据集中最先进的复制移动检测方法，使用了一种新的指标，该指标断言源和复制区域之间的匹配检测是一致的。我们的结果和分析表明，在通用计算机视觉数据集上开发的现有算法在应用于生物医学图像时并不健壮，这表明需要更多的研究来解决生物医学图像取证的独特挑战。该方法基于一个关键观察，即混合操作产生的边界转移伪影在各种图像伪造操作中普遍存在，我们的方法利用基于CRF(条件随机场)的注意力模型，通过生成注意力图来表示图像中每个像素被伪造的概率，从而很好地表征了这一伪影。