Benchmarking Large Language Models for Cryptanalysis and Mismatched-Generalization

文章主要内容与创新点总结

一、主要内容

1. 研究背景与目标
   • 大语言模型（LLMs）在自然语言处理中表现优异，但在密码分析（cryptanalysis）领域的评估尚未被充分探索。本文旨在评估LLMs对不同加密算法生成文本的解密能力及其潜在的安全风险（如越狱攻击）。
2. 方法与数据集
   • 构建了一个新颖的基准数据集，包含4509个样本，覆盖9种加密算法（如凯撒密码、RSA、AES等），文本类型包括不同长度、领域（科学、医学、法律等）和写作风格（莎士比亚文本、方言等）。
   • 在零样本（zero-shot）和少样本（few-shot）设置下，评估了GPT-4o、Claude、Mistral等9个LLMs的解密准确率和语义理解能力。
3. 关键发现
   • LLMs的密码分析能力局限：仅对预训练中常见的简单加密（如凯撒密码、摩尔斯电码）表现良好，对复杂加密（如RSA、AES）解密能力差，但仍能部分理解加密文本的语义，存在越狱攻击风险。
   • 影响因素：加密算法的复杂度、文本长度、写作风格（如莎士比亚文本）和 token 膨胀（如培根密码的高 token 膨胀率）显著影响LLMs的性能。
   • 安全隐患：LLMs对加密文本