CyberMetric: A Benchmark Dataset for Evaluating Large Language Models Knowledge in Cybersecurity

本文是LLM系列文章，针对《CyberMetric: A Benchmark Dataset for Evaluating Large Language Models Knowledge in Cybersecurity》的翻译。

摘要

大型语言模型（LLM）擅长于从计算机视觉到医学诊断的各个领域。然而，理解网络安全的多样性，包括密码学、逆向工程和风险评估等管理方面，即使对人类专家来说也是一个挑战。在本文中，我们介绍了CyberMetric，这是一个基准数据集，包含来自网络安全领域标准、认证、研究论文、书籍和其他出版物的10000个问题。这些问题是通过协作过程创建的，即将专家知识与LLM（包括GPT-3.5和Falcon-180B）合并。人类专家花了200多个小时来验证它们的准确性和相关性。除了评估LLM的知识外，数据集的主要目标是促进人类和不同LLM在网络安全方面的公平比较。为了实现这一目标，我们仔细选择了80个问题，涵盖了网络安全领域的广泛主题，30名不同专业水平的参与者参与其中，促进了该领域人类和机器智能之间的全面比较。研究结果显示，LLM在网络安全的几乎所有方面都优于人类。

1 引言

2 相关工作

3 方法

<