TeleQnA: A Benchmark Dataset to Assess Large Language Models Telecommunications Knowledge

本文是LLM系列文章，针对《TeleQnA: A Benchmark Dataset to Assess Large Language Models Telecommunications Knowledge》的翻译。

摘要

我们介绍了TeleQnA，这是第一个用于评估通信中大型语言模型（LLM）知识的基准数据集。该数据集包含10000个问题和答案，来自不同的来源，包括标准和研究文章。本文概述了负责创建该数据集的自动问题生成框架，以及如何在各个阶段整合人力输入以确保问题的质量。然后，使用所提供的数据集，进行评估以评估LLM的能力，包括GPT-3.5和GPT-4。研究结果强调，这些模型难以解决复杂的标准相关问题，但在解决一般通信相关问题方面表现出了熟练程度。此外，我们的研究结果展示了结合通信知识背景如何显著提高其性能，从而揭示了对专业通信基础模型的需求。最后，数据集与活跃的通信专业人员共享，他们的性能随后与LLM的性能进行基准测试。研究结果表明，LLM在通信知识方面的表现可以与活跃的专业人员相媲美，这要归功于他们处理大量信息的能力，突显了LLM在该领域的潜力。该数据集已在GitHub上公开访问。

1 引言

2 数据集来源

3 数据集特征

4 数据集创建

5 性能评估

6 结论，局限性和未来方向

A 结论

在本文中，我们介绍了TeleQnA，这是第一个专门为电信行业量身定制的开源基准数据集。TeleQnA收集了来自该领域