TeleQnA: A Benchmark Dataset to Assess Large Language Models Telecommunications Knowledge-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/134291274

TeleQnA是一个用于评估通信领域大型语言模型知识的基准数据集，包含10000个问题和答案。研究显示，尽管这些模型在一般通信问题上表现出色，但在处理复杂电信问题时面临挑战，强调了对专业通信模型的需求。数据集已在GitHub上开源，供业界专业人士与LLM进行比较。

本文是LLM系列文章，针对《TeleQnA: A Benchmark Dataset to Assess Large Language Models Telecommunications Knowledge》的翻译。

摘要

我们介绍了TeleQnA，这是第一个用于评估通信中大型语言模型（LLM）知识的基准数据集。该数据集包含10000个问题和答案，来自不同的来源，包括标准和研究文章。本文概述了负责创建该数据集的自动问题生成框架，以及如何在各个阶段整合人力输入以确保问题的质量。然后，使用所提供的数据集，进行评估以评估LLM的能力，包括GPT-3.5和GPT-4。研究结果强调，这些模型难以解决复杂的标准相关问题，但在解决一般通信相关问题方面表现出了熟练程度。此外，我们的研究结果展示了结合通信知识背景如何显著提高其性能，从而揭示了对专业通信基础模型的需求。最后，数据集与活跃的通信专业人员共享，他们的性能随后与LLM的性能进行基准测试。研究结果表明，LLM在通信知识方面的表现可以与活跃的专业人员相媲美，这要归功于他们处理大量信息的能力，突显了LLM在该领域的潜力。该数据集已在GitHub上公开访问。