LLMs in the Loop: Leveraging Large Language Model Annotations for Active Learning in Low-Resource

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/141668107

本文是LLM系列文章，针对《LLMs in the Loop: Leveraging Large Language Model Annotations for Active Learning in Low-Resource Languages》的翻译。

在环中的LLMs：利用大型语言模型注释在低资源语言中进行主动学习

摘要
1 引言
2 LLM在环中
3 实验
4 结论

摘要

由于语言资源和数据标记专业知识有限，低资源语言在人工智能开发中面临重大障碍，使其变得稀有且昂贵。数据的稀缺和现有工具的缺失加剧了这些挑战，特别是因为这些语言可能无法在各种NLP数据集中得到充分表示。为了解决这一差距，我们建议利用LLM在主动学习循环中的潜力进行数据注释。最初，我们进行评估以评估注释器之间的一致性和连贯性，从而帮助选择合适的LLM注释器。然后，使用主动学习范式将所选注释器集成到分类器的训练循环中，从而最大限度地减少所需的查询数据量。经验评估，特别是采用GPT-4-Turbo，表明其性能接近最先进水平，数据要求显著降低，与人工注释相比，估计的潜在成本节约至少为42.45倍。我们提出的解决方案显示出在低资源环境中大幅降低与自动化相关的货币和计算成本的巨大潜力。通过弥合低资源语言和人工智能之间的差距，这种方法促进了更广泛的包容性，并显示了在不同语言环境中实现自动化的潜力。

1 引言

2 LLM在环中

3 实验

4 结论

在这项工作中，我们分析了低资源NER数据注释背景下的基础模型。我们的研究结果强调了使用LLM完成这项任务的权衡和潜在利益之间的复杂平衡。评估各种LLM显示了性能差异，GPT-4-Turbo显示了一致和准确的注释，而其他LLM则显示了在特定环境中的优势。这强调了根据任务要求选择合适模型的必要性。
确定了LLM的常见挑战，包括跳过token和在生成正确格式的输出时需要改进。通过进一步的训练或先进的提示工程来应对这些挑战可以提高模型