LexC-Gen: Generating Data for Extremely Low-Resource Languages with Large Language Models

最新推荐文章于 2025-11-24 16:27:57 发布

UnknownBody

最新推荐文章于 2025-11-24 16:27:57 发布

阅读量89

点赞数

CC 4.0 BY-SA版权

分类专栏： LLM Daily 文章标签：语言模型自然语言处理人工智能

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138288594

LLM Daily 专栏收录该内容

1689 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文介绍了一种名为LexC-Gen的方法，用于使用大型语言模型和双语词典生成低资源语言的分类任务数据。通过这种方法，即使词汇重叠有限，也能显著提高翻译覆盖率和词汇利用率。在17种极低资源语言中，LexC-Gen在情感分析和主题分类任务上的表现优于传统基于词典的翻译方法，平均提升5.6和8.9分。该方法实用且成本效益高，适用于各种低资源语言的自然语言处理任务。

本文是LLM系列文章，针对《LexC-Gen: Generating Data for Extremely Low-Resource Languages with Large Language Models and Bilingual Lexicons》的翻译。

摘要

低资源语言中的数据稀缺问题可以通过使用双语词典从高资源语言中token的任务数据进行逐字翻译来解决。然而，双语词典往往与任务数据存在有限的词汇重叠，导致翻译覆盖率和词汇利用率较差。我们提出了词典条件数据生成（LexC-Gen），这是一种大规模生成低资源语言分类任务数据的方法。具体来说，LexC-Gen首先使用双语词典中的高资源语言单词来生成与词典兼容的任务数据，然后通过单词翻译将其翻译成具有双语词典的低资源语言。在17种资源极低的语言中，LexC-Gen生成的数据与专家翻译的黄金数据相比具有竞争力，在情感分析和主题分类任务上分别比现有的基于词典的单词翻译方法平均提高5.6和8.9分。我们表明，对双语词典的条件处理是LexC-Gen的关键组件。LexC-Gne也是实用的——它只需要一个GPU就可以大规模生成数据。它与开放访问LLM配合良好，其成本是基于GPT4的多语言数据生成成本的五分之一。