Unraveling the Dominance of Large Language Models Over Transformer Models for Bangla Natural Languag

本文是LLM系列文章，针对《Unraveling the Dominance of Large Language Models Over Transformer Models for Bangla Natural Language Inference: A Comprehensive Study》的翻译。

摘要

自然语言推理 （NLI） 是自然语言处理 （NLP） 的基石，提供对文本配对之间蕴涵关系的见解。它是自然语言理解 （NLU） 的关键组成部分，展示了从口头或书面交互中提取信息的能力。NLI 主要关注确定两个陈述之间的蕴涵关系，称为前提和假设。当前提在逻辑上暗示假设时，这对被标记为“蕴涵”。如果假设与前提相矛盾，则对将获得“矛盾”标签。当没有足够的证据建立联系时，该对被描述为 “中立”。尽管大型语言模型 （LLM） 在各种任务中取得了成功，但它们在 NLI 中的有效性仍然受到资源域准确性低、模型过度自信和难以捕捉人类判断分歧等问题的限制。本研究解决了在孟加拉语等资源匮乏的语言中评估 LLM 的未充分探索的领域。通过全面评估，我们评估了著名的 LLM 和最先进的 （SOTA） 模型在孟加拉语 NLP 任务中的表现，重点是自然语言推理。利用 XNLI 数据集，我们进行了零样本和少样本评估，将 GPT-3.5 Turbo 和 Gemini 1.5 Pro 等 LLM 与 BanglaBERT、Bangla BERT Base、DistilBERT、mBERT 和 sahajBERT 等模型进行了比较。我们的研究结果表明，虽然 LLM 可以在小样本场景中实现与微调 SOTA 模型相当或更好的性能，但还需要进一步的研究来增强我们对孟加拉语等资源有限的语言中 LLM 的理解。本研究强调了在不同语言背景下继续努力探索 LLM 能力的重要性。我们的实现现在可供公众访问：https://github.co