MLINGCONF: A Comprehensive Study of Multilingual Confidence Estimation on Large Language Models

本文全面研究了大型语言模型的多语言置信度估计(MLINGCONF),填补了非英语置信度估计的空白。通过创建多语言QA数据集并提出跨语言置信度估计方法,提升模型性能和可靠性。实验表明,该方法能有效增强不同语言的置信度估计,对全球人工智能系统的可靠性作出贡献。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列文章,针对《MLINGCONF: A Comprehensive Study of Multilingual Confidence
Estimation on Large Language Models》的翻译。

摘要

大型语言模型(LLM)产生幻觉并对预测表现出过度自信的趋势引发了人们对其可靠性的担忧。表示模型响应可信度的置信度或不确定性估计对于开发可靠的人工智能系统至关重要。目前的研究主要集中在英语的LLM置信度估计上,这对其他广泛使用的语言来说仍然是一个空白,并阻碍了可靠的人工智能应用程序的全球发展。本文对LLM的多语言置信度估计(MLINGCONF)进行了全面的研究。首先,我们介绍了一个经过详细说明和专家检查的多语言QA数据集。其次,我们深入研究了置信度估计的性能,并研究了这些置信度分数如何通过跨不同语言的自精化来提高LLM的性能。最后,我们提出了一种跨语言置信度估计方法,以获得更精确的置信度得分。实验结果展示了各种置信度估计方法在不同语言中的性能,并表明我们提出的跨语言置信度估计技术显著增强了置信度估计,并优于几种基线方法。

1 引言

2 相关工作

3 实验设置

4 各种语言的置信度估计

### 大型语言模型作为生成式多语言语音和机器翻译系统的概述 大型语言模型(LLMs)由于其强大的参数规模和预训练机制,能够处理多种自然语言任务。这些模型不仅限于单一语言环境,还展示了出色的跨语言迁移能力[^1]。 #### 跨语言表示学习中的挑战与解决方案 尽管ML LMs表现出显著的零样本跨语言迁移性能,但在实际应用中仍面临一些障碍。研究指出,在多语言嵌入空间里存在着强烈的语言身份特征,这会干扰语义信息的有效传递。为此,Xie等人提出了通过识别并消除低秩子空间来改善这一状况的方法。这种方法可以有效减少语法和其他非语义因素的影响,从而提高跨语言任务的表现[^2]。 #### 应用于生成式多语言语音合成 当涉及到生成式的多语言语音合成功能时,LLM可以通过理解不同语言之间的细微差别以及它们各自的发音规则来进行高质量的声音再现。借助先进的声码器技术,如WaveNet或Tacotron系列架构,结合精心设计的文字转音素映射算法,使得即使是对不常见字符也能实现逼真的发声效果。此外,利用上述提到的技术去除不必要的语言特性可以帮助创建更加通用且适应性强的TTS(Text-to-Speech)系统。 ```python import torch from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-large-xlsr-53") model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-large-xlsr-53") def transcribe_speech(audio_input): inputs = processor(audio_input, sampling_rate=16000, return_tensors="pt", padding=True) with torch.no_grad(): logits = model(**inputs).logits predicted_ids = torch.argmax(logits, dim=-1) transcription = processor.batch_decode(predicted_ids)[0] return transcription ``` #### 实现高效的机器翻译服务 对于构建高效可靠的MT(Machine Translation)平台而言,LLM同样扮演着重要角色。通过对大量平行文本数据集的学习,加上适当的微调过程,可以使模型更好地捕捉源目标语言间的转换规律。特别是采用去除了特定语言属性后的向量表征方式后,进一步增强了对未知领域话题的理解力和服务质量稳定性。 ```python from transformers import MarianTokenizer, MarianMTModel tokenizer = MarianTokenizer.from_pretrained('Helsinki-NLP/opus-mt-en-zh') model = MarianMTModel.from_pretrained('Helsinki-NLP/opus-mt-en-zh') def translate_text(input_text): batch = tokenizer([input_text], return_tensors='pt', truncation=True, max_length=512) generated_ids = model.generate(**batch) translated_texts = tokenizer.batch_decode(generated_ids, skip_special_tokens=True) return translated_texts[0] ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值