Evaluating the Elementary Multilingual Capabilities of Large Language Models with MULTIQ

最新推荐文章于 2025-11-25 12:11:01 发布
最新推荐文章于 2025-11-25 12:11:01 发布
阅读量184 收藏
点赞数 3
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM Evaluation 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/140169888

本文是LLM系列文章，针对《Evaluating the Elementary Multilingual Capabilities of Large Language Models with MULTIQ》的翻译。

用MULTIQ评估大型语言模型的基本多语能力

摘要

大型语言模型（LLM）需要为每个人服务，包括全球大多数非英语使用者。然而，今天的大多数LLM，尤其是开放式LLM，通常只用于英语（例如Llama2、Mistral）或少数高资源语言（例如Mixtral、Qwen）。最近的研究表明，尽管LLM的预期用途有限，但人们还是用许多不同的语言提示LLM。因此，在本文中，我们研究了最先进的多语言能力打开超出预期用途的LLM。为此，我们引入了MULTIQ，这是一个新的银标准基准，用于基本的开放式问题回答，在137种语言的类型多样的集合中有27.4k道测试题。使用MULTIQ，我们评估语言保真度，即模型是否以提示的语言进行响应，以及问答的准确性。我们测试的所有LLM至少对某些超出预期用途的语言做出了忠实和/或准确的响应。大多数模型在忠实响应时会更准确。然而，模型之间的差异很大，而且存在着模型既不准确也不忠实的语言长尾。我们探索了标记化的差异，作为对我们发现的潜在解释，确定了值得进一步调查的可能相关性。

1 引言

2 MULTIQ数据集

3 实验和结果

4 多语言的驱动因素

5 相关工作

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Evaluating Interventional Reasoning Capabilities of Large Language Models
c_cpp_csharp的专栏
07-30 176
许多决策任务需要估计干预措施对系统不同部分的因果影响。随着从业者考虑使用大型语言模型（LLM）来自动化决策，研究它们的因果推理能力变得至关重要。最近的一项工作评估了LLM检索常识因果事实的能力，但这些评估并没有充分评估LLM如何推理干预措施。受干预在因果推理中的作用的启发，在本文中，我们进行了实证分析，以评估LLM是否能够准确地更新他们对数据生成过程的知识，以应对干预。我们创建了跨越不同因果图（如混淆、中介）和变量类型的基准，并能够研究基于干预的推理。
Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs
c_cpp_csharp的专栏
07-19 502
大型语言模型（LLMs）的出现极大地改变了人工智能的格局，增强了机器学习和人工智能的能力。事实性问题是LLM的一个关键问题，因为它们可能会产生与事实不符的回答。在这篇论文中，我们提出了GraphEval来使用一个相当大的测试数据集来评估LLM的性能。具体来说，测试数据集是从一个包含1000多万个事实的大型知识图谱中检索出来的，无需付出昂贵的人力。与基于生成的响应评估LLM的传统方法不同，GraphEval通过创建判断模型来估计LLM给出的答案的正确性，从而简化了评估过程。
LLMs之Guanaco：《QLoRA：Efficient Finetuning of Quantized LLMs》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-30 4579
​ LLMs之Guanaco：《QLoRA：Efficient Finetuning of Quantized LLMs》翻译与解读 目录 《QLoRA：Efficient Finetuning of Quantized LLMs》翻译与解读 Abstract 1、Introduction引言 2、背景Background 3、QLORA微调QLORA Finetuning 4、QLoRA与标准微调的比较QLoRA vs. Standard Finetun
LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-16 2849
​ LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和技术→数据集和基准→未来方向和挑战 目录 《Large Language Models A Survey大型语言模型的综述调查》翻译与解读 Abstract摘要 I. INTRODUCTION引言 II. LARGE LANGUAGE MODE
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(三)
热门推荐
yinizhilianlove的博客
02-21 4万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.03.05-2024.03.10—（2）
小小帅
03-13 2151
在计算机视觉和自然语言处理领域，大型视觉语言模型（LVLMs）已成为不可或缺的工具，能够熟练地根据视觉输入生成文本描述。尽管它们取得了进步，但我们的研究发现，生成的内容存在值得注意的偏差，即输出主要受底层大型语言模型（LLMs）的先验影响，而不是受输入图像的影响。我们的实证实验强调了这种偏差的持续性，因为即使在没有相关图像或给定不一致的视觉输入的情况下，大型语言模型也经常提供有把握的答案。为了纠正这些偏差，并将模型的注意力重新引向视觉信息，我们引入了两种简单、无需训练的策略。
Code Project精彩系列（转）
weixin_30544657的博客
10-14 3893
Code Project精彩系列（转） Code Project精彩系列（转） Applications Crafting a C# forms Editor From scratch http://www.codeproject.com/csharp/SharpFormEditorDemo.asp 建立一个类似C#的环境, 实现控件拖拉，属性...
codeproject资源集合贴
chollima20080808的专栏
10-10 1万+
Applications Crafting a C# forms Editor From scratch http://www.codeproject.com/csharp/SharpFormEditorDemo.asp 建立一个类似C#的环境, 实现控件拖拉，属性     Packet Capture and Analayzer 网络封包截获 http://www.codep
Code Project精彩系列
weixin_34161083的博客
05-02 7475
Applications Crafting a C# forms Editor From scratch http://www.codeproject.com/csharp/SharpFormEditorDemo.asp 建立一个类似C#的环境, 实现控件拖拉，属性 Packet Capture and Analayzer 网络封包截获 http://www.codeprojec...
Code Project精彩系列二
qicaiyunlan的专栏
03-16 1万+
Applications Crafting a C# forms Editor From scratch http://www.codeproject.com/csharp/SharpFormEditorDemo.asp建立一个类似C#的环境, 实现控件拖拉，属性 Packet Capture and Analayzer 网络封包截获 http://www.codeproject.com/csharp/pacanal.aspA tool to change the defau
ChatGPT论文：Evaluating the Text-to-SQL Capabilities of Large Language Models 评估大语言模型的文本到 SQL 的功能 (一)
程序员成长软技能
01-07 880
我们对 Codex 语言模型的文本到 SQL 功能进行了实证评估。 我们发现，在没有任何微调的情况下，Codex 是 Spider 基准测试的强大基线； 我们还分析了 Codex 在此设置下的故障模式。 此外，我们在 GeoQuery 和 Scholar 基准测试中证明，提示中提供的少量域内示例使 Codex 的性能优于在此类少数示例上进行微调的最先进模型。
Evaluating the Generation Capabilities of Large Chinese Language Models
weixin_43961909的博客
08-03 1390
本文介绍了 CG-Eval，这是有史以来第一个全面的自动化评估框架，旨在评估跨学科的大型中文语言模型的生成能力。CG-Eval 以其自动化流程脱颖而出，该流程基于模型在六个关键领域内生成精确且与上下文相关的各种问题的答案的能力对模型进行严格评估：科学与工程、人文与社会科学、数学计算、执业医师资格考试、司法考试和注册会计师考试。除此之外，我们还推出了 Gscore，这是一个由多个指标的加权总和开发的创新综合指数。Gscore 独特地根据参考标准自动测量模型的文本生成质量，提供对模型性能的详细和细致的评估。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 227
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 384
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
最新发布
2501_92808811的博客
11-25 282
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 400
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 376
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 496
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
Language models enable zero-shot prediction of the effects of mutations on protein function
08-07
Language models have shown remarkable capabilities in predicting the effects of mutations on protein function without prior examples, a task known as zero-shot prediction. This ability is rooted in the way these models are trained and the vast amount of data they process. During training, language models learn to understand the context and relationships between different parts of a sequence. In the case of proteins, this means learning the relationships between amino acids and how changes in these sequences can affect the overall structure and function of the protein. By analyzing the co-occurrence patterns of amino acids across many protein sequences, language models can infer the importance of specific residues for maintaining the protein's function[^1]. When it comes to making predictions about mutations, language models can use the learned information to assess the likelihood that a particular mutation will disrupt the protein's function. This is done by evaluating the impact of the mutation on the local and global properties of the protein, such as its stability, folding, and interactions with other molecules. The model can then provide a score or probability indicating the effect of the mutation on the protein's function[^1]. One of the key advantages of using language models for zero-shot prediction is their ability to generalize from the data they have been trained on. Even without specific examples of certain mutations, the models can make educated guesses based on the general principles they have learned about protein sequences and structures. This makes them particularly useful for identifying potential disease-causing mutations or for guiding the design of new proteins with desired functions[^1]. For instance, a study demonstrated that a language model could predict the effects of mutations on the binding affinity of a protein to its ligand. The model was able to identify which mutations would lead to a decrease in binding affinity, even when those mutations had not been observed in the training data. This kind of prediction is crucial for understanding the molecular basis of genetic diseases and for developing targeted therapies[^1]. Here is a simplified example of how a language model might be used to predict the effects of mutations on protein function: ```python def predict_mutation_effect(model, wild_type_sequence, mutant_sequence): # Encode the sequences into a format suitable for the model encoded_wild_type = encode_sequence(wild_type_sequence) encoded_mutant = encode_sequence(mutant_sequence) # Get the model's predictions for both sequences wild_type_prediction = model.predict(encoded_wild_type) mutant_prediction = model.predict(encoded_mutant) # Calculate the difference in predictions to estimate the effect of the mutation effect = mutant_prediction - wild_type_prediction return effect ``` In this example, the `predict_mutation_effect` function takes a pre-trained model, a wild-type protein sequence, and a mutant sequence as inputs. It encodes the sequences into a format that the model can process, then uses the model to generate predictions for both sequences. The difference between these predictions is used to estimate the effect of the mutation on the protein's function. The application of language models in this domain is still an active area of research, and there are ongoing efforts to improve the accuracy and reliability of these predictions. Nevertheless, the current capabilities of language models represent a significant step forward in our ability to understand and manipulate protein function through computational means[^1].
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值