MMAFFBen: A Multilingual and Multimodal Affective Analysis Benchmark for Evaluating LLMs and VLMs

最新推荐文章于 2025-06-12 16:50:08 发布
最新推荐文章于 2025-06-12 16:50:08 发布
阅读量87 收藏
点赞数 3
分类专栏： LLM Daily Multimodal LLM Evaluation 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/148405993
版权

文章主要内容

本文介绍了MMAFFBen，这是首个用于评估大型语言模型（LLMs）和视觉语言模型（VLMs）的多语言多模态情感分析基准。该基准涵盖35种语言的文本、图像和视频模态，包含情感极性、情感强度、情绪分类和情绪强度四项核心任务。同时，构建了用于微调模型的MMAFFIn数据集，并基于此开发了MMAFFLM-3b和MMAFFLM-7b模型。通过对20个代表性模型的评估，揭示了现有模型在情感分析中的优势与不足，为后续研究提供了重要参考。

文章创新点

  1. 首个多语言多模态基准：MMAFFBen整合35种语言的文本、图像、视频数据，覆盖4类情感分析任务，填补了现有基准在模态和语言覆盖上的空白。
  2. 指令微调数据集与专用模型：构建MMAFFIn数据集，基于Qwen2.5-VL开发了MMAFFLM-3b/7b，提升模型在情感分析任务上的性能。
  3. 系统性评估框架：对20个主流模型（包括GPT-4o-mini）进行多维度评估，为LLMs/VLMs的情感理解能力提供了全面对比。
Abstract

大型语言模型（LLMs

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大模型】大语言模型简介
AI天才研究院
04-03 2万+
因此，模型规模增长是必然趋势，当推进大模型规模不断增长的时候，涌现能力的出现会让任务的效果更加出色。有趣的是，当参数规模超过一定水平时，这些扩大的语言模型不仅实现了显着的性能提升，而且还表现出一些小规模语言模型所不具备的特殊能力。如 Google 发布的多模态具身视觉语言模型 PaLM-E，由540B 的 PaLM 文本模型和 22B 的 VIT 图像模型构成，两者集成处理多模态信息，所以它的总模型规模是 566B。随着模型规模的不断增长，任务效果也持续增长，说明这类任务对大模型中知识蕴涵的数量要求较高。
yolo模型精度提升策略
qq_47798402的博客
06-09 980
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 1221
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 727
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
简繁体智能翻译软件
weixin_62784879的博客
06-09 686
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 1288
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
打造全国最全的AI Agent开发知识领域的博客
06-11 2086
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
破局零售挑战！华为云AI+零售峰会聚焦数智转型实践
最新发布
weixin_43735236的博客
06-12 170
该方案面向零售伙伴客户物流、运营、门店、客服和办公等场景，依托华为云最新发布的CloudDevice关键产品和自有AI大模型，在云上服务方面具备一跳入云、一云多端、极低时延、普惠AI等方面的优势，可为零售伙伴客户筑牢算力底座，满足零售伙伴客户“产-供-营-销-服”全链路智能化核心需求。该计划面向全国数智化企业，汇聚华为云及合作伙伴在政策、产品、技术、品牌等方面的资源与能力，向伙伴开放能力共生、商业共赢和数字化服务三大平台，为零售企业的品牌营销与业务运营提供强大技术支撑，加速企业成长。6月13日，鹭岛厦门！
（五）动手学深度学习计算：从数学原理到高效实现的全流程指南
hanyuge的专栏
06-08 922
在实际应用中，我们常常需要自定义层和块来实现特定的功能。PyTorch提供了灵活的API来创建自定义层和块。无参数层：实现不包含可学习参数的层，如激活函数层。return torch.sigmoid(x) # 示例：Sigmoid激活函数含参数层：实现包含可学习参数的层，如自定义的全连接层。组合层：将多个层组合成一个块，实现复杂的功能。return x层是深度学习模型的基本构建块，执行特定的计算任务。块是由多个层组成的模块，提高代码的可读性和可维护性。
CppCon 2015 学习:Algorithmic Differentiation C++ & Extremum Estimation
虾球
06-10 954
浮点数表示法的灵感：科学记数法浮点数的表示方法受到科学记数法的启发。x×baseexponentx×baseexponent6.022×10236.022×1023这种表示法使得我们能够处理非常大的数（如102310^{23}1023）以及非常小的数（如10−2310^{-23}10−23），并且有效地表示各种数值。
钉钉C10圆桌派在北京召开 AI一体机首次签约
weixin_43735236的博客
06-09 139
一体机也提供多种AI助理，覆盖审批、工单、行政、法务等多个高频场景，可广泛应用于零售、连锁、生产制造、教育、法律服务等众多行业，帮助企业进一步提质降本增效，数智化升级。通过部署钉钉AI一体机，杰锐思打造了装配助手、代码助手等AI应用，实现了从知识检索到业务协同的全链路升级，在数据安全的基础上，进一步实现了增效降本和效率提升。6月6日，钉钉在北京举办C10圆桌派-AI专场思享会，会上，钉钉和苏州杰锐思智能科技股份有限公司（以下简称：杰锐思）就AI一体机应用签署合作协议，这是钉钉首次在客户落地AI一体机实践。
NLP-数据集介绍（并不全，文本类介绍）
weixin_50285694的博客
06-09 1132
提供一些文本表征领域的公开数据集。
【DAY43】复习日
daomingwu1的博客
06-08 338
kaggle找到一个图像数据集，用cnn网络进行训练并且用grad-cam做可视化。内容来自@浙大疏锦行python打卡训练营。进阶：并拆分成多个文件。
数字人矩阵源码技术开发核心功能，定制化开发
yunluohd181的博客
06-12 432
在人工智能与多媒体技术飞速发展的当下，数字人矩阵凭借其规模化、自动化的内容生产能力，成为短视频营销、虚拟直播、智能客服等领域的热门技术方案。本文将深入剖析数字人矩阵源码开发的核心功能板块，从技术架构到实现细节，为开发者揭开数字人矩阵的神秘面纱。
立足数字人文，深化历史叙事|科学智能赋能人文社科领域研究
ModelWhale的博客
06-10 815
2024年12月，山东大学同智谱、和鲸共同发布“边疆大模型暨综合智能体”，并签署“101 数智领航计划”，助力高校人才培养模式的持续变革，推动人才培养由“知识为主”向“能力为先”转变。其底层接入外挂知识库的大语言模型，具备准确回答边疆历史文化问题的能力。，以前沿数字技术为边疆历史及更广范围的人文研究提供坚实新基建，并在此基础上开发面向研究者与公众的创新应用，确保专业知识的高效、准确传播。，可以将专业知识“注入”大模型，使其成为研究者专属的、更懂行的智能助手，辅助文献研读、事实核查、乃至启发新的研究思路。
【开发工具】matlab
weixin_49199313的博客
06-12 604
​（稀疏矩阵处理、并行计算）。MATLAB的算法选择需结合问题维度、非线性程度及精度需求综合权衡。​：Trust-region dogleg法。​：PDE Toolbox（有限元法）​（如矩阵条件数、函数光滑性）及。​：离散决策问题（如设备选址）MATLAB的算法体系紧密围绕。​：序列二次规划（SQP）​：信号降噪、频域滤波。​：结合二分法与插值。
“十五五”时期智慧城市赋能全国一体化数据市场建设：战略路径与政策建议[ 注：本建议基于公开政策文件与行业实践研究，数据引用截至2025年6月11日。]
qiongfang2008的专栏
06-11 667
我国正处于数字经济与实体经济融合的关键阶段，数据作为新质生产力核心引擎，亟需通过智慧城市建设破解“数据供不出、流不动”等痛点。智慧城市作为数据要素核心载体，其“五个转变”（央地协同、全局优化、用户视角、数据业务化、长效运营）与全国一体化数据市场建设高度契合。2025年数据要素市场规模预计达1990亿元，智慧城市将通过激活公共数据、赋能产业转型、构建可信环境，成为数据价值转化关键节点。本文通过对智慧城市赋能全国一体化数据市场建设现状与挑战分析，提出了一套供参考的智慧城市引领数据市场一体化解决方案。
本地化部署 Dify 打造专属 AI 助手并嵌入网站
文浩（楠搏万）的博客
06-09 1578
本教程详细讲解如何基于开源项目 Dify，通过 Docker 本地部署专属 AI 聊天助手，并将其无缝嵌入企业官网，实现页面内嵌式智能交互。文章涵盖环境配置、Chat 应用创建、嵌入代码、网页集成与本地私有化部署优势，适合企业、开发者快速构建安全、定制化的 AI 应用，提升用户体验。附完整代码示例与部署演示图，助你轻松上手。
【一步步开发AI运动APP】十、微调优化内置运动分析器，灵活适配不同的应用场景
赣州云智技术的技术铺子
06-09 433
摘要：本文介绍了AI运动APP开发中内置运动项目的微调优化机制。针对不同应用场景（如健身、体测、赛事）对动作检测标准的不同需求，插件提供了统一的ISportOptimizer优化器，支持通过参数调整来放宽或收紧检测标准。文章对比了APP与小程序在运动微调上的技术差异，并给出示例代码展示如何修改动作规则和参数。同时也指出该方案存在局限性，无法适配动作差异过大的场景（如花式跳绳），后续将介绍自定义运动项目的扩展方法。（149字）
GenTranslate: Large Language Models are Generative Multilingual Speech and Machine Translators
03-08
### 大型语言模型作为生成式多语言语音和机器翻译系统的概述 大型语言模型（LLMs）由于其强大的参数规模和预训练机制，能够处理多种自然语言任务。这些模型不仅限于单一语言环境，还展示了出色的跨语言迁移能力[^1]。 #### 跨语言表示学习中的挑战与解决方案 尽管ML LMs表现出显著的零样本跨语言迁移性能，但在实际应用中仍面临一些障碍。研究指出，在多语言嵌入空间里存在着强烈的语言身份特征，这会干扰语义信息的有效传递。为此，Xie等人提出了通过识别并消除低秩子空间来改善这一状况的方法。这种方法可以有效减少语法和其他非语义因素的影响，从而提高跨语言任务的表现[^2]。 #### 应用于生成式多语言语音合成 当涉及到生成式的多语言语音合成功能时，LLM可以通过理解不同语言之间的细微差别以及它们各自的发音规则来进行高质量的声音再现。借助先进的声码器技术，如WaveNet或Tacotron系列架构，结合精心设计的文字转音素映射算法，使得即使是对不常见字符也能实现逼真的发声效果。此外，利用上述提到的技术去除不必要的语言特性可以帮助创建更加通用且适应性强的TTS(Text-to-Speech)系统。 ```python import torch from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-large-xlsr-53") model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-large-xlsr-53") def transcribe_speech(audio_input): inputs = processor(audio_input, sampling_rate=16000, return_tensors="pt", padding=True) with torch.no_grad(): logits = model(**inputs).logits predicted_ids = torch.argmax(logits, dim=-1) transcription = processor.batch_decode(predicted_ids)[0] return transcription ``` #### 实现高效的机器翻译服务 对于构建高效可靠的MT(Machine Translation)平台而言，LLM同样扮演着重要角色。通过对大量平行文本数据集的学习，加上适当的微调过程，可以使模型更好地捕捉源目标语言间的转换规律。特别是采用去除了特定语言属性后的向量表征方式后，进一步增强了对未知领域话题的理解力和服务质量稳定性。 ```python from transformers import MarianTokenizer, MarianMTModel tokenizer = MarianTokenizer.from_pretrained('Helsinki-NLP/opus-mt-en-zh') model = MarianMTModel.from_pretrained('Helsinki-NLP/opus-mt-en-zh') def translate_text(input_text): batch = tokenizer([input_text], return_tensors='pt', truncation=True, max_length=512) generated_ids = model.generate(**batch) translated_texts = tokenizer.batch_decode(generated_ids, skip_special_tokens=True) return translated_texts[0] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值