一文读懂CompassRank榜单的评测指标【多模态学习实战手册】

已于 2025-02-26 23:41:34 修改
阅读量2.1k 收藏 23
点赞数 48
CC 4.0 BY-SA版权
分类专栏： 大模型理论和实战 文章标签： 人工智能
于 2024-04-03 07:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zengzizi/article/details/137250489
CompassRank是大模型性能的中立评测平台，涵盖多领域、多任务的模型性能。文章介绍了MMBench、CCBench、MME等多模态评测基准，涉及跨模态任务、中文文化背景性能、多模态编码器评估等方面，为理解和优化多模态模型提供依据。

大家好，我是大 F，深耕AI算法十余年，互联网大厂技术岗。分享AI算法干货、技术心得。

欢迎关注《大模型理论和实战》、《DeepSeek技术解析和实战》，一起探索技术的无限可能！

1. 前言

榜单链接：CompassRank

CompassRank 是一个中立且全面的性能榜单，作为大模型评测体系 OpenCompass2.0 中各类榜单的承载平台。它覆盖多领域、多任务下的模型性能，并定期更新，以提供动态的行业洞察。

CompassRank 保持中立性，不受任何商业利益干扰，并依托于 CompassKit 工具链体系中的各类评测手段，确保了其客观性。这个平台旨在帮助从业者理解技术深意，优化模型选择，并对大模型的技术创新提供坚实的技术支撑

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【数据集】多模态学习实战手册～20 余个常见任务及测试数据集
大F子的智能小课
04-02 1356
任务描述：从图像、视频或音频中生成摘要性的文本描述。应用场景：新闻摘要、视频内容总结等。主要使用的数据集：包含20万段视频和对应的描述句子，用于视频内容理解和描述。
一文读懂「MLLM，Multimodal Large Language Model」多模态大语言模型
女王の专属领地
01-09 8730
模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多 模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。MLLM通常以大语言模型(Large Language Model，LLM)为基础，融入其它非文本的模态信息，完成各种多模态任务。MLLM定义为“
中文多模态大模型基准8月榜单发布！8大维度30个测评任务，3个模型超过70分
m0_59164304的博客
08-03 3446
GPT-4o取得74.36分，领跑多模态基准。其中基础多模态认知能力和应用能力均有70+分的表现，在技术和应用方面均有一定领先优势。
司南首期多模态模型闭源榜单发布！48个模型同台竞技，谁将脱颖而出？
OpenCompass的博客
03-12 1128
凭借对文本、图像、语音等多模态数据的融合处理能力，多模态大模型实现了更为丰富、全面的理解与生成，在复杂场景中表现得更接近人类水平，已然成为人工智能领域的重要发展方向。然而，随着评测基准的激增，数据污染问题日益凸显，导致模型在评测中“记住”答案，从而高估了模型性能，降低了评测基准的可信度。为解决这一问题，司南推出了多模态模型，评测数据，包含多项细分评估维度，确保测试数据的新颖性和客观性，从而真实评估多模态模型的综合能力，为模型评估提供更可靠、更全面的基准。
大模型评测平台OpenCompass
yanqianglifei的专栏
07-21 2579
OpenCompass 是面向大模型评测的一站式平台。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 50+ 个数据集约 30 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测多样化评测范式：支持零样本、小样本及思维链评测，结合标准型或对话型提示词模板，轻松激发各种模型最大性能灵活化拓展：想增加新模型或数据集？
多模态言语评估-(工作准备)
MrWilliamVs的专栏
07-01 1248
机器学习方法 特征工程 流畅度： 从静默、停顿字眼、持续时间，频率几个方面来提特征。 如： 静默次数、平均静默持续时间、静默时间超过0.5s的频率，停顿字眼出现的次数(参考口语顺滑方向)(嗯，啊，额，mmm等语气词，重叠词，重复说的，)，子句在整个过程中，静默以及不流畅的频率。最终提取了7维的特征，标准化（均值方差归一）(比简单大数小数归一化靠谱)。 语调： 韵律特征如：基频、过零率、音高(主观，...
大模型榜单汇总整理 Open LLM Leaderboard OpenCompass、SuperCLUE
最新发布
强化学习曾小健
08-02 1806
原创 YoloFunnyAi2024年09月23日 23:21广东大型语言模型（LLM）评估榜单提供了对不同模型性能的标准化比较，涵盖了从通用能力到特定领域应用的多个方面。本文主要从通用大模型，垂直领域的医学、法律和金融领域的评估榜单。这些榜单根据最新的模型进行评估，有助于开发者了解模型的优势和局限性，推动语言模型的发展和优化。
精选资源
多模态项目实战-文本-视频检索-打架识别
03-22
本篇文章将介绍一个具有实际应用价值的多模态项目——“多模态项目实战-文本-视频检索-打架识别”。 项目实战的目标是在视频中检测特定行为——打架。打架作为一种特定的行为，其具有一定的特征模式，通过机器学习...
零基础入门多模态学习PPT
12-29
内容概要：本文档是一份面向零基础的学习笔记，详细介绍了多模态模型的基础理论和技术要点，主要包括以下几个方面：初识Transformer和NLP基础，深入讲解Vision Transformer (ViT)的工作原理及其代码实现；...
中文多模态大模型基准10月榜单发布！Top3国产大模型表现亮眼，8大维度30大任务17大模型
Python_cocola的博客
10-12 5879
ChatGPT-4o-latest取得77.81分，领跑多模态基准。其中多模态应用能力上有超过80分的表现，展现出较强的场景适配性和落地能力。
ccbench:并发控制基准
05-08
CCBench：重新设计并实现许多并发控制 该平台正在下面的存储库中重写。 下面是使用CCBench的分析文件。 安装二进制分发包 在Debian / Ubuntu Linux上，执行以下语句或bootstrap_apt.sh。 $ git clone --recurse-submodules this_repository $ cd ccbench $ sudo apt update -y && sudo apt-get install -y $(cat build_tools/ubuntu.deps) 准备使用 注意：应该在配置时通过指定用户本地路径来完成安装。 $ cd ccbench $ "run some build_tools/(bootstrap*.sh) files" bootstrap.sh的处理： 建立third_party / masstree。 boots
【文末附gpt升级方案】革新多模态学习：哈工大团队推出“Uni-MoE”统一多模态大模型的跨域MoE研究
蒲松龄
05-24 1320
随着人工智能技术的飞速发展，多模态学习已成为机器学习领域的重要研究方向。然而，传统的多模态学习方法往往存在信息融合困难、模型复杂度高等问题。为了解决这些问题，哈尔滨工业大学的研究团队近期推出了“Uni-MoE”（统一多模态大模型的跨域混合专家）模型，该模型在多模态学习领域取得了显著的进展。本文将对Uni-MoE模型进行详细介绍，并探讨其在多模态学习领域的应用和未来发展。
多模态能力全球TOP3，来自中国从容大模型
m0_59164304的博客
07-02 1535
再次易主——来自的，登上OpenCompass权威榜单，仅次于GPT-4o、Claude3.5-Sonnet，位居全球第三。没有听错，就是最年轻那个，。国产大模型百花齐放之际，云从大模型始终显得低调很多。结果现在不鸣则已，一鸣惊人，一举交出这样一个瞩目的答卷。来看看多模态新擂主的实力如何。
LLMs之benchmark之OpenCompass：OpenCompass的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-19 2588
​ LLMs之benchmark之OpenCompass：OpenCompass的简介、安装和使用方法、案例应用之详细攻略 目录 OpenCompass的简介 OpenCompass的安装和使用方法 OpenCompass的案例应用 OpenCompass的简介 2023年4月发布，OpenCompass 是面向大模型评测的一站式平台。其主要特点如下： Github地址：GitHub - open-compass/opencompass: OpenComp
OpenCompass 大模型评测实战——笔记
YYYYbhjbhkv_的博客
04-24 1575
海量语料不可避免带来评测集污染，比如有的模型，它是在测试集上做的训练，这就会导致后面测试分数虚高，但他们也不公布自己训练的数据集，所以别人就不知道，或者测试集和训练集有大量重叠部分，也相当于作弊或者自欺欺人，所以亟需可靠的数据污染检测技术，那如何设计可动态更新的高质量评测基准，也是个问题。既然要评测，那就是要尽可能在一个相对准备充足的条件下对模型进行评测，但很多时候，因为提问者的问题提问的不够清楚，导致模型的回答也相对较差，那这就体现不出模型的能力，所以肯定是要在能体现模型能力的基础上再进行评测。
OpenCompass模型评估DeepSeek&Qwen
weixin_41688410的博客
02-06 1897
OpenCompass是一个开源大模型评测体系，旨在为大模型评估提供公平、开放和可复现的基准。本文挑选了2个模型，一个deepseek，一个qwen，进行了测试。
第六课OpenCompass 大模型评测笔记
qq_52410386的博客
01-22 531
对基座模型和微调后的模型是不同的在大模型时代还是非常重要的。
OpenCompass司南大模型评测体系-书生·浦语大模型第二期实战营第七课笔记&作业
2301_76739570的博客
04-20 1240
大模型评测，OpenCompass，司南，大模型榜单，评测
Python 源码分析之初体验
wenxueliu的博客
07-04 384
在 python 中，对象就是 C 中结构体在堆上申请的一块内存，一般来说， 对象不能静态初始化，并且也不能在栈上空间生存。唯一的例外就是类型 对象，python 中所有的內建的类型对象（整数类型对象，字符类型对象） 都是静态初始化的 python 架构 外部调用 Core Modules Library User-defined Modules Python Core ...
PyTorch 2.0多模态大模型实战：从理论到案例全解析
资源摘要信息:"本文详细介绍了如何使用 PyTorch 2.0 训练多模态大模型，涵盖了从基础原理到实战案例的全流程解析。首先，文章详细阐述了多模态大模型的概念及其应用价值，特别是在自然语言处理、图像识别、语音识别...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大F的智能小课

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值