VLM 系列——MiniCPM-Llama3-V 2.5——论文解读

最新推荐文章于 2025-01-17 11:41:22 发布
最新推荐文章于 2025-01-17 11:41:22 发布
阅读量1k 收藏 2
点赞数 5
分类专栏： AIGC算法 文章标签： AIGC 人工智能 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012863603/article/details/141063127
版权

一、概述

1、是什么

     是一款面向终端设备的多模态大型语言模型（MLLM），论文全称《 MiniCPM-V: A GPT-4V Level MLLM on Your Phone 》，它专注于实现在手机等资源受限设备上的高级AI功能，参数8B（llama3 7B + SigLIP ViT-400m/14 + 视觉标记压缩层 ）。该模型能够处理包括文本、图像在内的多种数据类型，具备图片描
了解本专栏 订阅专栏 解锁全文
VLM 系列——MiniCPM-Llama3-V 2.6——论文解读——前瞻（源码解读）
TigerZ*的博客
08-16 765
MiniCPM-Llama3-V 2.6 是一款面向终端设备的多模态大型语言模型（MLLM），论文暂未发布，它专注于实现在手机等资源受限设备上的高级AI功能，参数8B（qwen2 7B + SigLIP ViT-400m/14 + 视觉标记压缩层）。该模型能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、代码编写和debug、多图问对话、视频理解对话、json格式、高清OCR解析（函数调用论文暂时未提）。本文结合源码，将重点改进和相关技术进行了拆解介绍。
MiniCPM-V 2.5 技术调研
AIMasterStar的博客
06-05 750
如果不采取任何优化，一张 448*448 分辨率图片编码通常需要 45s 处理时间。通过手机端编译优化、显存整理等一系列优化方式，MiniCPM-Llama3-V 2.5 将 CPU 编码延迟降低到了 5s 左右。对于高通芯片的小米14Pro，MiniCPM-Llama3-V 2.5 实现了多模态大模型端侧图像编码150 倍加速的显著提升（45s -> 0.3s）。
MiniCPM-Llama3-V 2.5：引领多模态LLM新篇章
最新发布
gitblog_02062的博客
01-17 326
MiniCPM-Llama3-V 2.5：引领多模态LLM新篇章 MiniCPM-Llama3-V-2_5 项目地址: https://gitcode.com/mirrors/OpenBMB/MiniCPM-Llama3-V-2...
【多模态论文阅读系列二】— MiniCPM-V
Jeremy_lf的博客
10-13 1595
为了组成偏好数据集，我们从每个响应集Y={y1，y2，··，yn}中随机抽样，并根据它们的相对得分确定（yw，yl）。尽管我们可以包含更多的图像切片以获得更高的分辨率，但我们故意强加了这个分辨率上限，因为它已经很好地覆盖了大多数现实世界的应用场景，考虑到性能和开销，进一步提高编码分辨率的好处微乎其微。MiniCPM-V系列的设计理念是在性能和效率之间实现良好的平衡，这是一个更实用的目标，适用于更广泛的现实世界应用，在架构设计、训练、推理和部署中实现。随后，我们插值ViT的位置嵌入以适应切片的比率。
MiniCPM-V: A GPT-4V Level MLLM on Your Phone论文阅读
yang_daxia的博客
08-19 1372
大模型的趋势：模型性能越来越好，模型参数变小，端边设备计算能力变强。
本地部署 MiniCPM-Llama3-V 2.5
engchina的专栏
05-27 6598
本地部署 MiniCPM-Llama3-V 2.5
AIGC（MLLM、VLM、LLM、SD）系列——论文解读目录
TigerZ*的博客
01-08 5884
AIGC（MLLM、VLM、LLM、SD）系列，论文解读目录。快速找到你想要的论文。
MiniCPM-V | 端侧GPT4V level的多模态大模型
justBeHerHero
08-14 1706
MiniCPM-V | 端侧GPT4V level的多模态大模型
全球最强端侧多模态模型！国产「面壁小钢炮」MiniCPM-Llama3-V 2.5 来了！
u012744245的博客
06-04 2960
得益于 VisCPM 的跨语言泛化技术，在中英双语多模态能力的基础上，MiniCPM-Llama3-V 2.5 仅通过少量翻译的多模态数据的指令微调，高效泛化支持了德语、法语、西班牙语、意大利语、俄语等 30+ 种语言的多模态能力，几乎覆盖了所有一带一路的国家，意味着全球上百个国家的数十亿人口，都能与 MiniCPM-Llama3-V 2.5 丝滑交互。OCR 技术进一步打磨，复杂推理与多模态识别能力再进化，MiniCPM-Llama3-V 2.5 对于难图、长图、长文本的精准识别，再度带来出众表现！
MiniCPM: 揭示小型语言模型的潜力与可扩展的训练策略
数智笔记
04-14 1089
对开发具有高达万亿参数的大型语言模型（LLMs）日益增长的兴趣引发了对资源效率和实际成本的担忧，尤其是考虑到实验的巨大成本。这种情况突显了探索小型语言模型（SLMs）潜力作为资源高效替代方案的重要性。在这种背景下，我们介绍了MiniCPM，特别是1.2B和2.4B非嵌入参数变体，在各自的类别中表现出色，同时展示了与7B-13B LLMs相媲美的能力。在专注于SLMs的同时，我们的方法在未来LLM研究中展现了模型和数据维度的可扩展性。在模型扩展方面，我们进行了大量模型风洞实验，以实现稳定和最佳的扩展。
minicpm-v
weixin_39326879的博客
10-10 709
从以上这张图来看，达到gpt4v性能所需的模型体量越来越小；（还是模型越大性能越好）；minicpm-2.5的优势主要在于：1.在opencompass上的评分性能优于gpt4v；2可在端侧部署；3.强大的ocr能力；4.支持30多种语言；
MiniCPM:揭示端侧大语言模型的无限潜力
AI浩
06-07 1283
随着开发具有高达数万亿参数的大型语言模型（LLMs）的兴趣激增，关于资源效率和实际成本的担忧也随之而来，特别是考虑到实验的巨大成本。这一情形突显了探索小型语言模型（SLMs）作为资源高效替代方案的潜力。在此背景下，我们介绍了MiniCPM，特别是其1.2B和2.4B非嵌入参数变体，这些变体不仅在各自的类别中表现出色，而且在能力上与7B-13B的LLMs不相上下。尽管我们专注于SLMs，但我们的方法在模型和数据维度上都表现出可扩展性，为未来LLM的研究提供了可能。
PerfXCloud 重大更新 | 端侧多模态模型 MiniCPM-Llama3-V 2.5 闪亮上架
Perfxlab的博客
08-27 505
MiniCPM 是以「以小博大」著称的旗舰端侧模型，也不断推新端侧多模态能力天花板——MiniCPM-Llama3-V 2.5实现了「以最小参数，撬动最强性能」的最佳平衡点，并具备以下。：OCRBench 得分达到 725，超越GPT-4o、GPT-4V、Gemini Pro、Qwen-VL-Max 等商用闭源模型，达到最佳水平。：MiniCPM-Llama3-V 2.5以 8B 量级的大小超过了GPT-4V-1106、Gemini Pro 等主流商用闭源多模态大模型。赶快注册申请成为基石用户来体验吧！
多模态大模型: 盘点&Highlights part4——MiniCPM-V
baidu_25854831的博客
10-20 1105
前言Hi大家好，我叫延捷，是一名计算机视觉算法工程师，也是叉烧的老朋友了。我们计划发布一系列关于多模态大模型的文章，帮助大家快速、精准地了解多模态大模型的前世今生，并且深入各个多模态大模型领域优秀的工作，希望能给大家一个脉络性的盘点，一起学习，共同进步。Introduction上一期我们介绍了在多模态大模型领域相当火热Gemini系列，分享了Google在多模态大模型领域的一些经典工作，并且也会介...
MiniCPM: 揭示端侧大语言模型的无限潜力 github页面
强化学习曾小健
07-12 1439
加入我们的和MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有24亿（2.4B）的非词嵌入参数量,总计2.7B参数量。Mistral-7B 表现相近MTBench 上也超越了 Llama2-70B-Chat、Vicuna-33B、Mistral-7B-Instruct-v0.1、Zephyr-7B-alpha领先的 OCR 能力场景文字识别能力上接近 Gemini Pro流式输出速度略高于人类说话速度。
深入了解MiniCPM-V 2.0的工作原理
gitblog_02719的博客
12-20 573
深入了解MiniCPM-V 2.0的工作原理 MiniCPM-V-2 项目地址: https://gitcode.com/mirrors/OpenBMB/MiniCPM-V-2 ...
MiniCPM-V 2.6 面壁“小钢炮”，多图、视频理解多模态模型，部署和推理实战教程
老牛啊
08-14 2989
MiniCPM-V 最新发布了 2.6 版本，仅 8B 的参数量，但在图片、视频方面理解能力表现卓越，本教程在本地进行部署和推理实战……
效果媲美GPT4V的多模态大型语言模型MiniCPM-V-2_6详细介绍
全世界的博客
08-29 2161
是由nuoan开发的一款达到GPT-4V级别的多模态大型语言模型（MLLM）。该模型专为手机上的单图像、多图像和视频处理设计，旨在提供高效、准确的多模态内容理解与生成能力。随着移动设备的普及和计算能力的提升，用户对于在移动端进行复杂图像和视频处理的需求日益增长。MiniCPM-V-2.6的推出，正是为了满足这一需求，提供了一种在移动设备上实现高性能多模态处理的解决方案。模型可以对长视频进行快速的内容摘要，提取出视频中的关键信息和重要片段。
VLM预编码法比较降低光OFDM信号PAPR：DCO-OFDM与ACO-OFDM应用
研究者提出了一种VLM（Variable-Length Mapping）预编码方法来应对这一挑战，这种预编码策略旨在通过调整数据的传输方式来降低信号的峰值。VLM方法与传统的预编码技术，如Walsh-Hadamard变换（WHT）、离散余弦变换...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TigerZ*

你点滴支持，我持续创作，羞羞

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值