Llama 3-V: 比GPT4-V小100倍的SOTA

已于 2024-05-29 15:40:49 修改
阅读量1.6k 收藏 25
点赞数 15
分类专栏： 具身智能 文章标签： ViT 自然语言处理 llama3 SigLIP Vision
于 2024-05-29 15:39:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Janexjy/article/details/139297392
版权

大模型技术论文不断，每个月总会新增上千篇。本专栏精选论文重点解读，主题还是围绕着行业实践和工程量产。若在某个环节出现卡点，可以回到大模型必备腔调重新阅读。而最新科技（Mamba，xLSTM,KAN）则提供了大模型领域最新技术跟踪。若对于如果构建生成级别的AI架构则可以关注AI架构设计专栏。技术宅麻烦死磕

最低0.47元/天 解锁文章
【ACL 2024】Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models
zik的博客
07-30 1924
Authors【Paper】【Project】由大型语言模型 (LLM) 推动的对话代理正在提供一种与视觉数据交互的新方式。虽然已经对基于图像的对话模型进行了初步尝试，但这项工作通过引入 Video-ChatGPT 解决了 \emph{基于视频的对话} 尚未开发的领域。它是一种多模态模型，将视频自适应视觉编码器与大语言模型相结合。生成的模型能够理解并生成有关视频的详细对话。数据集，定量评估框架。
CLIP 与 SigLIP 文本图像对其算法学习理解
weixin_42357472的博客
03-12 9890
参考： https://github.com/openai/CLIPCLIP：batch内的图文对做多分类softmax；比如下图第一行表示第一个文本与batch内哪个图片匹配（多分类）；除了行还计算列，比如第一列表示第一个图片与batch内哪个文本匹配SigLIP：batch内的图文对做二分类sigmod；比如下图第一行表示 第一个文本分别与batch内每个图片做二分类 CLIP SigLIP 2*np.eye(n) - np.ones(n) 构建了label的矩阵，-1或者1的二分类；例如下列n=3
Llama 3 与 GPT-4：哪个更好？
hongfu951的专栏
06-21 1995
Llama 3 与 GPT-4：哪个更好？
【AIGC调研系列】llama 3与GPT4相比的优劣点
zachary的博客
04-19 5219
Llama 3在参数规模、长文本支持、多语言能力和特定任务（如代码生成）上的表现优于GPT-4。而GPT-4则在视觉输入、多模态处理、交互性和理解能力方面展现出优势。因此，选择哪一个模型取决于具体的应用需求和场景。
SigLIP震撼升级！谷歌提出SigLIP 2！各种视觉多模态任务新SOTA！
m0_59235245的博客
02-25 1023
我们推出了SigLIP 2，这是一系列基于原始SigLIP的成功经验构建的新型多语言视觉-语言编码器。在第二次迭代中，我们将原始的图像-文本训练目标与几种先前独立开发的技术相结合，形成了一个统一的方法——这包括基于字幕的预训练、自监督损失（自蒸馏、掩码预测）和在线数据筛选。通过这些改进，SigLIP 2模型在所有模型规模下的核心能力方面都优于其SigLIP对应模型，包括零样本分类、图像-文本检索，以及为视觉-语言模型（VLM）提取视觉表示时的迁移性能。
GPT-4 vs LLaMA3.1：核心技术架构与应用场景对比
lmj3732018的博客
09-03 1294
随着人工智能的发展，大型语言模型（Large Language Models, LLMs）如 GPT-4 和 LLaMA3.1 在自然语言处理（NLP）领域取得了巨大的进展。它们不仅在生成文本、翻译语言、回答问题等任务中表现出色，还在许多创新应用场景中展现了强大的适应性。本篇博客将详细介绍 GPT-4 和 LLaMA3.1 的核心技术架构、主要差异以及它们在不同应用场景中的表现与适用性，并通过代码示例展示如何在实际项目中应用这些大模型。GPT-4 是基于 Transformer 架构的生成模型。
探索未来视觉智能：llama3v，新一代开源多模态模型
gitblog_00017的博客
06-04 436
探索未来视觉智能：llama3v，新一代开源多模态模型 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 llama3v 是一款尖端的开源视觉语言大模型，它集成了 Llama3 8B 和 siglip-so400m，在开放源代码领域树立了新的标准。该模型已经在 Hugging Face 平台上发布，提供快速本地推理和简洁易用的接口。 项目技术分析 llama3v 结合了先...
本地部署 MiniCPM-Llama3-V 2.5
engchina的专栏
05-27 6604
本地部署 MiniCPM-Llama3-V 2.5
被作者删库的Llama 3-V原文再现！效果匹敌GPT4-V，训练费用暴降，区区不到500 美元，尺寸小100 倍，如何做到的
2401_85672460的博客
06-16 763
我们为 Llama3 8B 添加了视觉编码器与当前开源 SOTA 视觉语言模型 Llava 相比，我们的模型性能提高了 10-20%。我们提供与 GPT4v、Gemini Ultra 和 Claude Opus 等尺寸接近 100 倍* 的模型相当的视觉能力。我们描述了一种高效的流程，用于在不到 500 美元的时间内对模型进行预训练和指令微调。
论文笔记--Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks
weixin_38124427的博客
07-01 2838
Goat：一种可以高精度进行数学运算的大语言模型
Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question AnsweringGe
weixin_43961909的博客
10-13 995
为了解决大型语言模型中知识不足和容易产生幻觉的问题，许多研究试图将大型语言模型与知识图相结合。然而，所有这些方法都是在传统的知识图问题回答(KGQA)上用完整的KGs进行评估的，其中每个问题中涉及的事实三元组都被给定的KGs完全覆盖。在这种情况下，LLM主要作为一个代理，通过探索KG来寻找答案实体，而不是有效地整合内部和外部的知识源。然而，在现实世界的场景中，知识通常无法涵盖回答问题所需的所有知识。
谷歌重磅新作SigLIP 2：刷新各种视觉多模态任务SOTA！
阿木寺的博客
02-24 225
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【顶会/顶刊】投稿交流群添加微信号：CVer2233，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：数源AI论文名：SigLIP 2: Multilingual Vision-Langua...
Llama 3-V：以100倍小的模型和500美元匹敌GPT4-V视觉模型
程序员石磊
05-30 1568
llama3 视觉模型
SigLIP技术小结
weixin_40779727的博客
09-28 2223
sigmoid-based contrastive learning从经典的softmax-based contrastive learning的“pick the right class”转化为“rate this pair”。这个转化实现了compute efficient和memory efficient，并在实验中证明，siglip在小batch下（低于32k）更具优势。
【MLLM+轻量多模态模型】24.02.Bunny-v1.0-2B-zh: 轻量级多模态语言模型 （效果一般）
进一寸有一寸的欢喜
03-18 2771
Bunny-3 是一个轻量级但功能强大的多模态模型系列。它提供多种即插即用的视觉编码器，如 EVA-CLIP、SigLIP 和语言主干网(LLM)，包括Phi-1.5、StableLM-2、Qwen1.5 和 Phi-2。为了弥补模型大小的减少，我们通过从更广泛的数据源中精选来构建信息量更大的训练数据。
SigLIP模型：小批量数据下的性能突破
2501_90976089的博客
03-07 506
SigLIP模型通过创新性地采用Sigmoid损失函数，在小批量数据情况下显著提升了语言-图像预训练的性能。相比传统的softmax损失函数，Sigmoid独立处理每对图像-文本，避免了全局归一化带来的信息损失，尤其在小批量数据下表现优异。此外，SigLIP模型在多语言预训练中展现了强大的适应能力，通过大规模数据集和长时训练策略，在复杂任务中取得了卓越成果。特别是在多语言图像检索和零样本分类任务中，模型性能显著提升，为多语言模型研究提供了新的方向。
SigLIP——采用sigmoid损失的图文预训练方式
机器学习杂货铺1号店
09-08 3262
CLIP中的infoNCE损失是一种对比性损失，在SigLIP这个工作中，作者提出采用非对比性的sigmoid损失，能够更高效地进行图文预训练
论文阅读： SigLit | SigLip |Sigmoid Loss for Language Image Pre-Training
a486259的博客
09-17 2420
论文地址：https://arxiv.org/pdf/2303.15343项目地址：https://github.com/google-research/big_vision发表时间：2023年3月27日我们提出了一种用于语言图像预训练（SigLIP）的简单成对 Sigmoid 损失。与使用 softmax 归一化的标准对比学习不同，sigmoid 损失仅对图像-文本对进行操作，并且不需要对归一化的成对相似性进行全局视图。
如何利用大模型分析视频文件？要获取视频内容介绍，音频字幕，视频其他内容标签等信息。
最新发布
03-24
<think>嗯，用户想了解如何利用大模型分析视频文件，获取内容介绍、音频字幕和标签等信息。首先，我需要拆解这个问题，考虑视频分析的各个组成部分。视频文件通常包含视觉、音频和文本（如字幕）信息，所以可能需要结合多模态模型来处理。 首先，视频内容介绍可能需要从视觉信息中提取。大模型比如Vision Transformer或者CLIP可以处理图像或视频帧，识别物体、场景、动作。可能需要分帧处理，然后使用模型生成描述，再汇总成整体内容。 然后是音频部分，用户提到音频字幕。这里可能有语音识别，需要将音频中的语音转成文字，比如用Whisper模型。同时，音频中可能有其他声音信息，比如背景音乐、音效，这些可能需要分类模型来识别，并生成标签。 还有视频的其他内容标签，可能包括情感分析、关键词提取、人物识别等。可能需要结合视觉和音频的分析结果，用多模态模型整合信息，比如Flamingo或者GPT-4V，来生成更全面的标签。 接下来要考虑处理步骤。视频分析通常需要预处理，比如分割成帧和音频，然后分别处理不同模态的数据，最后融合结果。可能需要用到计算机视觉库如OpenCV处理视频帧，用librosa或pytorch处理音频，再用HuggingFace的模型进行文本生成。 用户可能还关心实时性或者处理速度，但问题中没有提到，所以可能需要假设是离线处理。另外，存储和计算资源也是考虑因素，大模型可能需要较高的GPU资源，尤其是处理长视频时。 还有可能的挑战，比如视频时长较长，如何处理大量帧和音频数据，是否需要采样关键帧或者分段处理。此外，多模态信息的对齐，比如时间轴上的字幕和画面同步，可能需要时间戳的处理。 用户的需求可能包括自动生成视频摘要、提取关键词、生成字幕等应用场景，比如内容审核、视频推荐系统或辅助创作工具。需要确保回答覆盖这些应用点，并给出具体的技术方法。 最后，要确保回答结构清晰，分步骤说明，可能包括数据预处理、视觉分析、音频处理、多模态融合等部分，并提到相关模型和工具，帮助用户理解整个流程。同时，提醒可能需要的计算资源和现有工具库，比如FFmpeg、OpenCV、HuggingFace等，让用户有实现的路径。</think>以下为利用大模型分析视频文件的分步骤技术方案： 一、视频预处理阶段 1. 视频拆解 - 使用FFmpeg工具将视频分解为： $$ \text{视频流} \rightarrow \{帧序列\} \quad (fps=30) $$ $$ \text{音频流} \rightarrow \{wav文件\} \quad (采样率16kHz) $$ 2. 关键帧提取 - 采用自适应阈值法选取信息量最大的帧： $$ \Delta_{hist} = \|hist(f_t) - hist(f_{t-1})\|_2 > \theta $$ 二、视觉内容分析 1. 多模态模型处理 - 使用CLIP模型计算图文相似度： $$ S(f,c) = \text{cosine\_similarity}(E_v(f), E_t(c)) $$ - 应用VideoMAE进行时序建模： $$ \hat{y} = \text{Transformer}(f_{1:T}) $$ 2. 目标检测 - YOLOv8检测结果示例： ```python model = YOLO(&#39;yolov8x.pt&#39;) results = model(frame) # 输出格式: [x_min, y_min, x_max, y_max, confidence, class] ``` 三、音频处理 1. 语音识别 - Whisper模型处理流程： $$ P(w_{1:n}|x) = \prod_{i=1}^n P(w_i|w_{<i}, x) $$ 支持50+语言识别，词错误率(WER)低至3% 2. 声纹分析 - 使用ECAPA-TDNN提取说话人嵌入： $$ e = \text{Mean}([\text{Frame}_1, ..., \text{Frame}_n]) $$ 四、多模态融合 1. 时空对齐 - 建立时间轴映射关系： $$ \forall t \in [0,T], \exists (v_t, a_t, s_t) $$ 其中$v_t$为视觉特征，$a_t$为音频特征，$s_t$为字幕文本 2. 知识增强 - 结合知识图谱进行实体链接： $$ \text{EntityLink}(e) = \arg\max_{k \in KG} \text{Sim}(e, k) $$ 五、输出生成 1. 结构化数据示例 ```json { "summary": "会议场景，多人讨论项目进度", "tags": ["办公室", "白板", "图表", "商务会议"], "transcript": [ {"start": 12.5, "end": 15.2, "text": "我们需要在Q3前完成交付"}, {"start": 16.8, "end": 19.4, "text": "研发部门需要增加资源投入"} ], "metadata": { "duration": "00:23:17", "resolution": "1920x1080", "speakers": 3 } } ``` 技术挑战与解决方案： 1. 计算效率问题： - 采用自适应帧采样策略：$s(t) = \lfloor t/\Delta \rfloor,\ \Delta \propto \text{action\_score}(t)$ 2. 长视频处理： - 分块处理+滑动窗口注意力机制 $$ \text{Attention}(Q,K,V) = \text{Softmax}(\frac{QK^T}{\sqrt{d_k}})V $$ 典型应用场景： - 视频内容审核：识别违规内容准确率可达92.3% - 智能剪辑：自动生成highlight片段 - 教育视频分析：知识点抽取与关联 当前SOTA模型推荐： 1. 视觉：InternVideo（CVPR2023最佳论文） 2. 音频：MMS（支持1100+语言） 3. 多模态：Video-LLaMA（视频问答专用） 注：实际部署时建议采用分布式处理框架，视频处理耗时与视频长度近似线性关系： $$ T_{process} = \alpha L + \beta,\ \alpha \approx 0.7s/min (A100) $$
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值