3月12日 工作记录 DeepSeek-VL阅读笔记

已于 2024-03-13 17:39:58 修改
阅读量1.4k 收藏 25
点赞数 9
文章标签： 多模态大模型 DeepSeek
于 2024-03-12 16:32:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Hagtaril/article/details/136644739
版权
文章介绍了DeepSeek-VL的项目，重点在于其多样化的预训练数据集，包括图像、文本、表格、图表等，以及通过混合视觉编码器实现的高效模型架构。研究者发现平衡多模态和语言能力至关重要，最终通过监督微调优化了模型，以提升交互式对话体验。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

昨天考完试，晚上把那个讨人厌的项目做了阶段结果给合作者展示去了，然后就看到deepseek发布了vision language的技术报告，于是打算今天上午看看。

DeepSeek VL

很多内容直接翻译自其 DeepSeek-VL，下面的我们指的的是deepseek vl的作者。

数据构建

预训练数据

我们努力确保我们的数据是多样化的，可扩展的，并广泛覆盖现实世界的场景，包括web截图，pdf, OCR，图表和基于知识的内容(专家知识，教科书)，旨在全面表示实际环境。

此外，我们从真实用户场景中创建用例分类法，并相应地构建指令调优数据集。使用该数据集进行的微调实质上改善了模型在实际应用中的用户体验。
在这里插入图片描述

  • Interleaved image-text：交错的图像-文本数据使模型具有更好的上下文处理能力学习多模态输入，我们利用了三个公共数据集MMC4 (Zhu等人，2024)、Wiki (Burns等人，2023)、Wikihow (Yang等人，2021)和Epub教科书。
  • Image capture：图像说明数据来自三个高质量的图像-文本配对数据集:Capsfusion (Yu等人，2023a)、TaiSu (Liu等人，2022b)和Detailed caption (echo840, 2024)。表格和图表数据使模型能够学习通用表格和图表图像理解的能力。它包含了各种各样的公共数据源，包括Chart2text（Kantharaj 等人，2022）、Geo170K（Gao 等人，2023）、Unichart（Masry 等人，2023）、Ureader (Ye et al., 2023)、M-paper (Hu et al., 2023)、ScienceQA (Lu et al., 2022b)、Scre
最低0.47元/天 解锁文章
Hagtaril
关注
久等了，DeepSeek-VL2
强化学习曾小健
12-24 2492
视觉感知+语言推理，强强联手成就模型的视觉语义对话能力。）”，它会回答：“To cool down, you can use <|ref|>the fan<|/ref|><|det|>[[166, 460, 338, 712]]<|/det|> which is sitting on the desk.（为了降温，你可以使用 [[166, 460, 338, 712]] 位置处的风扇，它放在桌子上）”我们坚信，提升模型视觉能力的意义不仅在于支持更多的输入模态，更在于全方位提升模型的感知和认知能力。
Yi 零一万物 大模型 githu页面
强化学习曾小健
06-28 1241
🤖 Yi 系列模型是01.AI从零训练的下一代开源大语言模型。🙌 Yi 系列模型是一个双语语言模型，在3T 多语言语料库上训练而成，是全球最强大的大语言模型之一。Yi 系列模型在语言认知、常识推理、阅读理解等方面表现优异。例如，Yi-34B-Chat 模型在 AlpacaEval Leaderboard排名第二仅次于 GPT-4 Turbo，超过了 GPT-4、Mixtral 和 Claude 等大语言模型（数据截止至 2024 年 1 月）。Yi-34B 模型在（预训练）与。
使用DeepSeek必备的10个技巧
2401_85378759的博客
02-04 4199
这个春节，DeepSeek太火了，无须赘述。 今天，我们直接讲干货。用10个问题带大家了解：DeepSeek是什么，怎么用，如何与DS高质量对话，以及一些隐藏技巧。
DeepSeek新手必看！DeepSeek个人应用全攻略｜最全的 DeepSeek 使用指南（建议收藏）
热门推荐
python1234567_的博客
02-05 5万+
DeepSeek作为一款功能强大的AI开发平台，为用户提供了从数据准备、模型训练到部署应用的全流程支持。通过本文的详细讲解和实操指南，相信你已对DeepSeek的核心功能有了深入了解。无论你是AI新手，还是希望进一步提升技能的开发者，DeepSeek都能帮助你快速实现AI应用的构建与优化。现在，就登录DeepSeek平台，开启你的AI之旅吧！相信不久的将来，你也能逆袭成为AI大神！
【DeepSeek-VL2报告解读】Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
weixin_45921929的博客
02-06 1582
【DeepSeek-VL2报告解读】Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
Deepseek-vl2微调环境部署及各种报错解决方案
weixin_43971236的博客
02-19 2179
基于modelswift解决Deepseek-vl2大模型微调环境部署问题
深度学习模型 DeepSeek-VL2 及其消费级显卡需求分析
haibo2144的博客
12-20 1万+
DeepSeek-VL2 是基于深度学习的视觉语言模型，其主要特点如下：混合专家架构：DeepSeek-VL2 采用了混合专家（MoE）架构，这使得模型在参数规模扩展的同时能够有效控制计算成本。通过分配专家来处理不同的任务，可以提高模型的计算效率。动态高分辨率视觉编码：该模型引入了动态平铺视觉编码策略，能够处理不同纵横比的高分辨率图像，提升视觉任务中的表现，尤其是在视觉定位、文档分析等任务中。
以DeepSeek-VL为例，详解视觉语言模型原理及代码
zenRRan的博客
08-27 3636
来自：炼钢AI最近开始看看视觉语言模型（VLM）相关的东西了，之前没特别仔细看过代码。翻了几篇比较知名的开源VLM技术报告，感觉DeepSeek-VL算是写的比较好的，因此本文就以DeepSeek-VL为例，结合代码写一写VLM的细节。VLM和LLM比较共性的东西比如Self Attention之类的本文就不过多介绍了，重点讲一讲VLM独有的内容。DeepSeek-VL github链接：htt...
编程AI深度实战：大模型哪个好？ Mistral vs Qwen vs Deepseek vs Llama
reekyli的专栏
02-04 1938
随着开源 LLM 空间的发展，越来越多的模型变得专业化，“代码”LLM 变得非常流行。这些 LLM 旨在比其 “常识” 对应物更小，但旨在超越更大的通用模型的编码性能。这些模型以极低的成本提供大型模型的功能，进一步使本地 LLM 空间民主化。特别是，在较小的编码 LLM 领域中，有三个模型在竞争中脱颖而出：Codestral 22B、DeepSeek Coder V2 Lite 14B 和 Qwen 2.5 Coder 7B。于 5 月 29 日发布，这是 Mistral 发布的第一款特定代码模型。
Qwen2.5 模型精调实战：使用 QLoRA + 自定义指令微调
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
03-30 1065
手把手教你如何使用轻量化技术 QLoRA 对 Qwen2.5 模型进行本地微调，包括准备指令数据集、搭建训练环境、训练参数配置、结果推理与评估部署，帮助你快速打造自己的专属国产大模型。
可以在个人电脑上部署的主流开源大模型
搏博的专栏
02-06 1131
这些模型在图像生成领域具有广泛的应用前景，且相对较轻量，因此有可能在个人电脑上进行部署，但具体还需考虑硬件资源和优化技术。模型基于注意力机制，通过海量语料数据进行预训练，并经过监督微调、人类反馈的强化学习等进行对齐，构建形成深度神经网络，并增加审核、过滤等安全机制，使算法模型部署后能够根据人类的指令或者提示，实现语义分析、计算推理、问答对话、篇章生成、代码编写等任务。其中，LLaMA-65B和LLaMA-33B是在1.4万亿个token上训练的，而最小的模型LLaMA-7B是在1万亿个token上训练的。
DeepSeek发布多模态大型语言模型DeepSeek-VL，技术创新性突出
03-13 1347
该模型参数规模为1.3B和6.7B,采用了创新的联合视觉和语言预训练方法,旨在解决传统的单模态预训练方法的局限性。在数据准备方面,采用了策略性数据采样方法,平衡了多模态数据和纯文本数据的比例,避免影响语言模型原有的语言理解能力。在模型架构方面,引入了混合视觉编码器,能够高效处理1024x1024高分辨率图像,同时控制了计算量的增长。在模型架构设计上,体现了在多任务场景下保持推理一致性和语义完整性的初衷。在训练方法上,采用了高效的训练算法,实现了对高分辨率图像的高效建模,且保持了语义丰富性。
深度搜索引擎：DeepSeek-VL - 探索智能视觉的新维度
gitblog_00012的博客
03-26 1250
深度搜索引擎：DeepSeek-VL - 探索智能视觉的新维度 项目地址:https://gitcode.com/gh_mirrors/de/DeepSeek-VL 项目简介 是一个开源的深度学习项目，致力于提供高效的图像和视频检索解决方案。它基于先进的计算机视觉和自然语言处理技术，将文本描述与视觉数据匹配，使用户能够通过自然语言查询找到相关的图片或视频片段。 技术分析 1. 深度学习模型融合 D...
DeepSeek-VL 开源项目教程
gitblog_00007的博客
08-23 882
DeepSeek-VL 开源项目教程 DeepSeek-VL项目地址:https://gitcode.com/gh_mirrors/de/DeepSeek-VL 项目介绍 DeepSeek-VL 是一个由 Deepseek AI 团队开发的视觉语言处理开源框架。该框架旨在促进多模态数据的分析与理解，特别是在结合图像和文本数据的任务中表现出强大能力。它集成了先进的深度学习算法和高效的工具库，支持研...
DeepSeek-VL论文阅读和整理
wentinghappyday的博客
03-25 2606
DeepSeek-VL的论文理解
DeepSeek-VL2：用于高级多模态理解的专家混合视觉-语言模型
Together_CZ的博客
12-26 3466
DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding DeepSeek-VL2：用于高级多模态理解的专家混合视觉-语言模型
DeepSeek开源DeepSeek-VL2系列，采用专家混合架构，显著提升多模态理解能力
AI_Conf的博客
12-21 1038
大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。
DeepSeek-AI 开源 DeepSeek-VL2 系列，采用专家混合（MoE）架构，重新定义视觉语言人工智能
qianggezhishen的专栏
12-17 1624
将视觉与语言的智能融合，已经在视觉语言模型（Vision-Language Models，简称VLMs）领域实现了重大突破。DeepSeek-VL2的训练包括一个多样化和全面的多模态数据集，使模型能够在各种任务中表现出色，包括光学字符识别（OCR）、视觉问题回答和图表解释。提供微型（3B）、小型（16B）和标准型（27B）配置，确保了对各种应用的适应性，从轻量级部署到资源密集型任务。研究团队引入了一个在实际应用中表现出色的模型系列，通过解决可扩展性、计算效率和任务适应性方面的关键限制。
deepseek-ai/deepseek-vl2-tiny 做ocr
03-11
### 使用 DeepSeek-VL2-Tiny 模型进行光学字符识别 为了利用 `deepseek-ai/deepseek-vl2-tiny` 模型执行光学字符识别（OCR），可以遵循以下方法： #### 准备环境 确保安装必要的依赖库，特别是 PyTorch 和 transformers 库。可以通过 pip 安装这些包。 ```bash pip install torch transformers ``` #### 加载模型与处理器 加载预训练的 DeepSeek-VL2-Tiny 模型及其对应的图像处理器和分词器。这一步骤对于准备输入数据至关重要。 ```python from transformers import AutoProcessor, AutoModelForVision2Seq processor = AutoProcessor.from_pretrained("deepseek-ai/deepseek-vl2-tiny") model = AutoModelForVision2Seq.from_pretrained("deepseek-ai/deepseek-vl2-tiny") ``` #### 图像预处理 读取并调整待识别的文字图片大小至适合模型输入的形式。通常情况下，保持原始纵横比例的同时缩放图片到适当尺寸有助于提升 OCR 结果的质量。 ```python import requests from PIL import Image url = "https://example.com/path_to_image.jpg" image = Image.open(requests.get(url, stream=True).raw) inputs = processor(images=image, return_tensors="pt") ``` #### 执行推断 将预处理后的图像传递给模型以获取预测结果。这里会得到一系列 token ID 表示可能的字符序列。 ```python outputs = model.generate(**inputs) predicted_text = processor.batch_decode(outputs, skip_special_tokens=True)[0] print(predicted_text) ``` 上述过程展示了如何使用 DeepSeek-VL2-Tiny 实现基本的 OCR 功能[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值