多模态模型学习
关注
分享
扫一扫
文章平均质量分 95
开始学习大模型，先学多模态的吧
威化饼的一隅
记录学习历程
展开
-
【多模态】多模态模型的LLM端——qwen-1.0代码技术学习
现在的主流多模态模型都是ViT+merger+LLM的架构，之前一直把LLM模块当成一个黑盒，现在来从qwen1开始学习，记录学习过程～有一些非核心部分比如NTK、tokenizer、flash_attention之后再做了解。原创 2025-04-21 22:57:30 · 669 阅读 · 0 评论 -
【多模态大模型学习】位置编码的学习记录
大模型位置编码的学习记录原创 2025-02-26 23:06:05 · 556 阅读 · 0 评论 -
【多模态】swift3使用——多模态模型的类lora的不同peft方式
swift框架支持的不同peft方式原创 2025-01-18 10:53:40 · 1050 阅读 · 0 评论 -
【多模态】天池多模态比赛-多模态对话系统意图识别挑战赛
WWW2025多模态对话系统意图识别挑战赛记录原创 2025-01-18 09:29:26 · 1404 阅读 · 2 评论 -
【多模态】internvl-2.5模型技术学习
internvl2.5学习记录原创 2025-01-15 23:08:52 · 1290 阅读 · 0 评论 -
【多模态】qwen2-vl模型代码技术学习
qwen2-vl的学习记录原创 2025-01-15 23:06:29 · 1973 阅读 · 0 评论 -
【多模态】从零学习多模态——学习笔记总结
2024快结束啦，半年抽空学了学多模态还挺好玩的，学习和踩坑记录记一下，方便大家少走弯路~原创 2024-12-29 21:21:35 · 1055 阅读 · 0 评论 -
【多模态】多模态模型实践——swift3框架使用
swift3相比于swift2做了大升级，很多swift2能使用的在3里面error改改改…但是效率确实大升级，推理速度快了很多～～～原创 2024-12-21 14:32:49 · 1437 阅读 · 0 评论 -
【多模态】swift框架使用qwen2-vl
前几篇里面学习了常见的一些多模态模型的典型架构和源代码，上一篇里面测试使用了minicpm-v系列模型，在尝试RLHF的时候发现swift特别好用特别全，记录一下对swift的一些使用，欢迎批评指正～前一篇里面写了minicpm-v的使用方法，这里主要记录qwen2-vl的使用。原创 2024-12-14 22:42:09 · 2515 阅读 · 3 评论 -
【多模态】MiniCPM-V多模态大模型使用学习
前面学习了一些常见多模态模型的架构，现在开始学习使用minicpm-v-2.6模型，记录学习过程，欢迎批评指正～原创 2024-12-14 21:25:23 · 2000 阅读 · 0 评论 -
【多模态】Flamingo模型技术学习
最近多模态模型特别火，从头开始学习！在前面写的几篇里面学习了MiniCPM-V、ViT、CLIP和BLIP/BLIP-2之后，今天学习一下Flamingo模型，记录学习过程，欢迎批评指正，一起学习~~原创 2024-11-23 15:40:30 · 1321 阅读 · 0 评论 -
【多模态】BLIP-2模型技术学习
最近多模态模型特别火，从头开始学习！在前面写的几篇里面学习了MiniCPM-V、ViT、CLIP和BLIP之后，今天学习一下BLIP-2模型，记录学习过程，主要是模型架构、训练方式和相关源代码的理解。欢迎批评指正，一起学习~~原创 2024-11-09 09:25:32 · 1692 阅读 · 0 评论 -
【多模态】BLIP模型技术学习
学习一下BLIP模型，记录学习过程，主要是模型架构、训练方式和相关源代码。欢迎批评指正，一起学习~~原创 2024-10-27 18:37:26 · 1955 阅读 · 0 评论 -
【多模态】CLIP模型技术学习
CLIP多模态模型技术学习原创 2024-10-19 10:52:58 · 1382 阅读 · 0 评论 -
【多模态】ViT模型技术学习
最近多模态模型特别火，一起从头学习ViT和Transformer！本文记录一下学习过程，所以是自上而下的写，从ViT拆到Transformer。原创 2024-10-10 23:31:23 · 3923 阅读 · 1 评论 -
推理阶段不同batch size对大模型推理结果的影响
大模型推理阶段，进行batch inference批处理推理解码，会有什么问题吗？batch inference推理的结果居然会和一条一条推理结果差的很远？！！!原创 2024-09-21 11:52:14 · 3431 阅读 · 0 评论 -
【多模态】多模态大模型MiniCPM-V技术学习
多模态大模型Minicpm-V-2.6参数8B，int4版本推理显存仅7GB，作为端侧大模型效果非常好，并且在幻觉数据集上效果优于其他模型，一起来学习为什么它这么强原创 2024-09-21 10:58:40 · 1618 阅读 · 1 评论