机器学习杂货铺1号店

最近看到一篇预训练的文章，只在每条预训练数据的前面加上一个源信息（即是该信息的URL信息），就能加速训练（+33%）并且提升下游任务的效果，本文进行阅读笔记。如有谬误请见谅并联系指出，本文遵守。关键字：大模型预训练、源信息、加速训练、提升效果∇\nabla∇知乎：https://www.zhihu.com/people/FesianXu微信公众号：机器学习杂货铺3号店最佳阅读体验见： https://fesianxu.github.io/2025/01/11/MeCo-20250111/

传统的CLIP采用对比学习的方式进行预训练，通常需要汇聚多张节点的多张设备的特征向量以进行打分矩阵的计算，训练速度通常都较慢，本文介绍一种采用传统的BCE损失进行多标签分类的方式，在提速2.7倍的同时，能达到CLIP的模型性能

在多模态大模型中，视觉连接器大致可以分为压缩型和非圧缩型，其中BLIP2提出的Q-Former [1] 是压缩型视觉连接器的代表工作之一。在论文 [2] 中，作者对Q-Former的作用提出了质疑和分析，本文进行笔记，希望对读者有所帮助。

CLIP中的infoNCE损失是一种对比性损失，在SigLIP这个工作中，作者提出采用非对比性的sigmoid损失，能够更高效地进行图文预训练

最近笔者在回顾&笔记一些老论文，准备整理下之前看的一篇论文LexLIP，其很适合在真实的图片搜索业务场景中落地，希望笔记能给读者带来启发。

最近从朋友处得知了DSI这个概念，所谓的可微分检索索引DSI，就是通过语言模型将检索过程中的索引和召回阶段端到端地融合在一起，输入query模型直接输出docid，笔者今日抽空看了下原论文，简单笔记下，希望对各位读者有所帮助。

如今的大多数多模态大模型，其视觉输入侧采用的视觉编码器，都是依照CLIP的训练方式，采用大规模对比学习进行训练的。在论文 [1] 中，作者发现CLIP特征具有某些视觉短板，从而导致基于此的MLLM也受到了影响。作者观察到，在一些简单直接（不需要复杂推理）的问题上，MLLM似乎并不能很好解决...

如何将已预训练好的大规模语言模型（LLM）和多模态模型（如CLIP）进行融合，形成一个多模态大语言模型（MLLM）是目前很火热的研究课题。本文将要介绍的LLava是一个经典的工作，其采用了指令微调的方式对MLLM进行训练，笔者在此笔记，希望对诸位读者有所帮助。

最近工作里面遇到了LLM复读的问题，去翻了下论文，看到有一篇尝试通过引入负样本解决复读问题的工作，有所启发，在此简单介绍下，希望对大家有所帮助。如有谬误请见谅并联系指出，本文遵守。∇\nabla∇联系方式：知乎专栏: 计算机视觉/计算机图形理论与应用微信公众号：机器学习杂货铺3号店LLM的复读问题，一般有几种级别的复读，如下所示字粒度的复读：User: 你喜欢北京么？AI: 北京是中国的首都，有很多名胜古迹，如长城，故宫，天坛等，我十分喜欢欢欢欢欢欢欢欢欢欢欢欢…

之前笔者在[1]中曾经介绍过BLIP2，其采用Q-Former的方式融合了多模态视觉信息和LLM，本文作者想要简单介绍一个在BLIP2的基础上进一步加强了图文指令微调能力的工作——InstructBLIP，希望对诸位读者有所帮助。

kosmos 构建一个通用接口的多模态大语言模型

最近我在恶补一些经典的LLM工作，之前也精读过MetaLM这个工作但是没有及时笔记，现在已经有些遗忘了，因此在过年期间复习了下，在此笔记希望对诸位有所帮助。

Flamingo算是DeepMind的多模态融合LLM的一个较老的工作了（2022年），之前粗略读过没来得及及时总结，本次过年笔者重新细读了论文，发现其在50多页的论文中有着不少细节，本文对该工作进行读后感笔记。

大规模语言模型（Large Language Model,LLM）是当前的当红炸子鸡，展现出了强大的逻辑推理，语义理解能力，而视觉作为人类最为主要的感知世界的手段，亟待和LLM进行融合，形成多模态大规模语言模型（Multimodal LLM, MLLM），BLIP-2这篇文章利用已经充分训练好的图片编码器和LLM模型，通过Q-Former巧妙地融合在一起，在引入少量待学习参数的同时，取得了显著的效果。本文将对BLIP2进行笔记和笔者个人感想纪录，希望对诸位读者有所帮助。

多模态落地过程中的模态不均衡问题

评估多模态LLM模型的灾难性遗忘现象

image bind，充分利用多模态异构数据~

Prompt tuning是一种高效的LLM下游任务适配方式

VQ-VAE进行视觉稀疏化

ERNIE VIL 2.0 多视角多模态的预训练方法