多模态MLLM都是怎么实现的（4）-去噪声

最新推荐文章于 2025-12-16 22:32:25 发布
原创 最新推荐文章于 2025-12-16 22:32:25 发布 · 1k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #机器学习 #人工智能

本文介绍了在多模态模型中如何去除噪声，通过贝叶斯公式和逆向推导，逐步还原原始图像。正向训练网络学会加噪声，反向过程则通过多次迭代逼近，利用已知的噪声图逐步求解无噪声图像。尽管无法一步还原，但通过连续的时间步计算，结合模型训练，可以逐步接近原始图像。
最低0.47元/天 解锁文章
周博洋K
关注
LLM - 理解 多模态大语言模型(MLLM) 的 预训练(Pre-training) 与相关技术 (三)
AGI
09-12 1661
完备(Full-Fledged) 的 多模态大语言模型(MLLM) 经历 3 个阶段的训练，即 预训练(Pre-training)、指令微调(Instruction-Tuning) 和 对齐调优(Alignment Tuning)。每个训练阶段都需要不同类型的数据，并且实现不同的目标。本篇介绍，预训练(Pre-training) 部分。
通过噪声扰动缓解多模态大型语言模型的幻觉问题
程序员石磊
06-19 1244
该论文提出了一种名为NoiseBoost的方法，通过噪声扰动来缓解多模态大语言模型(MLLM)中的幻觉问题。论文分析指出，幻觉主要源于大语言模型固有的总结机制，导致对语言符号的过度依赖，而忽视了视觉信息。NoiseBoost通过在视觉特征中加入噪声扰动，作为一种正则化手段，促进视觉和语言符号之间的注意力权重平衡。实验结果显示，NoiseBoost不仅在监督微调和强化学习中提升了模型性能，还首次实现了MLLM的半监督学习，充分利用了未标记数据。
视觉自回归图像生成：基于多模态大模型的万字深度梳理
AI前沿技术的分享！
04-15 1460
多模态大模型在图像生成领域展现出巨大潜力，主要分为LLM作为conditioner和generator两大类。作为conditioner时，LLM依据文本提示生成条件信息，注入下游生成模型实现精细化控制。作为generator时，根据生成方式又可分为visual autoregressive、visual scale autoregressive和visual diffusion三类。
多模态MLLM都是怎么实现的（2）-DDPM
周博洋的博客
03-05 946
在第一篇我们简单介绍了一下多模态训练的原理，包括clip，第二篇正好Sora横空出世，也让我就Dit做了一下抛砖引玉，顺便讲了VAE和ViT的部分，上节课我说过, DiT它就不是一个模型，它包含了VAEencoder+ViT + DDPM + VAE decoder, 其实最核心的部分就是DDPM，也就是Denoising Diffusion Probabilistic Models。然后有意思的来了，这块注意看，因为Z1和Z2都是符合正态分布的噪声，那么正态分布的东西乘上一个值相当于什么？
多模态MLLM都是怎么实现的(7)-Sora
周博洋的博客
03-09 1170
我个人认为也算，比如你小时候对一个字记住怎么写，那不也是你多次接触的结果吗？好玩的来了，我虽然被拉到了一个向量里，这里面我加了2层（实际上是多层，逻辑上2层）mask过的线性层，一个是self-attention层（但是只算QK），一个是pooling层（QKV之前的pooiling），虽然这三个图的patches都在一个向量里，但是因为mask的存在，我们还是能各算各地，比如算1就mask2和3，然后最终完成QKV的计算，还能保证虽然大家在一个向量里，可是分别计算，没有混乱。
【多模态大模型阅读笔记--1】多模态大模型入门，MLLM综述：MM-LLMs: Recent Advances in MultiModal Large Language Models
Mugi_jiang的博客
05-20 1851
- 归纳了现在多模态大模型的整体架构设计方向 - 提供了现有主流的 26 个多模态大模型 - 总结了提升多模态大模型性能的关键方法
多模态MLLM都是怎么实现的(8)-GPT4V和Blip
周博洋的博客
04-17 919
第三步，把互联网标注的语料，拿ITC，和ITM给过滤了，错的，我就不要了，只留下好的，就是Tw的绿色部分，另外没有标注的互联网图片，用LM来标注成Ts，一起混合成新的数据，再和老的数据，重新灌注给模型的变成新的pretrain，完成下一个ephco，周而复始，把不断迭代优化Loss。第一阶段，拿clip 的image encoder来训练，冻结住LLM，经过一个W的project转换（可以理解为线性层的矩阵对齐），说白了，就是一个线性层，image转换embedding的层W。
多模态大模型MLLM的架构发展及思考
2401_85343303的博客
11-29 1118
自以gpt3为代表的大语言模型问世以来，纯文本模态的大模型和多种模态混合的多模态大模型都获得了迅速的发展，无论是学术界还是工业界。文本模态的大语言模型几乎学习了目前人类能够从公开渠道获取到的所有的文本数据，结合模型规模的扩大以及模型“涌现”能力，使得大语言模型的“智能”、“记忆”、“推理”、“对话”、“创作”等多方面的能力得到了长足的发展。互联网发展到今天，除了海量的文本数据之外，还产生了更多的多模态数据，如图文多模态数据、音视频、甚至于某些终端还包含了位姿信号、深度、雷达等多种模态的信号；
DeepSeek-VL2：用于高级多模态理解的专家混合视觉-语言模型
Together_CZ的博客
12-26 4332
DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding DeepSeek-VL2：用于高级多模态理解的专家混合视觉-语言模型
多模态大型语言模型（MLLM）综述
数据与算法架构提升之路专栏
11-25 1129
多模态大型语言模型（MLLMs）通过结合视觉和文本信息，推动了图像标注、视觉问答、视觉叙事等领域的发展，并在跨模态检索和搜索中展现出巨大潜力，同时也引发了对偏见和伦理的考量。
【文献阅读】DP-Site：一种基于双重深度学习的蛋白质-肽相互作用位点预测方法
weixin_42038527的博客
12-16 674
研究团队开发了一款名为DP-Site的AI工具，仅需分析蛋白质的氨基酸序列（“设计图”），就能精准锁定小分子药物的潜在“靶点”。DP-Site的核心创新在于其 “双专家会诊”模式。一位是“图像专家”，擅长分析序列的局部结构特征；另一位是“语义专家”，擅长理解序列的全局上下文信息。两者协同工作，使其预测综合性能（F1分数）达到0.661，超越此前所有方法。
【CNN与卷积神经网络（吴恩达）】卷积神经网络学习笔记
qq_62361050的博客
12-12 1047
池化层类似卷积运算，在这里举一个最大池化的例子，即在一个4x4的图像中采用一个2x2的核，这个《核》只是对对应区域进行取最大值计算，以步长为2进行移动计算，在每次计算中取区域中的最大值，这样就可以提取出图像中的最显著的特征。以下是对于三维卷积中一些尺寸数据的描述，和二维卷积相似，只不过在n x n后面新加了一个尺寸数据nc，这个nc即表示图像的通道数，剩余对于输出图像的尺寸的计算公式和二维卷积下的一模一样。这种卷积下的卷积核和二维卷积是一样的，只不过由于有三个图像矩阵，所以应该对应有三层卷积核，即。
基于深度学习的肾结石检测系统演示与介绍(YOLOv12/v11/v8/v5模型+Pyqt5界面+训练代码+数据集)
ningfoshao8678的博客
12-16 686
本文介绍了基于YOLO目标检测算法开发的肾结石检测系统。该系统支持图片、视频、文件夹批量及摄像头实时检测，包含用户登录、多模型切换等功能。技术栈采用Python3.10、PyQt5和SQLite，对比了YOLOv5/v8/v11/v12四种模型性能，其中YOLO12n精度最高(mAP40.6%)，YOLO11n速度最快(56.1ms)。系统在17000张肾脏影像数据集上训练，mAP@0.5达90%，F1值0.86，能有效识别肾结石位置并显示置信度。
深度学习理论与实战：反向传播、参数初始化与优化算法全解析
2501_92613722的博客
12-16 767
深度学习训练核心闭环：精准算梯度、合理初始化参数、高效更参数 反向传播：链式求导为基，从损失反向回溯算梯度，附 Sigmoid 实例 参数初始化：讲手动 / 经典方法，Module 初始化技巧与核心原则、选择 优化算法：SGD 为基，动量法 / Adagrad/RMSProp/Adadelta/Adam 解析与对比 核心总结：反向传播、初始化、优化算法要点及训练细节
深度学习中 z-score 标准化理解
musk1212的博客
12-11 1143
摘要： z-score标准化是深度学习中关键的数据预处理方法，通过将数据转换为均值为0、标准差为1的分布，有效提升模型训练效率并消除特征量纲差异。其核心公式为z=(x-μ)/σ，适用于加速收敛、平衡多特征权重及异常值检测等场景。与Min-Max归一化相比，z-score对异常值更鲁棒，是神经网络训练的首选方法。需注意避免数据泄露问题（测试集必须使用训练集的μ和σ），并处理标准差为0的特殊情况。批量归一化(BatchNorm)是z-score的动态扩展版本。
基于深度学习的网络流量异常检测系统
XiaoMu_001的博客
12-11 988
本项目旨在构建一个基于深度学习的高效网络流量异常检测系统。系统采用 **B/S 架构**，前后端分离设计。后端基于 **Django** 框架，前端采用 **Vue 3** + **Element Plus**。核心检测引擎利用 **PyTorch** 构建深度学习模型（MLP 和 1D-CNN），能够对网络流量数据进行实时或离线分析，精准识别良性流量及多种类型的网络攻击（如 DoS, PortScan, Web Attack 等）
授权委托书识别技术：利用深度学习和NLP实现纸质文档的智能解析
智能图像识别
12-12 787
摘要：授权委托书识别技术利用深度学习和NLP实现纸质文档的智能解析，通过OCR和NER技术精准提取关键字段，准确率达98%以上。该系统具备批量处理、自适应学习、风险预警等功能，处理效率较人工提升数十倍，已广泛应用于政务、金融、法律等领域。该技术不仅大幅提升业务办理效率，还通过本地化部署确保数据安全，正推动多行业数字化转型，未来将与区块链等技术进一步融合，构建更完善的数字化授权解决方案。（149字）
【深度学习新浪潮】用AI工具解析美联储新闻，搭建量化投资分析流水线
最新发布
智能守恒_HengAI
12-16 320
用AI工具解析美联储新闻，本质是将“定性政策信号”转化为“定量分析指标”，让投资决策更高效、更客观。本文搭建的流水线仅需50行核心代码，即可实现从新闻采集到资产预测的全流程自动化。未来可进一步优化的方向：一是引入大语言模型（如GPT-4o）做政策文本深度解读，挖掘“点阵图分歧”“官员立场博弈”等隐性信息；二是接入实时交易数据，构建“新闻→信号→交易”的闭环策略。
【AI基础篇】认识RNN
EscaRC的博客
12-13 797
—即前后输入有依赖关系的数据，如句子（单词序列）、股票价格（时间序列）、视频（帧序列）等。RNN 的核心设计目标是让神经网络能够处理。在实践中存在严重缺陷，这也推动了其发展。为了解决长期依赖问题，研究者引入了。
BGE-VL多模态检索模型开源突破性能瓶颈
BGE-VL多模态检索模型的开源标志着多模态人工智能领域的一次重大技术突破，其背后蕴含了深度学习、计算机视觉、自然语言处理以及大规模数据工程等多个前沿技术方向的深度融合。该模型由智源研究院研发并公开源码，...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值