多模态MLLM都是怎么实现的（6）-Dit Diffusion Transformer

最新推荐文章于 2025-12-21 10:13:38 发布
原创 最新推荐文章于 2025-12-21 10:13:38 发布 · 1.1k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能

本文介绍了如何从Stable Diffusion转换到Dit Diffusion Transformer，讨论了Transformer优于Unet的原因，涉及Scaling Law的概念。文中还探讨了Dit Block的工作原理和条件注入的三种方式，并提到了多模态模型的评估方法，如FID和clip score。
最低0.47元/天 解锁文章
周博洋K
关注
Diffusion Models专栏文章汇总：入门与实战
沉迷单车的追风少年
02-21 4万+
《DiffusionModels与深度学习》专栏文章导航
DiT（Diffusion Transformer）及其研究进展简述
智能守恒_HengAI
02-13 1724
定义DiT（Diffusion Transformer）是一种结合了扩散模型（Diffusion Models）和Transformer架构的生成模型，主要用于图像和视频生成任务。其核心思想是用Transformer替代传统扩散模型中的U-Net架构，利用Transformer的全局建模能力提升生成质量与扩展性。DiT在潜空间（Latent Space）中操作，通过变分自编码器（VAE）将高维图像压缩为低维特征，从而降低计算复杂度。
【论文速看】DL最新进展20241029-Diffusion、多模态
qq_40734883的博客
10-29 864
【论文速看】DL最新进展20241029-Diffusion、多模态
多模态MLLM都是怎么实现的（13）如何保持text2video的连续一致性
周博洋的博客
04-26 890
这就是一个典型的SD生图流程，通过对比训练的clip embeddding能力，让text的输入隐式包含很多图像的相似性，很好的配合vae编码的latent，这时latent 相当于Q，被clip embedding的text相当于kv，latent再不断去噪声的过程，把text当作参照，也就是按着prompt的指令来生成相应图片位置的object。使用预测的噪声 `ε_θ` 和当前的噪声潜在视频 `z_t`，通过扩散模型的采样算法（如 DDPM, DDIM）计算出稍微去噪的潜在视频 `z_{t-1}`。
多模态MLLM都是怎么实现的(7)-Sora
周博洋的博客
03-09 1171
我个人认为也算，比如你小时候对一个字记住怎么写，那不也是你多次接触的结果吗？好玩的来了，我虽然被拉到了一个向量里，这里面我加了2层（实际上是多层，逻辑上2层）mask过的线性层，一个是self-attention层（但是只算QK），一个是pooling层（QKV之前的pooiling），虽然这三个图的patches都在一个向量里，但是因为mask的存在，我们还是能各算各地，比如算1就mask2和3，然后最终完成QKV的计算，还能保证虽然大家在一个向量里，可是分别计算，没有混乱。
多模态MLLM都是怎么实现的(8)-GPT4V和Blip
周博洋的博客
04-17 923
第三步，把互联网标注的语料，拿ITC，和ITM给过滤了，错的，我就不要了，只留下好的，就是Tw的绿色部分，另外没有标注的互联网图片，用LM来标注成Ts，一起混合成新的数据，再和老的数据，重新灌注给模型的变成新的pretrain，完成下一个ephco，周而复始，把不断迭代优化Loss。第一阶段，拿clip 的image encoder来训练，冻结住LLM，经过一个W的project转换（可以理解为线性层的矩阵对齐），说白了，就是一个线性层，image转换embedding的层W。
(Arxiv-2025) BLIP3-o：一个完全开源的统一多模态模型家族——架构、训练与数据集
顾道长生的科研笔记
06-30 1987
BLIP3-o：一个完全开源的统一多模态模型家族 摘要：本文提出BLIP3-o，一个支持图像理解和生成的开源统一多模态模型家族。通过系统研究自回归与扩散模型的结合方式，我们发现：(1)采用CLIP图像特征比VAE特征更高效且语义更丰富；(2)流匹配损失优于MSE损失；(3)顺序式"先理解后生成"的预训练策略效果最佳。基于这些发现，我们设计了基于扩散Transformer的架构，生成CLIP特征而非传统像素特征。此外，我们构建了BLIP3o-60k高质量指令微调数据集，通过GPT-4o生成
多模态MLLM都是怎么实现的（4）-去噪声
周博洋的博客
03-06 1038
到此，我们通过贝叶斯来逆向操作一个通过X-1来求Xt的推导过程就完事了，因为我们推导出了最终结果（虽然有一部分是靠模型训练的猜噪声），我们这个通过Xt来推理Xt-1的猜想也就可行了，然后一直推，直到推来X0，我们的任务就OK了。如上面的3个式子进行拆解，正好等于贝叶斯公式的右边3个部分，Z就是多个分类累加，但是还是正态分布，所以统一用Z代替了，因为乘改变了方差（要平方），加改变了均值，所以，正态分布的区间就变了而已。上节课我们给图片加了噪声，这节课，我们折腾一下，要把加过的噪声给去掉，还原成原来的图片。
Hunyuan-DiT与其他模型的对比分析
gitblog_02515的博客
12-16 1121
Hunyuan-DiT与其他模型的对比分析 引言 在人工智能领域，选择合适的模型对于实现特定任务至关重要。随着技术的不断进步，越来越多的模型被开发出来，每个模型都有其独特的优势和适用场景。因此，进行模型之间的对比分析，不仅有助于理解各个模型的性能和功能，还能为实际应用中的模型选择提供科学依据。 本文将重点介绍Hunyuan-DiT模型，并将其与其他主流模型进行对比分析。通过对比模型的性能、功能特性...
多模态大模型论文总结
03-20 1947
多模态大模型近期论文摘要汇总
【文献阅读】DP-Site：一种基于双重深度学习的蛋白质-肽相互作用位点预测方法
weixin_42038527的博客
12-16 781
研究团队开发了一款名为DP-Site的AI工具，仅需分析蛋白质的氨基酸序列（“设计图”），就能精准锁定小分子药物的潜在“靶点”。DP-Site的核心创新在于其 “双专家会诊”模式。一位是“图像专家”，擅长分析序列的局部结构特征；另一位是“语义专家”，擅长理解序列的全局上下文信息。两者协同工作，使其预测综合性能（F1分数）达到0.661，超越此前所有方法。
深度学习常用工具和库介绍
最新发布
2301_81354580的博客
12-21 450
即使对于有一定基础的人来说，如果之前没有接触过python，学习深度学习的时候，对一些工具和依赖库依然会感到陌生，我自己就是学Java的，最近在学习深度学习，对 python接触不多，因此对其中一些工具并不熟悉，所以整理了一些常用的介绍一下，当然后续可能还会增加。
【深度学习】Mask R-CNN在温室番茄成熟度检测中的应用——基于ResNet18与FPN的多级特征融合分类系统
Lun3866buzha的博客
12-18 673
本文提出了一种基于改进Mask R-CNN的温室番茄成熟度检测系统，通过结合ResNet18骨干网络和FPN多级特征融合技术，实现了对不同成熟度番茄的高精度识别。系统采用5000张标注图像进行训练，通过数据增强提高模型鲁棒性，最终在测试集上达到92.3%的准确率和89.7%的mAP。实际部署采用边缘计算设备，处理速度达20FPS，显著提升了番茄采摘效率。实验表明，该系统在复杂光照条件下表现稳定，为智能农业提供了有效的技术解决方案。
Pytorch经典卷积神经网络-----激活函数篇
2301_77958892的博客
12-18 749
在神经元的数学表达式 (y = h(wx+b)) 中，h、w、b 分别代表激活函数、权重参数、偏置参数，三者是构成单个神经元的核心要素，共同实现对输入信号的加权变换与非线性映射其中h则为激活函数一个非线性函数，用于对线性变换结果 (wx+b) 进行映射，让神经元具备非线性表达能力。核心作用：如果没有激活函数，无论神经网络有多少层，最终输出都是输入的线性组合（多层线性变换等价于单层线性变换），无法拟合复杂的非线性任务（如图像分类、语音识别）。
入门篇--人工智能发展史-4-点燃深度学习革命的那把火，AlexNet
weisian的博客
12-20 710
摘要： AlexNet（2012）是深度学习革命的里程碑模型，以15.3%的错误率横扫ImageNet竞赛，比传统方法提升10个百分点。其成功源于三大突破：1）ReLU激活函数解决深层网络梯度消失问题；2）GPU并行训练将训练时间从数周缩短至5-6天；3）Dropout正则化防止过拟合。该模型奠定了现代CNN的“卷积+池化+全连接”范式，推动GPU成为AI基础设施，并验证了“数据+算力+算法”的铁三角逻辑。AlexNet直接引爆了全球深度学习热潮，其设计思想至今仍是计算机视觉的基石。
基于深度学习的肾结石检测系统演示与介绍(YOLOv12/v11/v8/v5模型+Pyqt5界面+训练代码+数据集)
ningfoshao8678的博客
12-16 960
本文介绍了基于YOLO目标检测算法开发的肾结石检测系统。该系统支持图片、视频、文件夹批量及摄像头实时检测，包含用户登录、多模型切换等功能。技术栈采用Python3.10、PyQt5和SQLite，对比了YOLOv5/v8/v11/v12四种模型性能，其中YOLO12n精度最高(mAP40.6%)，YOLO11n速度最快(56.1ms)。系统在17000张肾脏影像数据集上训练，mAP@0.5达90%，F1值0.86，能有效识别肾结石位置并显示置信度。
基于PyTorch的深度学习——迁移学习2
Wis4e的博客
12-20 89
接下来，下载预训练模型，冻结模型参数使得反向传播时不更新，修改最后一层输出类别（512x1000改成512x10）现在将迁移学习的特征提取应用于CIFAR-10。
多模态模型CLIP详解
A1233242的博客
12-17 954
CLIP（Contrastive Language–Image Pretraining）是 OpenAI 提出的一种多模态模型，通过对大量“图像–文本”对进行对比学习训练，使模型能够将图像和自然语言映射到同一个语义空间中。它不需要为每个视觉任务单独标注数据，而是通过理解文本描述来完成图像分类、检索和零样本学习等任务，从而具备很强的泛化能力和跨模态理解能力
【深度学习新浪潮】用AI工具解析美联储新闻，搭建量化投资分析流水线
智能守恒_HengAI
12-16 355
用AI工具解析美联储新闻，本质是将“定性政策信号”转化为“定量分析指标”，让投资决策更高效、更客观。本文搭建的流水线仅需50行核心代码，即可实现从新闻采集到资产预测的全流程自动化。未来可进一步优化的方向：一是引入大语言模型（如GPT-4o）做政策文本深度解读，挖掘“点阵图分歧”“官员立场博弈”等隐性信息；二是接入实时交易数据，构建“新闻→信号→交易”的闭环策略。
多模态知识图谱推理中的Transformer-agnostic，Transformer-based
10-11
首先，用户的问题是：“多模态知识图谱推理中的Transformer-agnostic，Transformer-based”。这是一个中文问题，我需要用中文回答。 关键点是：用户列出了“Transformer-agnostic”和“Transformer-based”，这是在...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值