- 博客(5)
- 收藏
- 关注
RSS订阅原创 多模态交叉注意力机制中为什么K和V要来自同一模态
在多模态的交叉注意力机制中，Query和Key、Value通常来自不同的模态，这正是交叉注意力的核心所在。
2025-03-14 10:36:03
612
原创 Stable_diffusion技术路线总结(SDXL、SD 1.4/1.5、SD 2.0/2.1)
本文总结了Stable Diffusion 的技术发展，主要讲解SDXL相比于SD1.5、SD2.0的技术改进。
2025-03-13 21:53:46
1706
原创 如何多张GPU同时训练深度学习模型：分布式数据并行代码讲解（Distributed Data Parallel，DDP）
分布式数据并行是一种在分布式计算环境中实现高效训练模型的方法。它将模型的副本分发到多个设备（如多块 GPU 或多台计算节点）上，并通过同步梯度更新来实现数据并行化。以下是 DDP 的核心概念和实现方法。本文自定义一个模型，然后用于MNIST分类任务的训练来讲解分布式数据并行。将模型分发到多个设备，并使用 DistributedDataParallel 包装。使用 DistributedSampler 将数据集分割给不同的进程。需要初始化分布式环境，例如设置通信后端和分布式节点的地址。
2025-03-09 18:50:12
588
原创 扩散模型中的交叉注意力机制
交叉注意力机制（**Cross-Attention**）是扩散模型（如 **Stable Diffusion**）中将 文本信息（Prompt） 与 图像生成过程结合的重要技术。它的作用是使用文本编码器的输出（语义表示）来引导扩散模型的 U-Net 结构生成符合文本描述的图像。
2025-03-06 10:01:27
6824
原创 【C++】const成员函数
当有如下代码const Stock land = Stock("asdf");land.show();此时编译器不会执行show函数。因为编译器不确定在show函数中是否会修改land对象的值。而land对象是const类型，其数值不能被修改。此时需要一种新的方法，来确保函数不会修改调用对象。C++解决方法是吧const关键字放在函数括号后。例如void show() const;...
2020-07-09 10:16:23
105
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人