csdnn345的博客

本文介绍了Vision Transformer(ViT)的模型结构、实现细节及实践应用。首先分析了ViT的核心思想：将图像切割为patch序列，通过线性投影转换为token后加入位置编码，经Transformer Encoder处理后进行分类预测。文章结合PyTorch代码详细解析了图像嵌入、位置编码、多头注意力机制等关键模块的实现。在实践部分，展示了如何构建自定义数据集训练ViT模型，并对比了直接训练和预训练微调的效果差异。研究表明，ViT虽然缺乏CNN的归纳偏置特性，需要大量训练数据支持，但其创新性地将

Transformer 学习笔记

本文对比测试了三种剪枝方法在 YOLOv5n6 模型上的应用效果。通过对比验证了不同剪枝方法的优劣，为进一步研究模型优化（如结合量化、蒸馏等方法）奠定了基础。

本文探讨了深度学习模型剪枝技术，重点分析了三篇关于结构化剪枝的论文。这些方法相比非结构化剪枝更易于硬件加速，并能通过微调恢复精度。文章指出，结构化剪枝在模型优化中具有灵活性高、实现简单等优势，但需要针对不同网络结构设计特定策略。

经过一番折腾实现了 Real-ESRGAN 的边端推理，过程比预想的顺利，最终的效果和速度（能力有限，目前只能做到这个速度）基本满足需求。除了 Real-ESRGAN，也测试了EGVSR和CAMixerSR，都是主打速度快。

记录了一次不使用ultralytics库实现yolov8训练的折腾过程。

CVAT本地部署及使用教程

yolov7-pose改造

labelme自定义功能改写

总体来看 LDM 的使用不算复杂，而且生成效果还不错。在使用 LDM 之前试过DDPM，训练时间太长，生成效果不如 LDM。因为目前只需要无条件生成，对于有条件生成没有测试过，后面如果用到了再具体研究吧。

Latent Diffusion Models 论文笔记