<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[xddwz的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/xddwz</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; xddwz]]></copyright><item><title><![CDATA[Vision-Language Models for Vision Tasks: A Survey]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/137235366</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/137235366</guid><author>xddwz</author><pubDate>Mon, 01 Apr 2024 16:36:29 +0800</pubDate><description><![CDATA[文本特征提取模块，通常采用Transformer结构及其一系列变体作为基础结构。图像特征提取模块，通常采用CNN（以ResNet结构为典型代表）或者Transformer（如ViT、MAE等结构）来提取图像特征。特征融合模块在VLM预训练模型中，最关键的问题是将文本和图像这两种模态的信息建立联系，所以下面对其中的特征融合模块做详细介绍。]]></description><category></category></item><item><title><![CDATA[Clip算法解读]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/137152937</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/137152937</guid><author>xddwz</author><pubDate>Sat, 30 Mar 2024 19:48:06 +0800</pubDate><description><![CDATA[而且重要的是，CLIP 的这种推理的方法摆脱了类别的限制，比如一张 "三轮车" 的图片，假设 ImageNet 里面没有 "三轮车" 这个类，那么基于 ImageNet 所训练的任何模型都无法正确地讲这个图片分类为 "三轮车" ，但是 CLIP 的范式是可以做到的，只需要去做成一个 prompt："A photo of a {tricycle}"。基于最近的图像对比表征学习方面的研究，可以仅预测整个文本与哪个图像配对，而不是该文本的确切单词，实验结果如下图1的绿色曲线所示，其效率是橘红色曲线的4倍。]]></description><category></category></item><item><title><![CDATA[ALBEF算法解读]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/136197114</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/136197114</guid><author>xddwz</author><pubDate>Tue, 20 Feb 2024 20:06:13 +0800</pubDate><description><![CDATA[ALBEF论文全名Align before Fuse: Vision and Language Representation Learning with Momentum Distillation，来自于Align before Fuse，作者团队为Salesforce Research。]]></description><category></category></item><item><title><![CDATA[VILT算法解读]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/136192533</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/136192533</guid><author>xddwz</author><pubDate>Tue, 20 Feb 2024 16:09:48 +0800</pubDate><description><![CDATA[首先是文本输入，原始的文本输入可以看成是一个单词序列（比如图中的a，stone，statue等等），然后通过Word Embedding算法处理为词嵌入向量，所谓词嵌入向量就是一个高维的向量表征，同一个单词具有相同的嵌入表征，同时同义词的表征距离越近（具体词嵌入的过程可以参考NLP的一些资料，简单来说就是需要一个词汇表（vocabulary dict），然后将单词分词后转化为词汇表中的索引，再将数字索引变为高维向量）。由于视觉和文本输入被转化为了相同的token特征，所以后续的处理方式就可以统一了。]]></description><category></category></item><item><title><![CDATA[【LLM与多模态】Transformer为什么如此强大]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/136190137</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/136190137</guid><author>xddwz</author><pubDate>Tue, 20 Feb 2024 14:45:46 +0800</pubDate><description><![CDATA[同时，大规模的训练数据和优化技巧也为提高模型性能做出了重要贡献。]]></description><category></category></item><item><title><![CDATA[解决ChatGLM-6B的微调算法运行train.sh出错]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/132670039</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/132670039</guid><author>xddwz</author><pubDate>Mon, 04 Sep 2023 15:15:21 +0800</pubDate><description><![CDATA[升级transformers。]]></description><category></category></item><item><title><![CDATA[LoRA大模型加速微调和训练算法解读]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/132607843</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/132607843</guid><author>xddwz</author><pubDate>Thu, 31 Aug 2023 17:26:06 +0800</pubDate><description><![CDATA[冻结预训练模型权重，并将可训练的秩分解矩阵注入到Transformer层的每个权重中，大大减少了下游任务的可训练参数数量。]]></description><category></category></item><item><title><![CDATA[shell先并行执行前两个命令，都完成后再执行后面命令]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/128633185</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/128633185</guid><author>xddwz</author><pubDate>Tue, 10 Jan 2023 17:06:44 +0800</pubDate><description><![CDATA[shell先并行执行前两个命令，都完成后再执行后面命令]]></description><category></category></item><item><title><![CDATA[python多线程时写入文本文件]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/116238669</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/116238669</guid><author>xddwz</author><pubDate>Thu, 29 Sep 2022 21:06:53 +0800</pubDate><description><![CDATA[python多线程时写入文本文件


]]></description><category></category></item><item><title><![CDATA[linux删除文件的前n行]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/124884256</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/124884256</guid><author>xddwz</author><pubDate>Fri, 20 May 2022 15:28:29 +0800</pubDate><description><![CDATA[求描述:

对于比较大的文件，如果需要删除前n行：

操作过程:

1.通过tail命令,将文件尾部的n行数据重定向到新的文件中


tail -n 30000 input &gt; output

2.删除旧的文件,将新的文件修改为原名字
]]></description><category></category></item><item><title><![CDATA[python读写csv文件]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/116238737</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/116238737</guid><author>xddwz</author><pubDate>Wed, 28 Apr 2021 17:23:41 +0800</pubDate><description><![CDATA[python读取csv文件：


import csv

reader = csv.reader(csv_file)
    for kk, line in enumerate(reader):
        print(line)


python写入csv：


result_file = open("result.csv", "w", newline='', encoding='utf-8')
result_writer = csv.writer(result_file, delimiter=',']]></description><category></category></item><item><title><![CDATA[Pytorch 模型load各种问题解决]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/116206358</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/116206358</guid><author>xddwz</author><pubDate>Tue, 27 Apr 2021 17:42:49 +0800</pubDate><description><![CDATA[出现unexpected key module.xxx.weight问题

有时候你的模型保存时含有nn.DataParallel时，就会发现所有的dict都会有module的前缀。
这时候加载含有module前缀的模型时，可能会出错。其实你只要移除这些前缀即可


  pretrained_net = Net_OLD()
  pretrained_net_dict = torch.load(save_path)
  new_state_dict = OrderedDict()
  for k, v i..]]></description><category></category></item><item><title><![CDATA[python通过迭代器读取视频]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/115703363</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/115703363</guid><author>xddwz</author><pubDate>Wed, 14 Apr 2021 16:58:59 +0800</pubDate><description><![CDATA[python通过迭代器读取视频


class VideoIter(object):
    def __init__(self, video_name):
        self.cap = cv2.VideoCapture(video_name)
        self.size = [int(self.cap.get(cv2.CAP_PROP_FRAME_HEIGHT)),
                     int(self.cap.get(cv2.CAP_PROP_FRAME_WIDTH]]></description><category></category></item><item><title><![CDATA[CNN计算网络各层参数量与FLOPs]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/114629663</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/114629663</guid><author>xddwz</author><pubDate>Wed, 10 Mar 2021 10:47:35 +0800</pubDate><description><![CDATA[CNN中经常需要考虑到网络的参数量与计算量等问题，具体的计算方法为：



其中，K是卷积核的大小，Cin核Cout表示输入与输出的通道数，H与W表示特征图的大小。

此外，可以通过python中的stat模块计算与验证，代码：


import torch
import torch.nn as nn
from torchstat import stat

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__ini]]></description><category></category></item><item><title><![CDATA[Focal Loss]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/114397903</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/114397903</guid><author>xddwz</author><pubDate>Fri, 05 Mar 2021 15:17:01 +0800</pubDate><description><![CDATA[1. 总述

Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。



2. 损失函数形式

Focal loss是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉上损失：



是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优。那么.]]></description><category></category></item><item><title><![CDATA[momentum 动量法]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/113888320</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/113888320</guid><author>xddwz</author><pubDate>Sat, 20 Feb 2021 17:49:45 +0800</pubDate><description><![CDATA[参考：https://blog.youkuaiyun.com/tsyccnh/article/details/76270707?utm_source=distribute.pc_relevant.none-task

如果把梯度下降法想象成一个小球从山坡到山谷的过程，那么前面几篇文章的小球是这样移动的：从A点开始，计算当前A点的坡度，沿着坡度最大的方向走一段路，停下到B。在B点再看一看周围坡度最大的地方，沿着这个坡度方向走一段路，再停下。确切的来说，这并不像一个球，更像是一个正在下山的盲人，每走一步都要停下来，用拐杖来]]></description><category></category></item><item><title><![CDATA[Batch Normalization详解]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/113773636</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/113773636</guid><author>xddwz</author><pubDate>Tue, 09 Feb 2021 17:38:51 +0800</pubDate><description><![CDATA[Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》的导读。

　　机器学习领域有个很重要的假]]></description><category></category></item><item><title><![CDATA[dropout原理解析]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/113761466</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/113761466</guid><author>xddwz</author><pubDate>Mon, 08 Feb 2021 19:35:16 +0800</pubDate><description><![CDATA[1. Dropout简介

1.1 Dropout出现的原因

在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。

过拟合是很多机器学习的通病。如果模型过拟合，那么得到的模型几乎不能用。为了解决过拟合问题，一般会采用模型集成的方法，即训练多个模型进行组合。此时，训练模型费时就成为一个很大的问题，不仅训练多.]]></description><category></category></item><item><title><![CDATA[卷积神经网络感受野的计算]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/113744564</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/113744564</guid><author>xddwz</author><pubDate>Sun, 07 Feb 2021 17:30:34 +0800</pubDate><description><![CDATA[学习RCNN系列论文时， 出现了感受野(receptive field)的名词， 感受野的尺寸大小是如何计算的，在网上没有搜到特别详细的介绍， 为了加深印象，记录下自己对这一感念的理解，希望对理解基于CNN的物体检测过程有所帮助。

1感受野的概念

　　在卷积神经网络中，感受野的定义是 卷积神经网络每一层输出的特征图（feature map）上的像素点在原始图像上映射的区域大小。

　　



　　RCNN论文中有一段描述，Alexnet网络pool5输出的特征图上的像素在输入图像上有很大的感受野（ha.]]></description><category></category></item><item><title><![CDATA[过拟合]]></title><link>https://blog.youkuaiyun.com/xddwz/article/details/113741210</link><guid>https://blog.youkuaiyun.com/xddwz/article/details/113741210</guid><author>xddwz</author><pubDate>Sun, 07 Feb 2021 14:55:34 +0800</pubDate><description><![CDATA[欠拟合与过拟合的概念的成因比较简单，观点统一，这里不再介绍。现在常用的判断方法是从训练集中随机选一部分作为一个验证集，采用K折交叉验证的方式，用训练集训练的同时在验证集上测试算法效果。在缺少有效预防欠拟合和过拟合措施的情况下，随着模型拟合能力的增强，错误率在训练集上逐渐减小，而在验证集上先减小后增大；当两者的误差率都较大时，处于欠拟合状态(high bias, low variance)；当验证集误差率达到最低点时，说明拟合效果最好，由最低点增大时，处与过拟合状态(high variance, low bi]]></description><category></category></item></channel></rss>