dxz_tust-优快云博客

原创解读（DivideMix）DIVIDEMIX: LEARNING WITH NOISY LABELS AS SEMI-SUPERVISED LEARNING

这是Salesforce在今年年初出的一篇关于半监督学习的文章被ICLR 2020收录，目前还保持在SOTA状态。文章主要做了两点工作：• 提出了一个co-divide方法。• 利用label co-refinement 和co-guessing 改善之前的谷歌提出的MixMatch方法1.co-divide方法大概思路：同时训练两个网络，让每个网络在样本损失分布上去拟合GMM模型，并利用GMM模型，将训练数据分为标签数据和未标签数据,co-divide 使前面分的标签与未标签数据分别在

2020-08-01 23:20:43 4850 1

原创关于类激活图（CAM）运行机制的解读

CAM:https://arxiv.org/abs/1512.04150Grad-CAM：https://arxiv.org/pdf/1610.02391v1.pdfGrad-CAM++:https://arxiv.org/abs/1710.11063最近看了网上很多关于这三篇解读的文章，但是对于一个“CAM新人“来说，还是遇到了很多疑惑。下面总结几点：1.CAM能让我们对CN...

2020-03-01 17:50:40 13463 4

原创解读FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence

还是Google research出品论文：https://arxiv.org/abs/2001.07685官方代码：https://github.com/google-research/fixmatch主要贡献：（A+B=C的操作）1.主要结合了pseudo label和 consistency regularization（两种数据增强方式实现）方法。2.在cifar1...

2020-01-27 22:24:48 15261 8

原创解读RealMix:Towards Realistic Semi-Supervised Deep Learning Algorithms

来源：https://arxiv.org/pdf/1912.08766.pdf官方代码：https://github.com/uizard-technologies/realmix主要贡献：1.在cifar10数据集上仅仅只利用每类250个标签数据实现了sota(error rate:9.79%)2.在标签数据和无标签数据完全 mismatch的情况下，依然能够surpass b...

2019-12-21 23:36:29 1382

原创 Unsupervised Data Augmentation for Consistency Training

论文地址：https://arxiv.org/pdf/1904.12848v4.pdf官方实现代码（tensorflow):https://github.com/google-research/uda同样来自于谷歌的，偶然看到的，关于无监督数据增强方法文章主要在三种任务上进行了相关实验：文本分类、图像分类、迁移学习创新点：监督学习中的数据增强方法在半监督学习中同样可以用来对无标...

2019-11-09 19:14:15 2148

原创 torch分布式之组内通all_gather通信

【代码】torch分布式之组内通all_gather通信。

2024-12-11 00:01:35 146

原创 : Accelerator.init() got an unexpected keyword argument ‘dispatch_batches‘

accelerator 版本问题，换成0.28.0版本。

2024-12-07 22:42:47 784 1

原创 token压缩最新论文更新

token 压缩/token compress

2024-09-09 17:22:35 223

原创 deepspeed中all_to_all_single方法原理

这是在单机多卡上的实验（此处只用到4张卡），一句话解释，就是按照rank顺序，将所有进程中的第rank行数据汇聚到第rank卡上（output就是最后汇聚的结果）

2024-01-17 19:04:04 1353

原创 torch 实现inverse-square-root scheduler

【代码】torch 实现inverse-square-root scheduler。

2024-01-02 16:04:09 814

原创 Pytorch3d 使用pytorch3d.renderer.PerspectiveCameras

使用自己的相机参数，记得设置in_ndc=False。主要区别在于image_size=部分的写法。

2023-07-20 16:52:56 1050

原创 python中numpy存json 出错：json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

正确写法：(一定记得用f = open("xx.json",'w') 后f.close()一下，或者直接用with 管理不用手动close）

2023-06-09 15:41:06 388

原创 libtorch/share/cmake/Caffe2/public/cuda.cmake:151

在cuda.cmake 147行处（if(CAFFE2_USE_CUDNN)上）添加 set(CUDNN_INCLUDE_PATH /usr/local/cuda/include)cuda 一般是安装在/usr/local/cuda 但是caffe2中的cmake默认路径是/usr/lib/cuda。使用libtorch cmake 出现该错误。出现这个错误的前提是你已经安装了cudnn。所以自然会出现这个错误。

2023-05-08 11:53:48 614

原创 joblib.load EOFError

【代码】joblib.load EOFError。

2023-05-07 16:36:19 321

原创 opencv和imageio 格式互转图片对不齐

opencv和imageio 格式互转图片对不齐

2022-12-05 22:46:57 609

原创 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

2022-08-10 23:41:39 992

原创 sudo: /etc/sudoers is world writable

sudo: /etc/sudoers is world writable

2022-08-08 21:20:06 806

原创 module must have its parameters and buffers on device cuda:0 (device_ids[0]) but found one of them

model = torch.nn.DataParallel(model, device_ids=[0,1,2,3])model = model.module.to(torch.device('cpu'))

2022-04-24 15:26:52 3990

原创 pytorch 使用copy.deepcopy(model)问题

某次做实验,为了完全复制一个新模型,使用copy.deepcopymodel2 = copy.deepcopy(model1)这样复制后model2中的param.grad都是None,原因是deepcopy 只复制了数值,并没有对相关属性做对应的copy

2022-04-06 20:03:16 2901

原创 pytorch dataloader中每个线程随机种子问题

今天调代码遇到一个有趣的现象,在全局设置好随机种子后,在不同的num_workers中,numpy,random,torch中生成的随机数有差别,比如下面#num_wokers=3时候,分别打印print(random.random(),torch.rand(1),np.random.rand()),#可以发现用np随机出来的值竟然是一样的,所以我们如果要想让np随机出来的值不一样,需要自己设置一个回调函数worker_init_fn0.5682499026693681 tensor([0.92

2022-03-08 20:06:18 1944

原创 matplotlib 错误show() got an unexpected keyword argument ‘block‘

主要是使用了plt.pause先查看自己的import matplotlib as mpl;print(mpl.__version__)看看是否自己的版本过低造成的,我这里的版本是3.1.2解决方法(升级):python3 -m pip install -U matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple...

2021-11-05 16:16:38 2144

原创某块卡cuda out of memory,但是显存是空闲状态

在不用reboot的情况下,直接使用sudo nvidia-smi -r -i出问题的gpu_id,重置即可,考虑到在多卡环境下有的是用的nvlink作为桥接,这种情况需要对使用nvlink的卡进行同时重置,比如8卡:sudo nvidia-smi -r -i 0,1,2,3,4,5,6,7...

2021-10-18 14:17:23 1496

原创 fn.external_source用法

def get_data(): test_data_shape = [3,2,2] out = np.random.randint(100, 255, size=test_data_shape) print(out) print("***----***") return outdef test_cpu(): #prefetch_queue_depth 表示缓存多少个batch_size的数据在内存,默认是2 .

2021-08-17 16:57:01 552

原创 Python Error: No module named skimage.draw

pip3 install scikit-image

2021-08-05 20:23:19 494

原创 ubuntu终端显示中文是问号以及乱码问题

缺少中文编码格式zh_CN.UTF-8解决方案:sudo locale-gen zh_CN.UTF-8最后重启终端

2021-07-06 14:05:48 737

原创 docker+chrome+selenium 部署无头模式爬虫出错

python3.8 chrome+chromdrive+ubuntu20.04版本都是对应的错误代码:DevToolsActivePort file doesn't exist按照之前的方案加上如下代码:options = webdriver.ChromeOptions()options.add_argument("headless")options.add_argument('no-sandbox')错误依旧会出现然后直接执行我的chrome:/opt/google/c

2021-04-02 16:14:24 794

原创 python3下不同 opencv读取空图片后抛出异常

对于 python opencv3.3版本来说,下面代码不会抛出异常try: img = cv2.imread("空图") h,w,_ = img.shapeexcept: print("find error")对于 python opencv4.4版本来说,上面代码就可以抛出异常.

2021-03-24 14:21:52 600

原创 torch.optim.lr_scheduler.OneCycleLR用法

代码：import cv2import torch.nn as nnimport torchfrom torchvision.models import AlexNetimport matplotlib.pyplot as plt#定义2分类网络steps = []lrs = []model = AlexNet(num_classes=2)lr = 0.9optimizer = torch.optim.SGD(model.parameters(), lr=lr, momentum=

2021-01-16 17:28:21 14199 10

原创 pytorch 动态量化加载权重出错unexpected keys _packed_params

相关实验代码：仅仅只是量化对应的权重层，这里只量化lstm，fc层。import numpy as npimport timeimport cv2import torchimport torch.nn as nnimport torch.nn.quantized.dynamic as nnqdclass mymodel(nn.Module): def __init__(self): super(mymodel, self).__init__()

2021-01-16 16:15:31 830 1

原创 linux 下获取两个文件的不同行和相同行

a，b两个文件，a中有，b中无的行：cat a b b | sort | uniq -ua，b中都有的行：cat a b | sort | uniq -d

2020-11-27 16:59:05 5152

原创解读FROST: Faster and more Robust One-shot Semi-supervised Training

比较新的文章，先占个坑，大概看了看，将目前比较火的对比表征学习和半监督结合起来了，感觉上很牛逼的样子

2020-11-23 22:57:40 264

原创 Missing key(s) in state_dict: “total_ops“, “total_params“, “module_list.total_ops“,

这个错误是在yolov3项目上遇见的，因为使用了htop,去获取整个model 的mac，所以会导致total_params以及total_ops被注册到网络中，又因为你的pt文件中根本没有这个key，所以才会导致miss错误。使用下面两种方式查看网络的参数（被优化器可优化参数，不被优化器优化的参数）#学习参数forname,paraminmodel.named_parameters():print(name)#常量参数或者是不能被优化器优化的参数fornam...

2020-09-02 19:51:55 4995 11

原创 python 堆栈跟踪

使用方法：importtracebacktraceback.print_stack()

2020-09-02 19:41:31 296

原创 onnx export RuntimeError: Unrecognized attribute: min for operator Clip

pytorch 升级到1.6

2020-08-07 16:44:58 775

原创 ONNX export failed: Couldn‘t export operator aten::upsample_bilinear2d

升级pytroch >1.3opset_version=10torch.onnx.export(model, dummy_tensor, output, export_params=True,opset_version=11)

2020-08-07 14:39:18 437

原创 conda insatll 包警告Warning: ＞10 possible package resolutions (only showing differing packages):

解决办法：conda update --strict-channel-priority --all重置conda的信道优先级

2020-08-06 10:53:50 13891 7

原创 pytorch1.6 使用在含有RNN/LSTM网络中使用amp，出错：CUDNN_STATUS_BAD_PARAM,

with torch.cuda.amp.autocast(): preds = model(inp) batch_size = inp.size(0) text, length = converter.encode(labels) preds_size = torch.IntTensor([preds.size(0)] * batch_size) loss = criterion(preds, text, preds_siz..

2020-07-29 17:44:53 786 2

原创 conda 安装包出现Solving environment: failed with initial frozen solve. Retrying with flexible solve.

解决方法：conda config --set channel_priority flexible

2020-07-04 00:58:33 3640 1

原创 cuda编程一

一个grid中包含多个block一个block中包含多个thread对于不同的组织方式都有各自不同的存储空间每个thread---私有local memery每个block--shared memery对于每个设备device 共有的global memery。CUDA中三类声明__global__ 定义一个kernel函数（数据并行处理函数）入口函数，cpu上调用，GPU上执行必须返回void__device__ GPU调用，GPU 执行__ho...

2020-06-25 22:37:42 183

原创关于pytorch中，dataloader中的num_work运行机制的理解

最近遇到一个问题，发现dataloader中数据加载异常的慢，慢慢的排查到了dataloader这一步，我以前一直以为num_work共同维护一个大小为batch size的队列，但是不是，它每次会开启num_work个线程，分别去加载dataset里面的数据，直到每个worker加载数据量为batch size 大小（num_work*batch_size）才会进行下一步训练。而不是我之前理解的，只要总数据量达到batch size就立刻进行下一步训练。...

2020-06-02 20:05:15 4338