Kkkkaii-优快云博客

原创 RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

loss的时候出了问题导致 `loss.requires_grad=False`

2022-12-27 11:02:05 2124

原创 pytorch 多个 tensor 按位取与 / 按位取或

pytorch 中 `torch.logical_or` 只接受两个 input，但假如有一系列 inputs 都想按位取与该怎么做

2022-12-24 21:00:39 922

原创 torch.scatter中的scatter_sum能做什么事

TL;DL: 可以计算一个一个 tensor 中不同元素的数量，存成一个一维 tensor，新 tensor 中的每个元素就是 sum 出来的不同元素的数量。

2022-12-24 19:36:12 978

原创 fairseq train报错：fairseq-train: error: argument --user-dir: invalid Optional value: ‘./fairseq_models

明明应该有的args，fairseq好像读取不到，然后报 invalid Optional value

2022-09-29 14:37:06 1112 5

原创 Pytorch如果batch size大于dataset size会发生什么

结论先给结论：**和batch size无关了。**DataLoader每次会把full size给出来，同时每个step就等于一个epoch相关ptrblck在以下这个回答中指出：DataLoader的时候设置batchsize之后他就会划分data，然后有个函数__len()__提前计算好了有多少个batch，如果1001个样本，batchsize是10，那__len__()就会返回101，同时最后一个batch将只有1个样本。https://discuss.pytorch.org/t/abo

2022-04-02 17:40:08 2802

原创 scipy和pytorch的sparse库有啥区别

这个问题具体是针对coo matrix这个存储方式问的sparse库首先sparse库是用来存储稀疏矩阵的，pytorch和scipy都有这么个库（好像pytorch比较高的版本才有）。sparse库最主要的就是稀疏矩阵的表示，一般使用三元组的方式存储：（行，列，值），比如scipy的 coo_matrix((data, (i, j)), [shape=(M, N)])pytorch和scipy的sparse有啥区别因为看到GNN一些代码里在处理邻接矩阵的时候会把pytorch的sparse转换成s

2022-03-29 23:38:33 1620

原创 Git能用就行的操作

学到哪记到哪git clone如果把代理挂到HTTP代理的话一定要用http方式才快Git安装配置看看是否装成功查看版本信息：git --version添加用户信息git config --global user.name "KyGao"git config --global user.email "im_gky@outlook.com"可以通过 git config --list 查看添加的信息有没有错Git 自己提交创建仓库先在 github 创建一个仓库创建仓库后

2022-03-28 14:55:28 88

原创 Bad configuration option: \302\240

ssh 配置文件时奇奇怪怪的错，我碰到的是：Bad configuration option: \302\240一直不清楚后面这个 \302\240 是啥意思，后来参考这个回答：https://stackoverflow.com/questions/48467278/bad-configuration-option-240-240user-when-setting-up-amazon-codecommit原来是空格不对，把空格删了重新手打就好...

2021-11-04 11:05:28 2855

原创 numpy 的花活

python 查看一个 list 中的元素是否全都一样变成set之后看看元素个数len(set(a_list_name.to_numpy()))

2021-10-09 14:24:40 180

原创 fairseq 安装报错

fairseq 安装报错问题Running setup.py install for fairseq ... errorERROR: Command errored out with exit status 1:command: /Users/superman/anaconda/bin/python -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'/private/var/folders/3h/3v_dnwl95tl9k9swb

2021-02-08 12:44:09 3365 5

原创 PyTorch 快速查看 pth 文件保存的参数

不需要 run 什么脚本来 load 然后 print，直接用命令行解决：（注：假设该环境下有 torch 包，该文件名 t.pth）import torch # 命令行是逐行立即执行的content = torch.load('t.pth')print(content.keys()) # keys()# 之后有其他需求比如要看 key 为 model 的内容有啥print(content['model'])进行快速检查非常方便...

2020-12-14 21:26:11 28100 3

原创 Linux 写命令提取 log 中的 acc 和 loss

每个人的 log 长相不一样，都是随时调整，但是基本离不开 cat grep awk 这几个命令log 长相2020-12-04 06:02:47 INFO - 12/04/20 14:02:46 - 3 days, 3:31:31 - 360000 - 112.63 sent/s - 4279.79 words/s - MLM-ar: 2.3477 || MLM-de: 1.7728 || MLM-el: 1.5244 || MLM-en: 1.7175 || MLM-es: 1.76

2020-12-10 17:15:52 686 3

原创 Linux Miniconda3 安装

两行命令足够了wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.shsh Miniconda3-latest-Linux-x86_64.sh然后 source ~/.bashrc 或者重启 terminal 就可以愉快地开始了Anaconda3 同理

2020-12-09 10:19:46 2123

原创 AttributeError: module ‘torch‘ has no attribute ‘vstack‘

AttributeError: module ‘torch’ has no attribute ‘vstack’感谢 Poe Dator 的解答，这里做个记录错误原因：似乎是PyTorch 1.8.0 之后才支持这个 torch.vstack解决办法：所以在这之前用 torch.cat([a,b], dim=0) 代替就行...

2020-11-27 16:21:50 2568

原创 PyTorch 多维 Tensor 乘法

PyTorch 多维 Tensor 乘法可太难了问题描述有俩矩阵：x: torch.Size([1, 3]) 和 y: torch.Size([3, 16, 256, 1024])，看起来是直接用某种乘法就能搞定，但是我试过 torch.mm()，torch.mul()，torch.matmul()，* 全都不行。解决办法后来才知道 torch.matmul 乘的机制很奇怪，我直接写怎么做吧：mat1 = x.float()mat2 = y.permute(2, 3, 0, 1).float(

2020-11-27 16:11:08 2157

原创 PyTorch Warning uint8 to bool

PyTorch Warning uint8 to bool问题报错如下：warning: indexing with dtype torch.uint8 is now deprecated, please use a dtype torch.bool instead. (function expandTensors)虽然只是warning，但是数据量一大就会导致比如 OSError: [Errno 5] Input/output error 导致Terminal 崩溃，所以还是要解决一下。解决之

2020-11-27 09:39:08 1746 5

原创 Linux递归搜索特定文件内容

Linux递归搜索特定文件内容因为PyTorch报 Warning 很讨厌:[W IndexingUtils.h:20] Warning: indexing with dtype torch.uint8 is now deprecated, please use a dtype torch.bool instead. (function expandTensors)所以想把这些 uint8 都转到 bool 来，对代码又不熟悉，所以就需要搜索哪里用到了 uint8，如下：grep -r uint8

2020-11-26 21:18:30 1017

KKai的博客