blueblood7的专栏

python中二维数组创建的陷阱

安装 fairseq 失败

pip install pynini 失败，主要错误在编译 wheel 的时候。

连接2个array，如果是1维数组，要用 np.hstack，2维数组，要用 np.vstack。但可以统一用 np.concatenate(, axis=0)。

torch、random 和 np.random 在多进程中随机数的初始种子。

docker 中没有 git，可以通过共享主机文件夹，在主机中做 git clone。

发现预编译的版本最高支持 pytorch1.10、cuda11.3。

调小 batch size。

如果 tensor 是连续的，reshape 返回的是视图，和 view 一致。

把 DataLoader 中 num_workers 设置成 0 就好了。

解析 cifar10 的压缩包到图片

从 timm 和 torchvision 分别加载 resnet50 预训练模型，从 onnx 看，权重是一样的。

使用 DDP时，如果不是 每块 GPU 一个进程，torch.autocast 应该放在 forward 中。

SE 的 ONNX 图

cross entropy loss = log softmax + nll loss

onnx 转 trt 的时候出现错误：[04/22/2022-15:45:13] [W] [TRT] onnx2trt_utils.cpp:220: Your ONNX model has been generated with INT64 weights, while TensorRT does not natively support INT64. Attempting to cast down to INT32.[04/22/2022-15:45:13] [E] [TRT] (Unnamed

执行 torch.load 时出现错误：“RuntimeError: [enforce fail at inline_container.cc:222] . file not found: archive/data/94479765723472”或者“RuntimeError: [enforce fail at inline_container.cc:145] . PytorchStreamReader failed reading file data/94100453134480: inval

目录生成 trt 模型1、使用代码2、onnx模型和图片3、修改代码4、结果推断 trt 模型生成 trt 模型1、使用代码https://github.com/rmccorm4/tensorrt-utils.git2、onnx模型和图片模型：动态batch输入（假设为mob_w160_h160.onnx，输入是 [batchsize, 3, 160, 160]）。图片：一堆图片（假设有1024张），不需要其他描述文件。在tensorrt-u...

效果如下：代码如下：from math import cos, sin, piimport numpy as npimport matplotlib.pyplot as plt'''# https://github.com/deepinsight/insightface/blob/master/recognition/arcface_torch/losses.pyclass ArcFace(torch.nn.Module): """ ArcFace (https:/..

TITAN X (Pascal) 的显卡，当 batch size 过大爆显存时，就会出现 GPU丢失 的错误。

在 宿主机上运行基于 DDP 的 pytorch 训练程序没问题，进入 docker 后运行，出现 "unhandled system error, NCCL version 2.7.8" 的错误。解决方法：在 python -m torch.distributed.launch --nproc_per_node=4 ...前加上 NCCL_DEBUG=INFO可以看到：s215:623:649 [3] include/shm.h:48 NCCL WARN Error while cr

参考：1、ubuntu 安装 k8s2、报错：The connection to the server localhost:8080 was refused - did you specify the right host or port?3、Connecting to raw.githubusercontent.com failed: Connection refused. 解决办法安装 flannel 时使用：(python38) ai200@ubuntu16:/$ kubectl

错误1：“NCCL WARN Connect to failed : Network is unreachable”解决方法：设置环境变量NCCL_SOCKET_IFNAME=enp（有可能是eno，可以先用ifconfig 查看）

使用 onnxruntime-gpu（简称ORT）1.7 推断 onnx模型时出现如下警告，2021-12-01 15:50:30.792327215 [W:onnxruntime:Default, fallback_cpu_capability.cc:135 GetCpuPreferredNodes] Force fallback to CPU execution for node: Gather_1912021-12-01 15:50:30.792374122 [W:onnxruntime:De

错误1：“Field 'name' of graph is required to be non-empty.”解决：对 model.graph.name 赋值。错误2：“Nodes in a graph must be topologically sorted, however input ...”解决：调整节点顺序，保证每个节点的输入都先于它存在。参考代码如下：def check_update_model(model): if (model.graph.name == ''

结论是，还好吧。从代码量看，差不多：# -*- coding:utf-8 -*-import torchfrom torch import nnfrom torch import einsumfrom einops import rearrangeclass SimpleQKV(nn.Module): def __init__(self, dim, use_ein): super().__init__() self.proj = nn.Linea

swin transformer 代码非官方实现，但是好理解。转 onnx 代码：import torchfrom swin_transformer_pytorch import swin_tpth_filename = './demo.pth' # 训练好的权重onnx_filename = './demo.onnx'net = swin_t()weights = torch.load(pth_filename)#net.load_state_dict(weights)n..

F.pad 的使用参考Pytorch之torch.nn.functional.pad函数详解F.pad 可用在通道扩充上。import torchimport torch.nn.functional as Fx = torch.randn(1,3,5,4)added_chan_num = 2use_pad = Trueif (not use_pad): z = torch.zeros(1,added_chan_num,5,4) x_a = torch.cat((x,z.

torch.nn.Unfold 是把batch中的数据按 C、Kernel_W、Kernel_H 打包，详细解释参考：PyTorch中torch.nn.functional.unfold函数使用详解本文主要是把 Unfold 返回的tensor的中间部分还原成 patches。# -*- coding:utf-8 -*-import cv2import torchimport numpy as npimg1 = cv2.imread('../128128/1.png')img2 =

带动态输入的view或者reshape转成onnx会有shape/gather/unsqueeze/concat算子。替换成 flatten 即可。def forward(self, inputs): x1 = self.conv1(inputs) x2 = self.conv2(x1) # 带动态输入的 view 或者 reshape 转成 onnx 会有shape/gather/unsqueeze/concat算子。 ...

一个训练好的 onnx 中有效信息包含 graph 中的 node（位置关系），initializer（权重），input、output（它们不是node，是value info）。假设有 3个 onnx，是具有相同结构、不同权重的模型（例如使用不同数据训练）。原模型 输入名：‘img’，输出名：‘fea’。新模型的输入和原模型一样，输出需要把原输出相加。# -*- coding:utf-8 -*-import onnximport copylist_modelname = ['./m

在一个几乎啥都没有的docker环境（ubuntu16.04）中编译带 tensorrt 的 onnxruntime：1、安装 gitroot@a42b2c92c7f3:/# git clone --recursive https://github.com/microsoft/onnxruntime.gitbash: git: command not foundroot@a42b2c92c7f3:/# apt-get install git2、git clone中的错误，参考跳坑 g.

用 onnxruntime 做推断时，有警告：“[W:onnxruntime:, graph.cc:1069 Graph] Initializer conv1_W appears in graph inputs and will not be treated as constant value/weight.”解决：1、下载remove_initializer_from_input.py2、清理 src.onnxpython remove_initializer_from_input.

错误：在pytorch中，做 backward 时，出现错误："RuntimeError: one of the variables needed for gradient computation has been modified by an inplace"解决：#把下面两行改成第三行#mask = pos_cos > self.cos_thr#pos_cos[mask] = pos_cos_m[mask]pos_cos = torch.where(pos_cos >

>>> x = torch.ones(3, 3)>>> x[1].fill_(2)tensor([ 2., 2., 2.])>>> x[2].fill_(3)tensor([ 3., 3., 3.])>>> xtensor([[ 1., 1., 1.], [ 2., 2., 2.], [ 3., 3., 3.]])>>> torch.renorm(x,.

>>> a=torch.randn(3,4,requires_grad=True)>>> print(a)tensor([[-0.2578, -0.1313, 0.0108, 0.6915], [-0.2369, 0.2228, 0.2128, 0.1992], [-0.5768, -0.5951, 1.9021, -0.6108]], requires_grad=True)>>> b=torch.ra.

DP 需要传输“数据”、“模型”、“输出”、“损失”、“梯度”。DDP只传输 “梯度”。另：Reduce 是输入多个、输出一个的意思，可以是求和，求积，取最大或最小值。Gather 是组合多个的意思。例如 A卡的数据是 x1，B卡是x2，reduce的操作是+：reduce 的结果是指定卡上保存x1+x2，all_reduce是每张卡上保存x1+x2。gather 的结果是指定卡上保存 [x1,x2]，all_gather是每张卡上保存 [x1,x2]。参...

1、从DataParallel 到 DistributedDataParallel，最大的改变是启动方式：从 python a.py 到 python -m torch.distributed.launch --nproc_per_node=4--use_env a.py--nproc_per_node 表示单机使用4块GPU， --use_env 表示不给 a.py 增加参数--local_rank。torch.distributed.launch 的作用就是用多进程的方式启动 a.py，..

参考源码：https://github.com/biubug6/Face-Detector-1MB-with-landmark设batch=N，训练图片大小为300*300，输出通道数为64，每个点的anchor数为2，反例交并比阈值为0.35，正反例样本比例为1:7。1、任取N张图片，从每张图中随机取一个方块，（确保其中有人脸，如没有则重取方块，超过一定次数使用原图），做图像增广（包括色调变换、镜像等），缩放成300*300。2、主干网络输出map大小为N*64*38*38、N*128*19*

编译支持 python3 的caffe 和 pycaffe:1、cd ${caffe_root}2、vi Makefile.config 去掉 71-73 行前的# PYTHON_LIBRARIES := boost_python3 python3.5m PYTHON_INCLUDE := /usr/include/python3.5m \ /usr/lib/python3.5/dist-packages/numpy/core/include ...