Felaim的博客

是 PyTorch 中实现嵌入操作的核心模块，它将离散符号映射到连续的语义空间，是处理符号数据的基础工具。通过训练，模型可以自动学习符号之间的语义关系（例如相似性）。它通常用于自然语言处理（NLP）任务（如词嵌入）、处理分类特征，或任何需要将离散索引转换为密集向量的场景。在 PyTorch 中，

Onnx模型前向验证说明：下方代码对应的是模板代码onnx_path是对应onnx的路径，data_path是pth模型前向保存的网络输入和网络输出输出的打印比较多，可按照自己需求进行关闭import onnxruntimeimport torchimport pickleimport numpy as npimport onnxonnx_path = "***.onnx"data_path = "***.pkl"# 获取onnx网络的输出model = onnx.load

Paper Reading: GELUs1. 简介文章全名： GAUSSIAN ERROR LINEAR UNITS （GELUs）这个激活函数是LZ在看BERT的时候，提及到的，因为对这个激活函数还不是很熟悉，于是就补充下对应的知识。主要想知道几个问题：激活函数是怎么实现的？与之前的激活函数相比，它的优势在什么地方？使用它对训练结果有什么影响？什么是GELUs？是指高斯误差线性单元（Gaussian Error Linear Unint, GELU）,这是一种高性能的神经网络激活函数，

一文理解常用激活函数1. Sigmoid公式：Sigmoid(x)=11+exp⁡(−x)\text{Sigmoid}(x) = \frac{1}{1 + \exp(-x)}Sigmoid(x)=1+exp(−x)1​Sigmoid的函数形状如下图所示:对应的导数形式如下图所示：Sigmoid函数的优点：便于求导，可以看到Sigmoid的梯度是平滑的函数能够压缩数据，数据会压缩在0-1之间适合用于前向传播Sigmoid函数的缺点：容易出现梯度消失Sigmoid的输出不是0均

transformer ： Quick tour1. 使用pipeline开始一个任务1.1 transformer的pipeline提供的任务类型情感分析：文本是积极的还是消极的文本生成（英语）：给定一个提示，模型会生成对应的内容名称实体识别（Name Entity Recognition, NER）:输入一个句子，将每个单词标记为其表示的实体（如人，地点等）问题解答：为模型提供一些上下文和问题，并从上下文中提取答案填充被屏蔽的文本：给定带有被屏蔽词的文本（例如，用[ma

A simple baseline for one-shot multi-object tracking（三）4.多分类背景在实际项目中可能需要不仅仅做行人的跟踪，实际上还有可能需要跟踪机动车，非机动车，所以就需要我们对代码进行修改，使得其支持多分类多目标跟踪。4.1 数据集制作格式还是按照[class] [identity] [x_center] [y_center] [width] [height]之前class这一类都是0，现在需要根据不同的情况进行修改，比如说LZ需要跟踪行人和非机动车

CenterNet （Objects as Points）一、背景介绍先说下为啥要写着篇博客，这是2019年检测的一篇文章，非常的火，也非常的好用。就LZ目前接触的几个项目来说，基本上目标检测使用的都是CenterNet中这一套，DBFace，FairMOT等等一系列。可以看到如果检测能够做的很快很好，可以空下很多资源给其下游的应用，如安防、自动驾驶等任务中去。所以，对于现在AI可以落地的一些应用中，检测占了很大一部分的比例。这个结构为什么能够那么火呢？结论是它的速度很快并且精度也很高，所以用的小伙伴

Pytorch报错insufficient shared memory (shm)一、出现错误背景LZ自己在Docker中配了一套环境，里面也同时安装了Anaconda，然后包含各种例如pytoch，tf，onnx，caffe等不同框架，在容器中使用pytorch训练的时候会出现以下问题ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory (shm).

这个是LZ在加载模型时报的一个错误，一直以为是版本什么的问题，最后发现完整报错如下:RuntimeError: unexpected EOF, expected 41812675 more bytes. The file might be corrupted.terminate called after throwing an instance of 'c10::Error'EOF是代表文件结束的标记，原来是模型被破坏了，后面重新下载了一遍模型，问题解决！...

A simple baseline for one-shot multi-object tracking（二）3. 代码精读

A simple baseline for one-shot multi-object tracking1. 背景介绍作者来自华中科技大和微软亚亚研院，之前LZ是看过一点多目标跟踪的算法的，当时采用的是centernet+deepsort的的方法，速度呢在LZ的小笔记本上970m，在12fps左右，但是这篇论文中说速度已经是30fps，速度提升了一倍多，并且在2DMOT15，MOT16，MOT17，MOT20都是rank first，是个非常厉害的工作，并且速度和精度的提升，使得工业界也能够使用对应的思

Deformable ConvNets v22. pytorch1.6编译LZ其实是为了预研FairMOT论文，然后需要配置dcnv2的环境，期间当然不是一帆风顺的，已经习惯了。。。其中有几个报错还是很多小伙伴会遇到的，在github上也有很多类似的issue，所以就重新开一篇，毕竟也是一篇CVPR，它值得的。DCNv2_new/src/cuda/dcn_v2_cuda.cu(107): error: identifier "THCState_getCurrentStream" is undefin

模型转换（pth转onnx转caffemodel）一、背景介绍因为模型要用到前端，所以要将pytorch训练的模型转成caffemodel，之前LZ已经写了一片tensorflow转caffemodel的教程，今天就总结一篇pytorch转onnx转caffemodel的教程二、pth转onnx这个严格意义上是DBFace系列的第四部分，但是主要是用来转模型，对其他模型也是适用的，于是就单独拎出来了，首先放上代码import commonimport eval_toolimport torch

meshgrid Example:: >>> x = torch.tensor([1, 2, 3]) >>> y = torch.tensor([4, 5, 6]) >>> grid_x, grid_y = torch.meshgrid(x, y) >>> grid_x tensor([[1, 1, 1], [2, 2,

libSM.so.6: cannot open shared object file: No such file or directory1. 背景在anaconda环境中安装Opencv,使用如下命令pip install opencv-python激活对应环境时, import cv2报错>>> import cv2Traceback (most recent ...

今天LZ新建了一个环境，前期都很顺利，但是发现pip在环境中无法使用，还有一点，使用anaconda默认安装 python3.8版本的话，pytorch还不兼容，所以在新建环境的时候还是设置下python的版本号，具体设置Anaconda python版本参考这篇博客https://blog.youkuaiyun.com/Felaim/article/details/102910791然后使用pip ins...

这个部分主要是教我们如何将我们自己的图片load进来，对数据进行resize，随机crop的一些操作，当中有两个依赖包scikit-image 和 pandas, 使用conda install或者pip install应该很容易就可以安装上了#导入对应的依赖包 from __future__ import print_function, division import os...

这个还是官网 tutorial上的一个例子，还是非常有意思的，感觉搭建网络不用一开始就上大数据集，可以先用小数据集进行简单训练和inference，为啥呢？如果上来一个大数据集，每次调试载入数据都得30分钟，然后发现存在一个小问题，还不如用个小数据集，确认无误了，再用大数据集，包括预处理也是，先用一部分数据测试可行性，不然时间成本太高了。。。#载入对应依赖库import torchimpo...

这个算是给后续做项目做个预热环节(≧▽≦)/啦啦啦，已经开始写网络层，loss，优化函数这些都有，写起来也不是很费劲，主要就是接口使用上不太熟悉，代码还是很好理解的官网上也给出了对应的一般训练网络的步骤：定义网络结构迭代你的数据集让网络来处理你的输入计算损失计算梯度进行方向传播根据对应的优化算法进行参数更新（例子给的就是简单的梯度下降更新规则）#导入对应依赖包import t...

这部分是pytorch自动求导的部分#首先导入pytorch包import torch# 构建一个全为1的tensor,同时设置需要进行梯度求导x = torch.ones(2, 2,requires_grad=True)print(x)tensor([[1., 1.], [1., 1.]], requires_grad=True)# 做一个加法运算，看到也是带...

LZ之前一直使用的都是tensorflow，对pytorch这个深度框架一直有所耳闻，只是看过部分代码，自己却没怎么写过，感觉还是要学习下，不然跟不上年轻人的时代呢，主要都是pytorch的tutorial的example，自己运行下，然后在稍微注释下，内容比较简单，Pytorch高阶玩家可忽略。#载入对应包from __future__ import print_functionimpor...