dongfangxiaozi_的专栏

如何在Anaconda3下Ubuntu Linux系统直接复制已有的Python Env开发环境

PyTorch模型主要用Python语言开发，在工业界，往往需要将Python的模型转化为C++，以方便其部署和跨平台使用；1.创建PyTorch模型2.转换成torch_script3.保存pt模型4.C++Load模型5.编译编译cmake的版本问题，下载和更新cmake的版本将会是比较麻烦、甚至看运气的事情，根据当前的torch版本，和CPU/GPU环境，选择libtorch版本$ cmake -DCMAKE_PREFIX_PATH=/Use.....

通过使用PyTorch中的torchvision模块，可以较为方便的构建dataset和dataloader首先确保你的数据是按照这种方式放置dataset/classA/1.pngdataset/classA/2.pngdataset/classB/1.pngdataset/classB/2.pngimport torchfrom torchvision import transforms, datasets, utilsdata_transform = transform

在使用PyTorch时，经常需要自己写DataLoader，写DataLoader前需要先写Dataset，通常情况可能需要给定一个file_path动态加载，这里先定义一个X和Y。Dataset类需要实现__getitem__和__len__两个函数from torch.utils.data.dataloader import DataLoaderfrom torch.utils.data.dataset import Datasetimport torch.utils.data as D

很多时候这个错误都以为是Cuda安装的问题。其实并非全部如此，有一部分原因是你的GPU显存被占用光了，再运行就出错了。我就遇到过，rnn(embedded)，使用LSTM/GRU处理Embedding后的序列，为何会出现这个问题。建议nvidia-smi查询一下GPU的使用情况，Kill -9 掉部分程序。尤其是使用Jupyter Lab运行的，没有即使释放显存，会出现这个问题。...

出现这个问题原因很多，尤其是使用Jupyter时，一般而言，都是代码出错，或者多次运行。检查输入和模型是否批评。例如在运行BertModel时，如果num_labels指定错了，和你输入不匹配，就会造成这种问题。bert_config = BertConfig(vocab_size_or_config_json_file=30522, ...

PyTorch在Pycharm等IDE中提示不完全等问题，想必搞深度学习/AI的人甚为之头疼。而且你查资料，各种风骚操作，但最后，基本上，一个个都是：不能用！！！连谷歌也搜不到管用的东西。楼主也搜索了很多资料，然后丢掉。自己想了一想，方法其实很简单：按理说PyTorch 在1.0以后修复了此Bug，我觉得Facebook的那帮人测试做得贼不好。可能测试都是外包出去的。毕竟老美资本主...

torch.cosine_similarity 可以对两个向量或者张量计算相似度>>> input1 = torch.randn(100, 128)>>> input2 = torch.randn(100, 128)>>> output = torch.cosine_similarity(input1, input2, dim=1)p...

这篇和CUDA安装以及Pytorch: ModuleNotFoundError: No module named 'torch_scatter.scatter_cpu'是姐妹篇，错误原因类似。mpi_lib.cpython-36m-x86_64-linux-gnu.so: undefined symbol:以及：ImportError: libcudart.so.9.0: cannot o...

说起循环神经网络，如果需要自己去实现一个双向RNN/LSTM/GRU模型，那么如何去实现呢？首先需要熟悉循环神经网络的基本原理。假如输入的序列是{} （不得不吐槽，csdn公式编辑器有点烂），是1时刻下单词对应的向量，假设是1*128维度的。实际上，正向的LSTM，就是从左往右走，计算一遍LSTM，得到{}，这里是1时刻的输出，也是个向量。有些博客和教程用来表示，比容易弄混淆，使用其实...

RuntimeError: cublas runtime error : library not initialized at /opt/conda/conda-bld/pytorch_1549627089062/work/aten/src/THC/THCGeneral.cpp:250这个问题，网上有人说，可以用删除~/.nv的方式解决在删除之前最好备份下文件cp -r ~/.nv ...