
Pytorch
菜菜2022
这个作者很懒,什么都没留下…
展开
-
【DL】L2 Norm
L2 Norm解析原创 2022-06-17 14:20:02 · 108 阅读 · 0 评论 -
【琐碎】如何理解zip(*batch)
读代码的时候看到data, label = zip(*batch)这样一句,很好奇它究竟实现了什么操作利用zip(*)命令将batch解压开,当有多个迭代器,希望它们能以相同索引一起输出时,会使用zip(*)命令class Student(object): def __init__(self, score): self.score = score def __iter__(self): return self # 对于迭代器来说,__iter__ 返回的原创 2022-05-10 10:26:47 · 2380 阅读 · 0 评论 -
【琐碎】一文教你如何安装spacy包,并且load加载词典,spacy.load(“en“),spacy.load(“en_core_web_sm)
踩了无数个坑!!!咱就说这个spacy咋就这么难装/加载词典,搞了几个小时才搞好,记录一下解决的步骤查了十几个博客,都是告诉小白我:1、 pip install spacy2、 python -m spacy download en#下载模型3、 就可以正常使用了import spacyspacy.load('en')如果您上面的方法可以成功安装并使用,下面就不用看了,如果上面的解决不了您的问题,请跟着小白继续看下去。然而现实是我跟着博客上说的做了,却显示找不到此模型(当时着急解决问题没原创 2022-03-30 22:21:14 · 9695 阅读 · 9 评论 -
【Pytorch】notebook显示行号
kaggle中notebook显示行号点击view,点击Toggle line numbers,即可在cell中看到每行代码的line numberdsw中notebook显示行号点击view,再点击Show Line Numbers,即可看到行号### Jupyter notebook中显示行号可以按照上图点击,也可以使用快捷键,shift+L...原创 2022-03-29 14:59:36 · 1446 阅读 · 0 评论 -
【Pytorch】torch.expand()函数解析
x = torch.Tensor([[1], [2]])print(x.size())print(x)y=x.expand(2,10) print(x.size())y.size()#输出torch.Size([2, 1])tensor([[1.], [2.]])torch.Size([2, 1])torch.Size([2, 10])尝试修改x的第一个元素,并打印查看效果x[0]=-1x#输出tensor([[-1.], [ 2.]])随原创 2022-03-29 14:27:51 · 3780 阅读 · 0 评论 -
【Python】导入Field时报错ImportError: cannot import name ‘Field‘
在使用from torchtext.data import Field导入Field的时候报错方法1:修改成下面的导入方式from torchtext.legacy.data import Field方法2:卸载torchtext,安装老版本的torchtextpip uninstall torchtextpip install torchtext==0.6.0以上两种方法均可,但是还是推荐第一种...原创 2022-03-27 16:12:03 · 3758 阅读 · 2 评论 -
【Pytorch】normal_(), fill_(), index_fill(),nonzero(),index_select(),masked_fill(),torch.scatter()函数解读
1 首先初始化一个矩阵shape(3,5)x=torch.zeros(3,5)x#输出tensor([[0., 0., 0., 0., 0.], [0., 0., 0., 0., 0.], [0., 0., 0., 0., 0.]])2 x.normal_()x.normal_()#输出tensor([[-2.2073, 0.2486, -1.9729, 1.1014, 1.0692], [-1.4998, 0.2739, -1.66原创 2022-03-27 13:42:02 · 4068 阅读 · 1 评论 -
RuntimeError: Input and hidden tensors are not at the same device, found input tensor at cuda:0 and
dl初学菜狗,轻喷在运行BiLSTM代码的时候遇到的错误,因为使用cpu跑太慢了,改用gpu加速,遇到的问题。因为BiLSTM里面含有隐藏层hidden-layer,BiLSTM和其他网络相比特殊之处在于隐藏层初始化是在网络的前向传播处发生的,这就意味着即使使用model.to(device)也不会对后面在网络内部的新初始化的变量位置产生什么影响(即变量还是在cpu上),所以当tensor一部分在cpu上一部分在gpu上的时候就会报错:报错信息:RuntimeError: Input and hidd原创 2022-01-16 22:35:45 · 7035 阅读 · 6 评论 -
【Python】 raise RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_str)) fr
实验室也没有可以使用的机器,只能在自己的电脑上跑,本机性能堪忧,在跑num_workers=2的数据都吃不消test_dataloader = D.DataLoader(test_datasets,BATCH,True,num_workers=2)改成:(删掉num_workers=2)test_dataloader = D.DataLoader(test_datasets,BATCH,True)...原创 2022-01-16 11:53:07 · 4025 阅读 · 1 评论 -
【Pytorch】tensor类型数据.squeeze()和.unsqueeze()函数的简明教程(一看就会)
文章目录1 squeeze1.11.21.3 执行操作后需要写回2 unsqueezepytorch系列代码中常见的两个函数squeeze()和unsqueeze()1 squeeze1.1import torchx=torch.randn(2,1,2) #生成一个维度是(2,1,2)的tensor向量print(x.shape) #torch.Size([2, 1, 2])x=x.squeeze() #参数为空,表示删除tensor元素的所有维度为1的维度,这里的x只有第原创 2022-01-02 22:56:41 · 2615 阅读 · 0 评论 -
【Python/工具】Pycharm中如何查看一个函数需要哪些参数
光标停留在函数的括号内,ctrl+p查看一个函数需要哪些参数原创 2021-12-28 19:08:19 · 2566 阅读 · 0 评论 -
【Pytorch/工具】Pytorch中TensorBoard的使用
文章目录TensorBoard的安装及使用安装使用SummaryWriteradd_scalar()的使用(绘制train/val loss)TensorBoard的安装及使用安装【工具/Pytorch】安装Pytorch(PyTorch入门第一步)使用SummaryWriteradd_scalar()的使用(绘制train/val loss)...原创 2021-12-28 17:40:06 · 778 阅读 · 0 评论 -
【工具】安装TensorBoard
pip install tensorboard输入上述命令,回车等待安装即可原创 2021-12-28 16:21:48 · 311 阅读 · 0 评论 -
【工具】Jupyter notebook如何查看一个包/函数的用法
方法1:最通用的方法from torch.utils.data import Datasethelp(Dataset)使用help查看任意一包/函数的说明,可以在pycharm、命令行中使用,也可以在jupyter notebook中使用方法2:jupyter notebook专用方法包名/函数名??eg:from torch.utils.data import Dataset...原创 2021-12-28 14:58:43 · 4502 阅读 · 0 评论 -
【Pytorch】xxx.to(device) 时 Runtime Error
最近刚入门pytorch准备使用gpu训练模型,结果运行demo的时候就抛出了Runtime Error,当时我使用的是Jupyter Notebook,jupyter很贴心的给我指出引起报错的代码位置就是一句:xxx.to(device)这里我的device是cuda:0即gpu设备,报错因为gpu已经被其他程序使用,剩余部分不够跑我的程序,于是我结束了占用gpu的其他无用的进程首先,在命令行输入nvidia-smi查看是哪些进程在占用gpu然后我们根据描述,找到不需要的进程的PID(进程原创 2021-12-25 18:24:11 · 1691 阅读 · 0 评论 -
【工具】Jupyter notebook Permission error(Linux/Ubuntu)
在jupyter notebook下读取/写入文件失败,出现Permission error,是由于项目所在的文件夹的权限不够导致的命令行下找到项目所在的目录,然后给该文件夹修改权限chmod -R 777 your_file_path即可成功通过jupyter notebook读写数据...原创 2021-12-25 18:09:06 · 2408 阅读 · 0 评论 -
【工具】Jupyter切换kernel(虚拟环境)
文章目录前言方法1 打开Anaconda Prompt2 在Anaconda Prompt里面切换到你需要的虚拟环境中3 安装jupyter4 安装完成之后重启jupyter notebook5 重启之后便可以进行kernel切换了前言作为jupyter初学者,刚刚就碰到了一个问题,jupyter使用的环境是默认的kernel环境,里面的pytorch版本不是我需要的,因为我需要在jupyter notebook中切换运行环境(内核 kernel)。如下图所示,我们可以看到root内核下,我的pytor原创 2021-12-23 21:57:03 · 8251 阅读 · 0 评论 -
【工具】Jupyter Notebook打开本地任意指定路径的文件夹
例如,我想在jupyter下面打开如下本地的项目文件夹,要怎么做呢?win+r输入cmd打开命令行,进入这个文件夹所在的路径之后,输入:jupyter notebook ./稍等片刻,即可在浏览器打开这个文件夹所在的项目关于如何更快jupyter默认打开的浏览器,可以参考我之前写的一篇博客:《【工具】硬核Jupyter Notebook修改默认浏览器(包含易错点)》...原创 2021-12-23 14:34:58 · 5905 阅读 · 3 评论 -
【Pytorch】Tensor常见的几种形式
文章目录Tensor常见的几种形式ScalarVectorMatrixn-dimensional tensor(高维特征)Tensor常见的几种形式Scalarimport torchfrom torch import tensor# Scalar通常是一个数值x=tensor(42.)print(x)Vectorfrom torch import tensorv=tensor([1.5,-0.5,3.0])print(v)print(v.dim())print(v.size原创 2021-12-22 20:10:06 · 813 阅读 · 0 评论 -
【Pytorch】Pytorch基本操作
文章目录基本操作创建矩阵基本计算方法加法索引view改变矩阵维度tensor和numpy的相互转换反向传播基本操作创建矩阵import torch#创建一个5*3矩阵x=torch.empty(5,3)print(x)#创建一个随机值矩阵x=torch.rand(5,3)print(x)#初始化一个全零矩阵x=torch.zeros(5,3,dtype=torch.long)print(x)#直接传入数据x=torch.tensor([5.5,3])print(x)x=x.n原创 2021-12-22 19:35:59 · 890 阅读 · 0 评论 -
【工具/Pytorch】安装Pytorch(PyTorch入门第一步)
点击pytorch选择你需要的配置,复制run this command后面的内容,在命令行里面运行step1:打开anaconda promptstep2:激活虚拟环境conda activate py38(虚拟环境的名字)step3:输入run this command后面的内容,回车运行(忘记截图了)在这个过程中可能出现各种问题,可以尝试切换镜像源,反复尝试我也安装了整整一天才搞好,在此之前也是尝试了多次,终于安好了!!下面我将对于上面图片中的四个部分进行解释,我也是初学者,如果有不原创 2021-12-21 19:43:16 · 3084 阅读 · 1 评论 -
【工具】cuDNN安装配置
安装cuDNN之前需要安装cuda,关于cuda的安装可以查看:《cuda安装及验证》下载下载地址在此之前你还需要注册一个英伟达的账号,才能进行下载哦安装配置解压之后找到cuda安装位置,将刚刚解压的cuDNN下的三个文件夹:bin、include、lib下的内容分别复制到cuda对应的同名文件夹下面这里需要特别注意的是lib文件夹需要再往下一层,将x64文件夹下面的内容复制到cuda的lib的x64文件夹下面:最后添加环境变量至此,cuDNN就安装配置完成了如何验证cuDNN安装配原创 2021-12-21 17:17:46 · 523 阅读 · 0 评论 -
【工具】验证是否安装cuda和cuDNN
验证是否安装cuda【验证cuda是否安装方法1】import torchprint(torch.cuda.is_available()) #返回True则说明已经安装了cuda#输出True【验证cuda是否安装方法2】win+r–>输入cmd–>回车在命令行下输入nvcc -V后回车,如果出现如下所示内容说明cuda已经成功安装如果显示nvcc不是内部或外部命令,也不是可运行的程序或批处理文件。说明cuda没有成功安装验证cuDNN是否成功安装其实这里说cuDNN安原创 2021-12-21 16:47:06 · 8861 阅读 · 5 评论 -
【Pytorch】win10安装cuda并验证cuda是否安装
win+r打开命令行输入:nvidia-smi验证cuda是否正确安装nvcc -V说明已经成功安装cuda原创 2021-12-21 16:01:25 · 3740 阅读 · 0 评论 -
【Pytorch】下载CIFAR10数据集报错:urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certi
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certi解决方案:在代码开始前加上下面两行代码即可:import sslssl._create_default_https_context = ssl._create_unverified_context完整示例:import torchimport torchvisionimport torchvision.transforms as tr原创 2021-11-19 15:48:23 · 3167 阅读 · 8 评论 -
【PyTorch】2.1 使用Pytorch构建一个神经网络
2.1 使用Pytorch构建一个神经网络学习目标:掌握用Pytorch构建神经网络的基本流程掌握用Pytorch构建神经网络的实现过程关于 torch.nn:使用Pytorch来构建神经网络,主要的工具都在torch.nn包中nn依赖于autograd来定义模型,并对其自动求导构建神经网络的典型流程定义一个拥有科学系参数的神经网络遍历训练数据集处理输入数据使其流进神经网络计算损失值将网络参数的梯度进行反向传播以一定的规则更新网络的权重定义一个PyTorch实现的神经原创 2021-11-19 14:36:43 · 572 阅读 · 0 评论