- 博客(22)
- 收藏
- 关注
RSS订阅原创 nn.BatchNorm1d()用法介绍
num_features – 特征维度eps – 为数值稳定性而加到分母上的值。momentum – 移动平均的动量值。affine –一个布尔值，当设置为真时，此模块具有可学习的仿射参数。这里其他几个参数都不重要，只需要看num_features就可以了。num_features就是你需要归一化的那一维的维度。nn.BatchNorm1d本身不是给定输入矩阵，输出归一化结果的函数，而是定义了一个方法，再用这个方法去做归一化。我们首先定义了一个归一化的函数BN，需要归一化的维度为100，其他参数
2022-06-06 21:20:52
1835
原创 pytorch中torch.stack（）函数
将若干个张量在dim维度上连接,生成一个扩维的张量，比如说原来你有若干个2维张量，连接可以得到一个3维的张量。设待连接张量维度为n，dim取值范围为-n-1~n，这里得提一下为负的意义：-i为倒数第i个维度。举个例子，对于2维的待连接张量，-1维即3维，-2维即2维。二、规律分析通过代码运行结果，我们不难发现，函数的运行机制可以等价为：...
2022-06-06 21:20:13
745
原创 pytorch中torch.chunk()方法
用来将张量tensor分成很多个块，即切分，可以在不同维度上切分。返回一个张量list。如果指定轴的元素个数被chunk数除不尽，则最后一块元素数量会少。torch.chunk(tensor,chunk数，维度）a.shape=(2,3,2)第0维分成两组，第0维即为最外边一层[],本身就是2 组。因此仍然按照以前的维度b=torch.chunk(a,2,1)第1维原本有3组，要分为两组，则第1维把3个分成2组，第一组有2个，第二组剩1 个元素9个元素分为3组，按顺序切开...
2022-06-06 21:19:30
3329
原创 Pytorch之permute函数
1 先看看官方中英文doc：1.1 permute(dims)将tensor的维度换位。参数： - dims (int …*) - 换位顺序例：2 pytorch permute的使用permute函数功能还是比较简单的，下面主要介绍几个细节点：2.1 transpose与permute的异同Tensor.permute(a,b,c,d, …)：permute函数可以对任意高维矩阵进行转置，但没有 torch.permute() 这个调用方式， 只能 Tensor.permute()：torch.tr
2022-06-06 21:18:06
1211
1
原创 pytorch的两个函数 .detach() .detach_() 的作用和区别
返回一个新的，从当前计算图中分离下来的，但是仍指向原变量的存放位置,不同之处只是requires_grad为false，得到的这个永远不需要计算其梯度，不具有grad。即使之后重新将它的requires_grad置为true,它也不会具有梯度grad这样我们就会继续使用这个新的反向传播时，到该调用detach()的就会停止，不能再继续向前进行传播使用detach返回的和原始的共同一个。1.1 当使用detach()分离tensor但是没有更改这个tensor时，并不会影响backward():从上可见t
2022-06-06 21:17:31
398
原创 Pytorch torch.range()&torch.arange()
结果是会包含end的，创建的tensor的类型为float32。结果并不包含end，创建的tensor的类型为int64。
2022-06-06 21:16:48
322
原创 Python中argsort()函数的用法
1.先定义一个array数据2.现在我们可以看看argsort()函数的具体功能是什么输出定义为y=array([3,0,2,1,4,5])。argsort()函数是将x中的元素从小到大排列，提取其对应的index(索引)，然后输出到y。例如：x[3]=-1最小，所以y[0]=3,x[5]=9最大，所以y[5]=5。3.np.argsort()[num]的形式当num>=0时，np.argsort()[num]就可以理解为y[num];当num...
2022-06-06 21:16:07
2846
原创 parameters.requires_grad=False ：误差仍然反向传播，梯度不更新
首先要明白，误差回传与否，与 requires_grad 的值没有关系。取决于 loss.backward( ) 。再来看误差回传过程中规定是，parameters的梯度计算关闭。我们要知道，param 包括的无非是 权重 和 偏置值。而权重和偏置值的偏导值是多少并不影响误差反向传播，误差反向传播主干部分计算的是每一层激活前神经元的偏导值。综上：param.requires_grad = False 不影响误差反向传播正常进行，但是权重和偏置值不更新了。...
2022-06-06 21:15:31
1017
1
原创 nn.BatchNorm1d()用法介绍
num_features – 特征维度eps – 为数值稳定性而加到分母上的值。momentum – 移动平均的动量值。affine –一个布尔值，当设置为真时，此模块具有可学习的仿射参数。这里其他几个参数都不重要，只需要看num_features就可以了。num_features就是你需要归一化的那一维的维度。nn.BatchNorm1d本身不是给定输入矩阵，输出归一化结果的函数，而是定义了一个方法，再用这个方法去做归一化。我们首先定义了一个归一化的函数BN，需要归一化的维度为100，其他参数
2022-06-06 21:14:58
7264
1
原创 服务器安装anaconda3
服务器安装anaconda3：(14条消息) 在实验室服务器上装anaconda环境并简单使用_芝士Lillian的博客-优快云博客_服务器配置anaconda(14条消息) Ubuntu中conda activate激活环境出现The above line should NO LONGER错误_林小瓜0327的博客-优快云博客Google Colab的使用：(14条消息) 环境搭建（1）——使用Google Colab_yyzsir的博客-优快云博客_colab配置环境(14条消息) 使用谷歌
2022-05-23 09:42:11
279
原创 torch.cuda.amp自动混合精度训练 —— 节省显存并加快推理速度
torch.cuda.amp自动混合精度训练 —— 节省显存并加快推理速度文章目录torch.cuda.amp自动混合精度训练 —— 节省显存并加快推理速度1、什么是amp?2、为什么需要自动混合精度（amp）？3、如何在PyTorch中使用自动混合精度？3.1 autocast3.2、GradScaler4、多GPU训练1、什么是amp?amp：Automatic mixed precision，自动混合精度，可以在神经网络推理过程中，针对不同的层，采用不同的数据精度进行计算，从而实现节省显存和加快
2022-05-06 21:15:39
6142
2
原创 .requires_grad固定部分参数进行网络训练
.requires_grad固定部分参数进行网络训练文章目录.requires_grad固定部分参数进行网络训练1. 只训练部分层2. 固定部分层参数3.检查部分参数是否固定4.查看可训练参数5.查看网络总参数6. 不同层设置不同学习率7. [PyTorch](https://so.youkuaiyun.com/so/search?q=PyTorch&spm=1001.2101.3001.7020)更新部分网络，其他不更新1. 只训练部分层class RESNET_attention(nn.Module
2022-05-06 20:19:46
887
原创 Python except 关键字
Python except 关键字0、定义和用法在 try ... except 块中使用了关键字 except。它定义 try 块引发错误时要运行的代码块。您可以为不同的错误类型定义不同的块，以及没有问题的情况下执行的块，请参见下面的例子。1、更多实例实例一如果引发 NameError 则写一条消息，如果引发 TypeError 则写另一条：x = "hello"try: x > 3except NameError: print("You have a variable
2022-05-06 19:42:51
1017
原创 Pytorch model中的遍历模型的参数
Pytorch model中的遍历模型的参数文章目录Pytorch model中的遍历模型的参数0、model.named_parameters()1、model.parameters()2、model.state_dict()**2.1 Module的层的权值以及bias查看****2.2 优化器optimizer的state_dict()方法**3、总结4、引用0、model.named_parameters()return:返回model的所有参数的(name, tensor)的键值对。可以修改
2022-05-06 19:20:05
2503
1
原创 Java基础-----------数组
Java基础-----------数组文章目录Java基础-----------数组一、一维数组二、二维数组三、应用练习3.1 求数值型数组中元素的最大值、最小值、平均数、总和等3.2 数组的复制、反转、查找(线性查找，二分查找)3.3 使用简单数组3.4 拓展：修改题目，实现array2对array1数组的复制3.5 排序3.5.1 冒泡排序3.5.2 快速排序3.6 Arrays工具类的使用3.7 数组使用中的常见异常一、一维数组1.数组的理解：数组(array)是多个相同类型数据按一定顺序排列
2022-05-06 18:41:29
597
原创 GNN IS A COUNTER REVISITING GNN FOR QUESTION ANSWERING
GNN IS A COUNTER? REVISITING GNN FOR QUESTION ANSWERING这篇论文是在作者在读了QA-GNN Reasoning with Language Models and Knowledge Graphs之后，为了深入探究GNN 的推理功能，并对GNN进行剖析，找出GNN中真正对推理有作用的部分。原文：GNN is a Counter? Revisiting GNN for Question Answering文章目录GNN IS A COUNTER? RE
2022-05-05 21:18:49
561
原创 Python常用数据类型操作------字典
Python常用数据类型操作------字典文章目录Python常用数据类型操作------字典一、字典的基本概念**二、字典的常用操作**2.1 增2.2 删2.3 改2.4 查询操作2.4.1获取单个值2.4.2 获取所有值**2.4.3 获取所有的键**2.4.4 获取所有字典的键值对2.5 遍历2.6 计算2.7 判定操作一、字典的基本概念字典是无序的，可变的键值对集合。person = {"name": "sz", "age": 15}print(person, type(person)
2022-05-05 20:24:56
803
原创 知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义
知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义本文将介绍用于衡量知识图谱嵌入（Knowledge Graph Embedding，KGE）模型性能中最常用的几个指标：MRR，MR，HITS@1，HITS@3，HITS@10。文章目录知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义一、MRR二、MR三、HITS@n四、从论文上发现的观点四、从论文上发现的观点一、MRRMRR的全称是Mean Reciprocal Ranking(
2022-05-05 15:06:07
6151
原创 Python常用数据类型操作------元组
Python常用数据类型操作------元组1、定义1、定义：()有序的，不可变的元素的集合2、和列表的区别：()元组的元素是不能修改的3、一个元素的写法： (666,)4、多个元素的写法：(1,2,3) 多个对象, 以逗号隔开t1 = 1, 2, 3, "sz"print(t1,type(t1))# (1, 2, 3, 'sz') <class 'tuple'>5、从列表转换成元组：()tuple(seq)l = [1, 2, 3, 4]changeTuple = t
2022-05-05 08:41:46
135
原创 python之parser.add_argument()用法——命令行选项、参数和子命令解析器
python之parser.add_argument()用法——命令行选项、参数和子命令解析器文章目录python之parser.add_argument()用法——命令行选项、参数和子命令解析器一、argparse介绍二、argparse使用--------代码实例1、创建一个解析器-----创建ArgumentParser() 对象描述description2、添加参数——调用 add_argument() 方法添加参数add_argument() 方法定义如何解析命令行参数3、解析参数——使用 pa
2022-05-03 15:48:05
3122
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人