<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_43489708的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_43489708</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_43489708]]></copyright><item><title><![CDATA[torch.nn.LSTM()详解]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/125154512</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/125154512</guid><author>qq_43489708</author><pubDate>Tue, 07 Jun 2022 14:48:41 +0800</pubDate><description><![CDATA[ers*num_directions,batch_size,hidden_size)]]></description><category></category></item><item><title><![CDATA[nn.BatchNorm1d()用法介绍]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/125154500</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/125154500</guid><author>qq_43489708</author><pubDate>Mon, 06 Jun 2022 21:20:52 +0800</pubDate><description><![CDATA[num_features – 特征维度
eps – 为数值稳定性而加到分母上的值。
momentum – 移动平均的动量值。
affine –一个布尔值，当设置为真时，此模块具有可学习的仿射参数。

这里其他几个参数都不重要，只需要看num_features就可以了。num_features就是你需要归一化的那一维的维度。nn.BatchNorm1d本身不是给定输入矩阵，输出归一化结果的函数，而是定义了一个方法，再用这个方法去做归一化。
我们首先定义了一个归一化的函数BN，需要归一化的维度为100，其他参数]]></description><category></category></item><item><title><![CDATA[pytorch中torch.stack（）函数]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/125154491</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/125154491</guid><author>qq_43489708</author><pubDate>Mon, 06 Jun 2022 21:20:13 +0800</pubDate><description><![CDATA[将若干个张量在dim维度上连接,生成一个扩维的张量，比如说原来你有若干个2维张量，连接可以得到一个3维的张量。设待连接张量维度为n，dim取值范围为-n-1~n，这里得提一下为负的意义：-i为倒数第i个维度。举个例子，对于2维的待连接张量，-1维即3维，-2维即2维。
二、规律分析
通过代码运行结果，我们不难发现，函数的运行机制可以等价为：...]]></description><category></category></item><item><title><![CDATA[pytorch中torch.chunk()方法]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/125154481</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/125154481</guid><author>qq_43489708</author><pubDate>Mon, 06 Jun 2022 21:19:30 +0800</pubDate><description><![CDATA[用来将张量tensor分成很多个块，即切分，可以在不同维度上切分。返回一个张量list。
如果指定轴的元素个数被chunk数除不尽，则最后一块元素数量会少。torch.chunk(tensor,chunk数，维度）
a.shape=(2,3,2)
第0维分成两组，第0维即为最外边一层[],本身就是2 组。因此仍然按照以前的维度
b=torch.chunk(a,2,1)第1维原本有3组，要分为两组，则第1维把3个分成2组，第一组有2个，第二组剩1 个元素

9个元素分为3组，按顺序切开...]]></description><category></category></item><item><title><![CDATA[Pytorch之permute函数]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/125154452</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/125154452</guid><author>qq_43489708</author><pubDate>Mon, 06 Jun 2022 21:18:06 +0800</pubDate><description><![CDATA[1 先看看官方中英文doc：
1.1 permute(dims)将tensor的维度换位。参数： - dims (int …*) - 换位顺序例：
2 pytorch permute的使用permute函数功能还是比较简单的，下面主要介绍几个细节点：2.1 transpose与permute的异同Tensor.permute(a,b,c,d, …)：permute函数可以对任意高维矩阵进行转置，但没有 torch.permute() 这个调用方式， 只能 Tensor.permute()：
torch.tr]]></description><category></category></item><item><title><![CDATA[pytorch的两个函数 .detach() .detach_() 的作用和区别]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/125154444</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/125154444</guid><author>qq_43489708</author><pubDate>Mon, 06 Jun 2022 21:17:31 +0800</pubDate><description><![CDATA[返回一个新的，从当前计算图中分离下来的，但是仍指向原变量的存放位置,不同之处只是requires_grad为false，得到的这个永远不需要计算其梯度，不具有grad。即使之后重新将它的requires_grad置为true,它也不会具有梯度grad这样我们就会继续使用这个新的反向传播时，到该调用detach()的就会停止，不能再继续向前进行传播使用detach返回的和原始的共同一个。
1.1 当使用detach()分离tensor但是没有更改这个tensor时，并不会影响backward():
从上可见t]]></description><category></category></item><item><title><![CDATA[Pytorch torch.range()&torch.arange()]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/125154433</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/125154433</guid><author>qq_43489708</author><pubDate>Mon, 06 Jun 2022 21:16:48 +0800</pubDate><description><![CDATA[结果是会包含end的，创建的tensor的类型为float32。结果并不包含end，创建的tensor的类型为int64。]]></description><category></category></item><item><title><![CDATA[Python中argsort()函数的用法]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/125154427</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/125154427</guid><author>qq_43489708</author><pubDate>Mon, 06 Jun 2022 21:16:07 +0800</pubDate><description><![CDATA[1.先定义一个array数据
2.现在我们可以看看argsort()函数的具体功能是什么
输出定义为y=array([3,0,2,1,4,5])。argsort()函数是将x中的元素从小到大排列，提取其对应的index(索引)，然后输出到y。例如：x[3]=-1最小，所以y[0]=3,x[5]=9最大，所以y[5]=5。3.np.argsort()[num]的形式当num>=0时，np.argsort()[num]就可以理解为y[num];当num...]]></description><category></category></item><item><title><![CDATA[parameters.requires_grad=False ：误差仍然反向传播，梯度不更新]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/125154425</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/125154425</guid><author>qq_43489708</author><pubDate>Mon, 06 Jun 2022 21:15:31 +0800</pubDate><description><![CDATA[首先要明白，误差回传与否，与 requires_grad 的值没有关系。取决于 loss.backward( ) 。再来看误差回传过程中规定是，parameters的梯度计算关闭。
我们要知道，param 包括的无非是 权重 和 偏置值。而权重和偏置值的偏导值是多少并不影响误差反向传播，误差反向传播主干部分计算的是每一层激活前神经元的偏导值。综上：param.requires_grad = False 不影响误差反向传播正常进行，但是权重和偏置值不更新了。...]]></description><category></category></item><item><title><![CDATA[nn.BatchNorm1d()用法介绍]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/125154414</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/125154414</guid><author>qq_43489708</author><pubDate>Mon, 06 Jun 2022 21:14:58 +0800</pubDate><description><![CDATA[num_features – 特征维度
eps – 为数值稳定性而加到分母上的值。
momentum – 移动平均的动量值。
affine –一个布尔值，当设置为真时，此模块具有可学习的仿射参数。

这里其他几个参数都不重要，只需要看num_features就可以了。num_features就是你需要归一化的那一维的维度。nn.BatchNorm1d本身不是给定输入矩阵，输出归一化结果的函数，而是定义了一个方法，再用这个方法去做归一化。
我们首先定义了一个归一化的函数BN，需要归一化的维度为100，其他参数]]></description><category></category></item><item><title><![CDATA[Exact Match(EM)]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/125154397</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/125154397</guid><author>qq_43489708</author><pubDate>Mon, 06 Jun 2022 21:14:31 +0800</pubDate><description><![CDATA[EM]]></description><category></category></item><item><title><![CDATA[服务器安装anaconda3]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/124921321</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/124921321</guid><author>qq_43489708</author><pubDate>Mon, 23 May 2022 09:42:11 +0800</pubDate><description><![CDATA[服务器安装anaconda3：(14条消息) 在实验室服务器上装anaconda环境并简单使用_芝士Lillian的博客-优快云博客_服务器配置anaconda
(14条消息) Ubuntu中conda activate激活环境出现The above line should NO LONGER错误_林小瓜0327的博客-优快云博客
Google Colab的使用：(14条消息) 环境搭建（1）——使用Google Colab_yyzsir的博客-优快云博客_colab配置环境
(14条消息) 使用谷歌]]></description><category></category></item><item><title><![CDATA[torch.cuda.amp自动混合精度训练 —— 节省显存并加快推理速度]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/124619013</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/124619013</guid><author>qq_43489708</author><pubDate>Fri, 06 May 2022 21:15:39 +0800</pubDate><description><![CDATA[torch.cuda.amp自动混合精度训练 —— 节省显存并加快推理速度
文章目录torch.cuda.amp自动混合精度训练 —— 节省显存并加快推理速度1、什么是amp?2、为什么需要自动混合精度（amp）？3、如何在PyTorch中使用自动混合精度？3.1 autocast3.2、GradScaler4、多GPU训练
1、什么是amp?
amp：Automatic mixed precision，自动混合精度，可以在神经网络推理过程中，针对不同的层，采用不同的数据精度进行计算，从而实现节省显存和加快]]></description><category></category></item><item><title><![CDATA[.requires_grad固定部分参数进行网络训练]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/124617806</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/124617806</guid><author>qq_43489708</author><pubDate>Fri, 06 May 2022 20:19:46 +0800</pubDate><description><![CDATA[.requires_grad固定部分参数进行网络训练
文章目录.requires_grad固定部分参数进行网络训练1. 只训练部分层2. 固定部分层参数3.检查部分参数是否固定4.查看可训练参数5.查看网络总参数6. 不同层设置不同学习率7. [PyTorch](https://so.youkuaiyun.com/so/search?q=PyTorch&amp;spm=1001.2101.3001.7020)更新部分网络，其他不更新
1. 只训练部分层

class RESNET_attention(nn.Module]]></description><category></category></item><item><title><![CDATA[Python except 关键字]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/124617210</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/124617210</guid><author>qq_43489708</author><pubDate>Fri, 06 May 2022 19:42:51 +0800</pubDate><description><![CDATA[Python except 关键字
0、定义和用法
在 try ... except 块中使用了关键字 except。它定义 try 块引发错误时要运行的代码块。
您可以为不同的错误类型定义不同的块，以及没有问题的情况下执行的块，请参见下面的例子。
1、更多实例
实例一
如果引发 NameError 则写一条消息，如果引发 TypeError 则写另一条：
x = "hello"

try:
  x &gt; 3
except NameError:
  print("You have a variable ]]></description><category></category></item><item><title><![CDATA[Pytorch model中的遍历模型的参数]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/124616803</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/124616803</guid><author>qq_43489708</author><pubDate>Fri, 06 May 2022 19:20:05 +0800</pubDate><description><![CDATA[Pytorch model中的遍历模型的参数
文章目录Pytorch model中的遍历模型的参数0、model.named_parameters()1、model.parameters()2、model.state_dict()**2.1 Module的层的权值以及bias查看****2.2 优化器optimizer的state_dict()方法**3、总结4、引用
0、model.named_parameters()
return:返回model的所有参数的(name, tensor)的键值对。可以修改]]></description><category></category></item><item><title><![CDATA[Java基础-----------数组]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/124616253</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/124616253</guid><author>qq_43489708</author><pubDate>Fri, 06 May 2022 18:41:29 +0800</pubDate><description><![CDATA[Java基础-----------数组
文章目录Java基础-----------数组一、一维数组二、二维数组三、应用练习3.1 求数值型数组中元素的最大值、最小值、平均数、总和等3.2 数组的复制、反转、查找(线性查找，二分查找)3.3 使用简单数组3.4  拓展：修改题目，实现array2对array1数组的复制3.5 排序3.5.1 冒泡排序3.5.2 快速排序3.6 Arrays工具类的使用3.7 数组使用中的常见异常
一、一维数组
1.数组的理解：数组(array)是多个相同类型数据按一定顺序排列]]></description><category></category></item><item><title><![CDATA[GNN IS A COUNTER REVISITING GNN FOR QUESTION ANSWERING]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/124597546</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/124597546</guid><author>qq_43489708</author><pubDate>Thu, 05 May 2022 21:18:49 +0800</pubDate><description><![CDATA[GNN IS A COUNTER? REVISITING GNN FOR QUESTION ANSWERING
这篇论文是在作者在读了QA-GNN Reasoning with Language Models and Knowledge Graphs之后，为了深入探究GNN 的推理功能，并对GNN进行剖析，找出GNN中真正对推理有作用的部分。
原文：GNN is a Counter? Revisiting GNN for Question Answering
文章目录GNN IS A COUNTER? RE]]></description><category></category></item><item><title><![CDATA[Python常用数据类型操作------字典]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/124596780</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/124596780</guid><author>qq_43489708</author><pubDate>Thu, 05 May 2022 20:24:56 +0800</pubDate><description><![CDATA[Python常用数据类型操作------字典
文章目录Python常用数据类型操作------字典一、字典的基本概念**二、字典的常用操作**2.1 增2.2 删2.3 改2.4 查询操作2.4.1获取单个值2.4.2 获取所有值**2.4.3 获取所有的键**2.4.4 获取所有字典的键值对2.5 遍历2.6 计算2.7 判定操作
一、字典的基本概念
字典是无序的，可变的键值对集合。
person = {"name": "sz", "age": 15}
print(person, type(person)]]></description><category></category></item><item><title><![CDATA[知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义]]></title><link>https://blog.youkuaiyun.com/qq_43489708/article/details/124589216</link><guid>https://blog.youkuaiyun.com/qq_43489708/article/details/124589216</guid><author>qq_43489708</author><pubDate>Thu, 05 May 2022 15:06:07 +0800</pubDate><description><![CDATA[知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义
本文将介绍用于衡量知识图谱嵌入（Knowledge Graph Embedding，KGE）模型性能中最常用的几个指标：MRR，MR，HITS@1，HITS@3，HITS@10。
文章目录知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义一、MRR二、MR三、HITS@n四、从论文上发现的观点四、从论文上发现的观点
一、MRR
MRR的全称是Mean Reciprocal Ranking(]]></description><category></category></item></channel></rss>