lwgkzl的博客

网上的教程大多十分复杂，实际上使用logging非常简单， 三行代码就好了我使用logging是为了方便调试， 因为输出框缓存的数量是有限的，如果把输出打印到文件中观察使用体验会好很多，因为这三行代码的功能就是为了将输出导出到某一个文件中配置代码如下：import logginglogging.basicConfig(level=logging.INFO, filename='./mylog/test.log', filemode='w')这里首先引用了logging的包， 然后配置一

问题： 在torch类里面用nn.Parameter声明了一个可学的Tensor参数， 结果每次梯度回传之后，可以看到变量梯度，但是该参数的weight始终不变，一直保持着初始值。思路：遇到某参数的weight一直不更新，解决思路有以下几种：1. 检查该变量的梯度是否为0或者为None， 对于pytorch的中间变量，输出梯度的方式见博客：https://www.jianshu.com/p/ad66f2e38f2f 如果是None或者0，说明梯度没有...

先占个坑point-wise element-wise实际上是同一个东西，就是两个矩阵的对应位置逐点相乘，也就是说这两个矩阵的大小要是一样的。不同的人有不同的表达，还有一个Hadamard product实际上也是同一个意思。...

总述：本意在于记录一下这个问题产生的种种情况，请注意不是显卡坏了，而是代码出错了。1. nan问题在训练的时候，长久累积某一个tensor，导致他的值过大产生nan。还有可能是，某一个参数没有初始化，使得内存地址随意赋值，常出现于nn.paramter()的时候...

总述：第一次看到这个函数时，脑袋有点懵，总结了下总共有五个问题：1.这个input_size是啥？要输入啥？feature num又是啥？2.这个hidden_size是啥？要输入啥？feature num又是啥？3.不是说RNN会有很多个节点连在一起的吗？这怎么定义连接的节点数呢？4.num_layer中说的stack是怎么stack的？5.怎么输出会有两个东西呀outp...