岛的博客

xavier initialization 公式推导及理解

weixin_46559271 — Thu, 01 Aug 2024 18:40:25 +0800

，其中的激活函数f会对方差产生影响，所以这里有一个关键假设，就是f’(0) = 1，并且只考虑线性区，那么在这个区间有 f(x)≈x，激活函数对输入的方差的影响可以忽略，因此有:Var(z。公式8 和9 就是让输入和输出的 var 相等，但是得到的condition在每层的width不一样的时候无法同时满足，于是有了公式12.注意这两个公式和4，5两个公式的i的增长方向和区间。对于文中的公式2，根据上面的关系，可以知道求cost对s。由上面的推到很容易得到6和7，其中7中有一个Var(z。

“神经网络的参数为什么不能全为0“的简单理解

weixin_46559271 — Thu, 01 Aug 2024 17:20:41 +0800

那么如果W都为0，则意味着对A的导数为0，而我们知道对每一层的导数都是由其上一层的导数经过链式法则得来的，而现在最上面的output layer 对A的导数全为0，那么由上往下走，每一层的梯度都需要乘以上一层的梯度，也就是0，导致整个网络的梯度全为0。如果W和b均为0，那么整个网络除了第一层的输入不为0外，其他所有层的输入都为0，也就是说对于除了 input layer 之外的任意层，A 均为0。最终的结果是，除了最后一层的b,（导数为1，可以更新），所有其他的参数均不会得到更新。

“OmegaConfUserResolver.get_str() takes 2 positional arguments but 3 were give“ 解决方法

weixin_46559271 — Mon, 04 Mar 2024 14:14:44 +0800

这是因为pycharm2023.3新增了一个do_trim参数。

pycharm 设置多级跳转SSH

weixin_46559271 — Fri, 10 Nov 2023 16:59:35 +0800

运行完之后就应该已经连接上proxy。

fairseq pip install 时 pkg_resources 出现 TypeError的解决方案。

weixin_46559271 — Sun, 29 Jan 2023 20:40:06 +0800

fairseq pip install 时 pkg_resources 出现 TypeError的解决方案。

无法解析的外部符号 cudaLaunchKernel 等的解决方案

weixin_46559271 — Sun, 29 Jan 2023 20:23:25 +0800

无法解析的外部符号 cudaLaunchKernel 等的解决方案

identifier “THCudaCheck“ is undefined 的解决方法

weixin_46559271 — Sat, 28 Jan 2023 20:17:46 +0800

在 pytorch 1.11.0 版本被移除了

pycharm “already running“ on linux

weixin_46559271 — Wed, 06 Apr 2022 17:07:32 +0800

kill pycharm using pkill -f pycharm or, using ps aux | grep pycharm to see process_id and kill -9 process_id see here

简单查看cuda已用memory

weixin_46559271 — Fri, 07 May 2021 14:17:20 +0800

import torch "cuda memory = {:.3f} GBs".format(torch.cuda.max_memory_allocated() / 1024 ** 3)

loss 函数中 softmax 和 sigmoid的区别

weixin_46559271 — Tue, 05 Jan 2021 22:52:41 +0800

简单来说， softmax 适用于预测结果互斥的情况，也就是说label是one-hot的情况。例如MNIST数据集，每张图片的结果只能是0-9中的一个数字，采用softmax之后可以保证概率相加为1，其中label对应位置的概率为预测结果是该数字的概率。 sigmoid适应于预测结果不互斥的情况，也就是说label可以是[1, 1, 0, 0, 1]。例如有一堆包含动物的图片，其中每张图片可能包含多个动物。参考：https://zhuanlan.zhihu.com/p/33560183 .

MNIST 数据集解析和代码实现

weixin_46559271 — Fri, 28 Aug 2020 12:32:54 +0800

首先MNIST数据集主要分为4个部分，分别是： t10k-images-idx3-ubyte test image (10,000) t10k-labels-idx1-ubyte test label (10,000) train-images-idx3-ubyte train image (60,000) train-labels-idx1-ubyte train label (60,000) 官网链接： http://yann.lecun.com/exdb/mnist 首先下载数据，用urll

pytorch Assertion `t 」= 0 && t 「 n_classes failed 解决方案

weixin_46559271 — Tue, 14 Jul 2020 14:42:47 +0800

这种错误主要是在设置的 n_class 时有误。例如在CNN最后的线性层的输出num设置有误。这样在做loss计算的时候，由于需要将 label 转换成 one-hot 向量，但是one-hot向量的维度是根据你的 pred 的维度转换成相应的维度，同时将 label 值对应位置的 0 置 1，但如果在线性层的输出的 num_class 的设置时错了，例如设置成小于实际的 label 的class 的值，label 对应的index 位置不存在在 one-hot 向量中，所有就会出现 t < n_c

fine tuning 模型微调笔记

weixin_46559271 — Sun, 07 Jun 2020 13:09:00 +0800

这个博客主要记录在这个 github repository 中个人觉得比较重要的部分，同时增加了个人之前的一些理解。什么是微调在实际应用中，针对某个任务，自己的训练数据不多，或者该任务中的数据经常需要变动（易过时），这样重新训练一个model不现实或者代价太大。我们可以先找到一个同类的别人训练好的模型，把别人现成的训练好了的模型拿过来，换成自己的数据，调整一下参数，再训练一遍，或者把之前的model拿过来用变动过后的数据再训练一遍。这就是微调（fine-tune）。怎么微调在Pytorch中已

Python 两个for循环实现列表平铺

weixin_46559271 — Wed, 27 May 2020 11:46:25 +0800

假设输入为 a = [[1, 2], [3, 4]] 我们希望得到 b = [1, 2, 3, 4] 可以采用两个for 循环实现 c = [n for num in a for n in num] 这段代码首先迭代a，得到 [1, 2], [3, 4] 两个列表，但是每次yield 一个列表所以首先得到 num = [1, 2]，然后再执行第二个for循环，第二个循环迭代num，所以得到1, 2 两个num，所以暂时得到 c = [1, 2 ..，然后再在第二个num列表中循环得到 c = ...

torch.embedding and EmbeddingBag 详解

weixin_46559271 — Tue, 26 May 2020 15:05:32 +0800

torch.embedding 实际上是一个查找表，一般用来存储词嵌入并通过indices从embedding中恢复词嵌入。位置： torch.nn.Embedding 参数及官方解释为： num_embeddings (int): size of the dictionary of embeddings embedding_dim (int): the size of each embedding vector padding_idx (int, optional) :If given, pads

K-NN 及其结果可视化

weixin_46559271 — Wed, 13 May 2020 17:54:35 +0800

我做的一个关于K-NN的PPT 最后结果为：

with torch.no_grad() 详解

weixin_46559271 — Tue, 21 Apr 2020 15:14:39 +0800

torch.no_grad() 是一个上下文管理器，被该语句 wrap 起来的部分将不会track 梯度。例如： a = torch.tensor([1.1], requires_grad=True) b = a * 2 b Out[63]: tensor([2.2000], grad_fn=) b.add_(2) Out[64]: tensor([4....

关于 Python if name == 'main' 的理解。

weixin_46559271 — Mon, 20 Apr 2020 16:39:16 +0800

被 if name == ‘main’ 包起来的部分可以看成是该module的私有部分，也就是说只有在 run 该module的时候才会运行该部分的代码，而在被调用时是不会运行这部分的代码的。举例: 例如有 a.py 和 b.py 两个问题，其中 a.py 如下: size = 15 print(size) # No.1 if __name__ == '__main__': size...

阅读笔记 — Image Super-Resolution Using Deep Convolutional Networks

weixin_46559271 — Mon, 20 Apr 2020 10:11:53 +0800

1. 知识点： 1.1 不适定问题 (ill-posed problem) 适定问题是指定解满足下面三个要求的问题：① 解是存在的；② 解是唯一的；③ 解连续依赖于定解条件，即解是稳定的。这三个要求中，只要有一个不满足，则称之为不适定问题。由于从低精度图片推高精度图片有多种可能解，所以 image super-resolution 也是一个不适定问题。这种问题通常都是通过获得先验信息限制解的范...

np.lib.stride_tricks.as_strided 详解

weixin_46559271 — Sun, 29 Mar 2020 22:56:33 +0800

这个模块是 numpy 里面的一个高效分块操作。 numpy.lib.stride_tricks.as_strided(x, shape=None, strides=None, subok=False, writeable=True) 例如如果我们把矩阵 A: A=[12563478910131411121516] A = \left[ \begin{matrix} 1 & 2...

岛的博客

xavier initialization 公式推导及理解

“神经网络的参数为什么不能全为0“的简单理解

“OmegaConfUserResolver.get_str() takes 2 positional arguments but 3 were give“ 解决方法

pycharm 设置多级跳转SSH

fairseq pip install 时 pkg_resources 出现 TypeError的解决方案。

无法解析的外部符号 cudaLaunchKernel 等的解决方案

identifier “THCudaCheck“ is undefined 的解决方法

pycharm “already running“ on linux

简单查看cuda已用memory

loss 函数中 softmax 和 sigmoid的区别

MNIST 数据集解析和代码实现

pytorch Assertion `t 」= 0 && t 「 n_classes failed 解决方案

fine tuning 模型微调笔记

Python 两个for循环实现列表平铺

torch.embedding and EmbeddingBag 详解

K-NN 及其结果可视化

with torch.no_grad() 详解

关于 Python if __name__ == '__main__' 的理解。

阅读笔记 — Image Super-Resolution Using Deep Convolutional Networks

np.lib.stride_tricks.as_strided 详解

关于 Python if name == 'main' 的理解。