qq_37650969-优快云博客

原创 pytorch MultiheadAttention 出现NaN

if attn_mask is not None: if attn_mask.dtype == torch.bool: attn_output_weights.masked_fill_(attn_mask, float('-inf')) else: attn_output_weights += attn_mask使用MultiheadAttention做self-attention时因为batch内序列长度不一致，...

2021-03-20 20:11:08 5179 13

原创 python创建空数组复制数组

row = [[]]*9上面一段代码创建了一个空二维数组，但 [item]*n这种方法简单的调用了item的默认复制方法上面item是一个数组，因此对任意row[i]修改都会影响所有row[j]。正确的做法是用for循环row = [[] for _ in range(9)]...

2020-12-12 15:50:22 615 2

原创 ROCm平台搭建tensorflow2.0 踩坑日记

tensorflow-addon在我写在这篇博文时还未被支持 RNN style的layer请使用tf.compat.v1.keras.layers.LSTM而不是tf.keras.layers.LSTM，因为后者默认开启CuDNN加速，AMD显卡显然是不支持的...

2019-11-17 21:59:44 1531

原创 SeqNet论文笔记

本文默认读者对GAN有基本的了解，对以下公式：（1）了然于胸，其中D代表Discriminator，G代表Generator，表示真实数据的密度函数，一般为噪声的密度函数。GAN在模拟连续变量的分布中表现得不错，但无法直接应用于离散变量，因为Generator往往最终通过softmax函数输出一个关于所有离散点的概率向量，无法生成one-hot形式输出，足够好的D可以轻易的区分出合成数据和...

2019-09-08 16:53:29 934

原创 torch.masked_select 用于带mask的图像分割测试集DRIVE

类似与DRIVE这样的数据集，输入图像有一个非矩形的边界，并非我们图像分割感兴趣的部分，数据集给出了二值mask，用于屏蔽网络结果向前传播后得到output，在training中与grand truth计算loss，在test中计算准确度指数，显然都需要忽略在mask黑色区域，test中相对容易解决mask的使用问题，那么training中怎么忽略mask黑色区域的损失呢？torch....

2019-04-21 23:06:08 1480

原创 pytorch自定义权重初始化函数

pytorch.nn.init提供了很多初始化权重的函数，但是我有时候想直接修改某个module的weight怎么办呢？目前这种方式是有效的new_weight = torch.empty_like(the_module.weight)new_weight=my_weight_method(new_weight)new_weight=torch.nn.Parameter(new...

2019-04-18 21:50:45 3009 1

原创 2018北邮网研机试-D 的更好解法

https://blog.youkuaiyun.com/birdreamer/article/details/79749068上面是原题超链；原博D题的做法有点太浪费空间 #include <iostream>using namespace std;int main(){ int R[109],J[109],n,x,y,z,r,j; for(int i=0;i<...

2019-02-25 20:20:28 508 1

原创 pat 甲级 1022 Digital Library 报错，格式错误等

当你被1022题搞得恼羞成怒，反复检查代码准确无误，怀疑是输出格式问题时（你可能已经测试了两种不同格式）那么我相信看到这篇文章的你编写的程序应该是准确的，只是PAT题目编写的随意程度再次令人乍舌。以原题给出的示例为例，正确的输出应该是：才知道原来表述清晰，没有歧义的题目是那么难得...

2018-07-20 20:00:38 386

原创 std::getline和istream::operator>>混搭时出现的问题

对于一段输入，我们有时候想把一行输入当作特定的类型，比如数字看待，有时候只是单纯的看作一行字符串(中间可能包含空格)。这时候很自然的想到用cin>>读取一行数字，而用cin.getline或cin.get来获取一行字符串，但无论是cin.getline还是cin.get都只能读入char *类型变量，这里使用string类型去存储一行长度不定的字符串可能是更好的选择，所以我改用std:...

2018-07-09 16:09:36 382

qq_37650969的博客