成电摸鱼郎-优快云博客

原创 "RuntimeError address already in use"

在docker中跑unilm时遇到这个问题，原因是docker的tcp端口发生冲突，使用 docker ps -a 查看是否有其他docker与自己使用了同一个端口，删除该docker或者修改端口即可...

2020-03-02 22:30:15 840

原创 Bert的缓存问题

在使用Bert做UNILM的摘要任务时，出现了一个非常奇怪的问题，之前用小数据集跑出来效果还不错，于是修改了一些训练参数（学习率，warmup等），换了一个大数据集来跑，效果很差，所以又把所有参数回滚了，并且重新换上小数据集，这时候却发现效果同样变得非常差。尝试过重写解码部分、用modeling_bert.py中的模型链接重新下载一个模型，并在微调时使用这个新的模型训练、删除所有保存过的权重，都...

2020-02-18 00:44:39 719

原创（已解决）“from torch._C import * ImportError: DLL load failed: 找不到指定的模块”

我的环境是win10，无显卡，安装的pytorch 的1.3.1-cpu版本，安装成功但是import报错：“from torch._C import * ImportError: DLL load failed:。上百度谷歌试了各种方法，包括：升级降级python、下载intel-openmp并把两个ddl文件打包成文件夹并加入环境变量、将torch/lib加入环境变量、将torch/lib文件...

2019-12-16 15:12:21 2203

原创 CUDA error: device-side assert trigger

今天在跑模型的时候突然出现如下报错：RuntimeError : CUDA error: device-side assert trigger断言部分的报错是：Assertion `srcIndex < srcSelectDimSize` failed on GPU for `torch.cat()`在这个问题上浪费了超多时间，首先遇到此类CUDA报错，一定要先将CUDA功能关闭...

2019-10-28 22:42:11 3294 2

原创词嵌入下标越界问题

我们在创建字典时，字典(word2id)通常的格式都是{word:value}，我们自己构造的字典或是torchtext这样的库构建的字典中，整个字典会按照value的顺序来排列，比如说为“小红是摸鱼郎”这个句子创建字典，那么情况是：[0] 小红[1] 是[2] 摸鱼郎而当我们词嵌入的时候，会创建一个[vocab_size,embedding_dim]的矩阵，其中vocab_size...

2019-10-28 22:30:22 1294 2

原创 TypeError: object of type 'Example' has no len()

在使用torchtext处理文本，并对iterator进行循环迭代对时候报出错误：“TypeError: object of type ‘Example’ has no len()”，调试的时候发现在iterator.py中对iterator.dataset有如下的操作：xs = [self.dataset[i] for i in self.random_shuffler(range(len(s...

2019-10-22 22:46:21 1432

原创 Bool value of Tensor with more than one value is ambiguous

在跟随 https://juejin.im/post/5b9f1af0e51d450e425eb32d 这篇文章搭建transformer的时候出现了报错：Bool value of Tensor with more than one value is ambiguous提示是在行：if mask_attn ...mask_attn是一个boolean矩阵，用来对query和key相乘...

2019-10-21 10:06:15 12864 3

原创 torchtext中的json文件处理

一般torchtext中需要的json文件跟平常的json文件是不一样的，一般的json文件格式是：[{ "key1":"content1", "key2":"content2", "key3":"content3" }, { "key1":"content1", "key2":"content2", "key3":"content3" }, ...]但是在torchtext中必...

2019-10-21 09:59:09 346

原创 Python中循环的跳跃处理

Python中的for循环是不允许改变迭代进程的，看下面的例子：wordlist = ['1', '2', '3', '4', '5', '6', '7', '8', '9', '10']i = 0for i in range(len(wordlist)): print(wordlist[i]) i += 3然后输出结果是：1 2 3 4 5 6 7 8 9 10...

2019-10-17 12:06:52 3563

wslhynn277的博客