桉翎翎-优快云博客

原创 BERT训练所得embedding数据存为.pt形式

这是因为我们的user_tweet_embeddings数据是numpy形式，而.pt文件储存的是tensor型。对于获得的user_tweet_embeddings数据我们想将它存为.pt形式，用于后续训练使用。上回我们成功导入了BERT预训练模型，现在要用它来对推文内容进行enbedding了，代码如下。所以需要将数据格式转换一下，再存储，代码如下。发现存成一团乱码，再从文件导入数据也失败。这时就没问题啦，再导入验证数据也都是对的。

2025-03-19 22:25:13 127

原创调用BERT模型时报错 Numpy is not available

这里要注意的是，我用的vscode的.ipynb，原文件怎么改还是报错，但是新建一个文件，调用原来的库就能用，同样的库在原文件就报错，不知道什么问题，但至少能用。为了确保安装的numpy版本是对的，我直接把原来的numpy也卸载了。注意pip和conda都卸一遍，避免版本错误。然而升级时显示有以上报错，大致是因为安装的numba库的限制。于是尝试升级Numpy至最新版本，发现有以下报错。经过检测，发现是numpy和torch不对应。于是我尝试将numba删掉再升级numpy。

2025-03-19 17:53:00 243

原创 writelines()报错： write() argument must be str, not int

实际上，尽管writelines()可以写入list型，但却需要其中每个元素都是str型，像我上面的代码就是因为第一个元素是int型，才报错的。大家可能有疑惑，不是说writelines()可以写入List型吗，为什么还报write的错，是不是识别错误了。因此，只要在存入之前将List中的每个元素都显式转换为str型即可。在用writelines()逐行写入数据时，发现有报错。

2025-03-19 01:00:22 260

原创处理twibot-22数据踩过的坑:两个数据集id形式不对应

最后发现users的数据集里，id内容是'u'+账号，也就是说，是个str；而tweet数据集里的author_id内容只有账号，即int，这就导致了二者完全配不上。这里要注意的是users数据我预先处理成了list形式，首行是标签，所以在for循环按行改id的时候，是从第‘1’行开始的，因为第‘0’行是标签。最后提前处理了下users的id数据，把所有的u删去，再转成Int型，终于可以用了。最近在做机器人账号检测的内容，twibot-22数据体量太大，打算先筛出一千个账号建模型。

2025-03-19 00:22:50 356 1