weishennuan8947的博客

搭建基于python的深度学习模型过程中，常见的一个问题是如何利用有效的内存来进行超大数据量的计算，这个问题带来了很大的内存开销和计算开销。比较好的解决办法是利用scipy.sparse库以稀疏矩阵形式来保存数据，然后在机器学习模型中导入数据，再将数据转换成稀疏Tensor的形式，以便高效地利用数据。 下面 ...

在大佬论文的代码基础上修改并加入自己的idea是比较常见的学术上手方式之一，但论文用的框架 (pytorch, tensorflow等) 可能会存在差异，可能需要你同时看几个框架的代码，也可能需要安装同一个框架的多个版本，那么如何在ubuntu上快速搭建相应的环境 (且各个环境之间相互独立存在) 成为一个比较常见的问题。在此向大家推荐安装anaconda平台与pycharm搭配使用，实现各个环境独...

考虑对稀疏矩阵执行判断条件,去除掉一些不满足条件的元素(这里是将不满足条件的元素值置为0). (1).如果直接对稀疏矩阵操作,然后保存得到npz文件. 执行操作(将稀疏矩阵不满足条件的元素置为0)的效率会非常低: S= sparse.load_npz('1.npz') S[S>1]=0 sparse.save_npz('2.npz', S) (2).考虑将稀疏矩阵转换成ndarry数组...

1.注意本方法只适用于保存2维embedding 因为直接将完整的Bert加入到其他模型中，训练时会出现内存不够用的情况，考虑将通过Bert得到的Embedding保存为文件，再在其他模型中导入使用，试过很多保存的方法(numpy.savetxt等)，都不成功，最后采用稀疏矩阵sparse.dok_matrix的方式保存wordEmbdedding,然后利用toarray()方法转换为矩阵形式，发...