利用pytorch_pretrained_bert得到wordEmbedding (batch_size，1024),保存为稀疏矩阵sparse.dok_matrix( )

zhshmi1995

于 2019-07-16 11:47:53 发布

阅读量3.2k

点赞数 2

分类专栏： Python 自然语言处理（NLP） pytorch_pretrained_bert

本文链接：https://blog.youkuaiyun.com/weishennuan8947/article/details/96115229

版权

本文介绍如何处理内存限制问题，通过pytorch_pretrained_bert获取二维wordEmbedding，并将其保存为稀疏矩阵sparse.dok_matrix，便于后续模型中使用。详细步骤包括获取BERT Embedding、保存和导入这些嵌入。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.注意本方法只适用于保存2维embedding

因为直接将完整的Bert加入到其他模型中，训练时会出现内存不够用的情况，考虑将通过Bert得到的Embedding保存为文件，再在其他模型中导入使用，试过很多保存的方法(numpy.savetxt等)，都不成功，最后采用稀疏矩阵sparse.dok_matrix的方式保存wordEmbdedding,然后利用toarray()方法转换为矩阵形式，发现这是一个不错的方法。

2.使用pytorch_pretrained_bert得到embedding的简单流程

//st为一行文本，多行文本加个for循环即可
from pytorch_pretrained_bert import BertTokenizer,BertModel

test_input_ids=[]
tokenizer = BertTokenizer.from_pretrained('bert-large-uncased', do_lower_case=True)

text = tokenizer.tokenize(st)

text_id=

最低0.47元/天解锁文章