DeathYmz的博客

今天跑一个模型的时候，需要加载部分预训练模型的参数，这期间遇到使用torch.load 忽略了 map_location参数 默认gpu，这导致这个变量分配的显存 不释放 然后占用大量资源 gpu资源不能很好的利用。

关于报错self.tokenizer = CamembertTokenizer.from_pretrained(“camembert-base”)resolved_vocab_files[file_id] = cached_path(output_path = get_from_cache(raise ValueError(ValueError: Connection error, and we cannot find the requested files in the cached path

1、LSTM原理LSTM网络（Long short-term memory，长短期记忆网络）是一种特殊的RNN，能够学习长期依赖关系，它们是由Hochreiter＆Schmidhuber（1997）[4]提出的，并在随后的工作中被许多人改进和推广。LSTM由于其设计的特点，非常适合用于对时序数据的建模，如文本数据。总的来说就是它的结构如下图所示，一个格格代表一个LSTM单元主要由三个门构成: forget gate,input gate,output gate具体的计算公式如下：F.