m0_71605721的博客

应该写成下图中:34行那里self.embedding = nn.Embedding(self.vocab_size, self.embedding_dim)是词汇表的大小，也就是所有可能的单词或标记的数量。例如，如果你有一个包含10,000个唯一单词的词汇表，那么。原本代码是:第37行 self.load_embeddings()self.vocab_size = 1000：原本定义的。为100，那么每个单词将被表示为一个100维的向量。

原本的代码5，6，7行是为了从网页上在线下载预训练好的模型，但是网络不允许，所以我们使用已经下载好的模型，为了方便，我们把下载好的预训练模型也放在model_path内了，9，10，11行是保存加载出来的模型。从本地文件夹加载模型即（model_path），还要加上备注local_files_only=true,不然还是默认从网页下载。这里model_name要与hugging face的模型名相对应，一定要是roberta-base，如果百年城roberta就会报错。模型代码原本是这样的。

控制台，调试发现，train_loss是不缺失的，train_loss的值是部分缺失的，正好对应间断点的地方，而loss应该是不会缺失的，所以合理推测，是loss在转化到train_loss的部分，出现了问题。2. 梯度爆炸或梯度消失，或lr过大导致的梯度更新太快，都会导致参数变化太快，loss突然很大或很小，loss变成nan或inf。如上，画出的折线图是不连续的，而且，运行了两次，每次图像间断的地方也是不同的。

问题二：这个翻转层，没有to device，但是也能运行，应该是被跟着model上传到gpu了，所以，为什么翻转层可以跟着model上传，fc就不可以。在电脑上远程操作服务器时候，需要把模型和模型的输入上传到gpu上，model.to(device)问题一：为什么标绿这里要to device而上面predictor里的fc不需要上传也能运行。（下面的代码在服务器上跑通了）

运行上面一段后，出现了如下问题，blas是requirements里的第一个安装包，（把之前a开头的安装包删除了，以为是安装包的问题），可以看出单独pip install和requirement是一样的结果。所以由此，配置环境，也可以先安装一些一般都需要的包，比如matplotlib，scripy，scikit-learn，torch-geometric，torch-scatter，torch-sparse。一是，镜像源的问题，服务器的镜像源的修改需要找到镜像源的位置，然后再修改。可能会出现如下问题，