跨过一座座山

可于下面链接中LLaMA中ROPE实现做对比。，拆解后可以得到下式。

1、Attention中q，经下式，生成新的q。m为句长length，d为embedding_dim/head。2、LLaMA中RoPE源码。

Darknet转为Pytorch

1. AdaGrad算法花书中截图，随便找了一张。2.源码def step(self, closure=None): """Performs a single optimization step. Arguments: closure (callable, optional): A closure that reevaluates the model and returns the loss. """ loss = None

错误如下RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.IntTensor [12, 1, 10]] is at version 2; expected version 1 instead. Hint: enable anomaly detection to find the operation that fai

错误：上述错误看着像是维度不匹配，实际是生成数据的错误1、GPU数量2，使用Dataparallel加载inputs：[batch_size, length]其中的一个输入，即bert中positional embedding，偷了个巧，反正每个样本其值都一样，所幸在DataLoader中将其维度设置为[1, length, embed_dim]，然后就悲剧了。模型进行数据并行时，例如这里是两块GPU，实际是将数据分成两份，按照batch_size的维度进行分配。如果positional emb

1、交叉熵损失函数交叉熵的公式有多种形式，一般写作loss=−1n∑j=1nyjlnaj（∗∗）loss=-\frac{1}{n}\sum_{j=1}^{n}y_jlna_j （**）loss=−n1​j=1∑n​yj​lnaj​（∗∗）lossj=−yjlnaj（1）loss_j=-y_jlna_j （1）lossj​=−yj​lnaj​（1）lossjloss_jlossj​表示第j个样本的损失。aja_jaj​表示softmax函数输出。yjy_jyj​表示第j个样本的真实标签，为o

利用pytorch中的dataparallel时，遇到一个bug[Previous line repeated 1 more time]TypeError: zip argument #1 must support iteration在单个gpu上可以正常训练加验证，双块gpu时，在验证时出现上述错误，后来发现是因为eval时，模型返回的是个标量（list）。解决方法：将模型返回数据改为...

def step(self, closure=None): """Performs a single optimization step. Arguments: closure (callable, optional): A closure that reevaluates the model and...

1. 调用方法torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False)参数：weight_decay : L2正则化的系数amsgrad：在更新时，是否保留梯度的二阶历史信息2.源码 def step(self, closure=None):...

1、在现有层上添加参数，Linear层如下，添加weight_c参数import torchfrom torch.nn.parameter import Parameterfrom torch.nn.modules.module import Modulefrom torch.nn import functional as Ffrom torch.nn import initcla...

nlp中的文本，基本都可以表示为[ batch, seq, embed_dim] 的形式CNN一般使用一维卷积，因为一维卷积变换的是最后一个维度，所以变换文本形状为 [batch, embed_dim, seq]。# 一维卷积是在最后一个维度进行m = nn.Conv1d(in_channels=16, out_channels=33, kernel_size=3, stride=2)...

lr_scheduler相关lr_scheduler = WarmupLinearSchedule(optimizer, warmup_steps=args.warmup_steps, t_total=num_train_optimization_steps)其中args.warmup_steps可以认为是耐心系数num_train_optimization_steps为模型参数的总更...

focal loss用来解决样本不均衡的分类问题。假设正样本（label=1）少，负样本多，定义focal loss如下Loss = -[alpha*(1-y_hat)^2yln(y_hat)+ (1-alpha)y_hat^2(1-y)*ln(1-y_hat)]其中y_hat:(batch, seq, tags)，预测出的y: (batch, seq, tags)alpha：(1, ...

LSTM可能出现梯度爆炸，训练时，加上梯度截断param.grad.data.clamp_(-grad_clip, grad_clip)torch.clamp(min,max)

torch.nn.utils.rnn.pad_sequence(label_tokens, batch_first=True, padding_value=-1)label_tokens: list矩阵，shape=[batch_size, N] ,N长度不一batch_first：默认batch_size在第一维度padding_value：填充的值返回[batch_size, M]...