Musician的博客

Cosine Annealing LRtorch.optim.lr_scheduler.CosineAnnealingLR(optimizer,T_max,eta_min=0,last_epoch=-1)这个学习率策略就是说，学习率以余弦函数的趋势进行变换。T_max ：用于设置半个周期的长度。如T_max=50的话，则学习率的变化情况为：在epoch0的时候，学习率是设置最大值；epoch0 ~ epoch50时，以余弦型式由设置的最大值下降到设置的最小值；epoch50 ~ epoch10

区别所在使用GPU训练的时候，需要将Module对象和Tensor类型的数据送入到device。通常会使用 to.(device)。但是需要注意的是：对于Tensor类型的数据，使用to.(device) 之后，需要接收返回值，返回值才是正确设置了device的Tensor。对于Module对象，只用调用to.(device) 就可以将模型设置为指定的device。不必接收返回值。来自pytorch官方文档的说明：Tensor.to(device)Module.to(devic

pytorch tensor拼接 cat与stack1 概述pytorch中cat和stack都是 用于tenssor拼接的方式，但其也存在差异。2 torch.cat()功能说明：将多个tensor按照指定维度进行拼接参数说明：tensors：将要拼接tensor按顺序写在一个元组中；dim：在哪个维度进行拼接。总之，记得在哪个维度进行拼接，最后拼接得到的tensor的shape那个维度就会变多。见下面的例子就很容易理解。注意：cat之后得到的结果中，dim的数量不变，之不够某