weixin_44405644的博客

一、聚焦损失函数和平衡因子基础知识从分类错误代价和样本困难程序两个方面思考，有时间再写。二、基于平衡因子的聚焦函数的python(torch)类实现class FocalLoss(nn.Module): def __init__(self, gamma=4.5, alpha=0.05): super(FocalLoss, self).__init__() self.gamma = gamma self.alpha = alpha

一、训练背景模型采用简单的四层linear以及Relu、Sigmoid，实现二分类问题loss采用的是交叉熵和Focal loss(测试Focal loss性能)优化方式采用的是Adam+StepLR二、LOSS不变的原因1. 背景：训练集和测试集的loss都不变了、训练集的loss完全不变(是严格的不变了)2.loss不变的处理办法1. 首先参考网上的策略-1. 数据本身的问题：可以尝试使用其他的数据处理方法，例如归一化或者规范化等(不能没有，不能全靠Adam呀)-2. 初始化权重

等价表达pytorch：torch.sigmoid() + torch.nn.BCELoss()自己编写def ce_loss(y_pred, y_train, alpha=1): p = torch.sigmoid(y_pred) p = torch.clamp(p, min=1e-9, max=0.99) loss = torch.sum(- alp...

系统配置windows10anaconda + pycharmgpu操作步骤确认自己的CUDA版本dos中输入 nvidia-smi得到如图所示：即说明cuda版本为10.12. 使用conda创建虚拟环境（不需要安装cuda和cudnn）conda create --name pytorch python=3.7conda activate pytorch查看...