qian_chun_qiang的博客

代码来源：zheng-ningxin/Pruning-from-scratch (github.com)使用了lambda表达式并结合filter函数，生成需要求梯度参数的迭代器，具体代码如下：# 冻结所有模型参数for para in model.parameters(): para.requires_grad = False# 只更新BN层的参数for layer in model.modules(): if isinstance(layer, nn.Batc...

混淆矩阵绘制代码有些参考了其他博客from sklearn.metrics import confusion_matriximport matplotlib.pyplot as pltimport itertoolsdef plot_confusion_matrix(cm, classes, normalize=False, cmap=plt.cm.Blues): """ This function prints and plots the confusion matrix.

使用WeightedRandomSampler处理类不平衡（PyTorch）参考博客：博客一：Address class imbalance easily with Pytorch | by Mastafa Foufa | Analytics Vidhya | Medium播客二：Address class imbalance easily with Pytorch Part 2 | by Mastafa Foufa | Towards Data Science类不平衡如论文所给出的结论，处理类不

本文为Charu C. Aggarwal的一书的笔记。由于递归神经网络中，不同层敏感度的变化和共享的参数，导致网络具有较大的不稳定效应，如，梯度消失和梯度爆炸（vanishing and exploding gradient）。解决这一问题的方法有以下几种：1. 对训练参数应用强的正规化但是非常强的正规化，会导致模型无法达到其全部的潜能。2. 梯度截断 gradient clipping梯度截断主要有两种形式：2.1 基于数值的截断 value-based clipping在对梯度进行相加前

分类：类不平衡问题的解决方法现实世界的数据集通常会存在**类不平衡(class imbalance)**问题，具有较少样本的类，由于模型习得的较少，因而更容易被误分类。极端情况下，所设计的网络会直接忽略小样本类。解决这一问题的方法，主要有，对小样本类进行重采样：SMOTE修改loss 函数：Focal loss，CEFL loss / CEFL2 loss对小样本进行重采样：SMOTE这部分的详细内容可参考博文：https://blog.youkuaiyun.com/qian_chun_qiang/ar