一个菜鸟的奋斗

在不同数据集上需要不同的超参以达到最优性能，以下通过暴力搜索的方式，对不同超参进行排列组合，用循环的方式找到最优组合。

我的目标是在不要改变原图中物体的长宽比例的前提下，将图像变成一个正方形。SquarePad可以将图像短的一边padding到与长边一致，再将该正方形做一个resize，就可以保证内部物体比例不会发生改变了。

在用深度学习做分类的时候，常常需要进行交叉验证，目前pytorch没有通用的一套代码来实现这个功能。可以借助 sklearn中的 StratifiedKFold，KFold来实现，其中StratifiedKFold可以根据类别的样本量，进行数据划分。以上示例是将所有imgs列表与对应的labels列表进行split，得到train_idx代表训练集的下标，val_idx代表验证集的下标。以上就是实现的基本代码，之所以在代码层面实现k折而不是在数据层面做，比如预先把数据等分为5份。...

脚本输出子文件夹的名称，以及对应文件夹下的文件个数。分析出该数据集各个类别的数据分布情况，哪些类别数据较多，哪些类别数据较少，可以针对该情况，对算法分类结果进行分析。

通过爬虫获取的互联网图片，下载下来之后有一些是重复的，人眼检查的话费时费力，而且也很难查全。本文通过计算并比对图片的md5值来判断是否为重复图片，以备后用。python代码如下：上述代码仅提供完全重复图片的查重功能，对于相似图片并不能起到查重功能，后续可加入相似度计算或特征点匹配等方法来实现相似图片的查重。......

最近在用L1loss做一个回归模型的训练，发现模型训练过程中loss及其不稳定，且训练效果很差，终于找到原因了！以上代码问题出在：我输入的batchsize是4，因此output的size是[4,1],也就是一个二维的数据；target的size是[4]。loss输出的结果是一个正确的数值。这也是我没发现问题的原因！我们看一下pytorch库里l1_loss的代码：代码里的warning，要求input和target的size必须一致，不然会出现不对的结果。我自己代码里把warnin...

当python进程异常中断时，需要查看所有的python进程。命令如下：ps -ef | grep python当采用并行处理的时候，会有非常多的进程存在，一个个kill非常麻烦，可以直接kill所有python进程。命令如下：killall python...