RPG_Zero的博客

需求：现在的数据集形式：举例：train文件夹下的形式也即现在图像数据已经按照标签划分到了相应的文件夹下，然后想把所有的图像数据统一放到’./images’文件夹下，同时生成相应的索引文件，方便后续适配自己继承实现的torch.utils.data.Dataset类。代码：import osimport shutilimport reimport numpy as npimport pandas as pdtrain_source = './train'val_source =

这里可以手动设置文件修改自动上传

消除bash文件中Windows与linux空格或换行不匹配的问题：sed -i 's/\r$//' your_filenamestackoverflow: .sh: line 4: $’\r’: command not found

需求：统计图像数据集下图像分辨率的分布情况，以便将图像在输入到模型之前裁剪到合适的大小待统计的图像数据：(位于./lid/下)代码：import osimport pandas as pdfrom PIL import Imagefrom collections import Countersource = './lid/'imgfile = os.listdir(source)shot_cut = []long_cut = []print('filenum:', len([l

tar –xvf file.tar //解压 tar包

需求描述：现在有一条生产线在生产一种产品，生产线上不同生产参数的数值会在许许多多的时间点上被记录，产品被生产出来时会有相对应的生产时间。对于产品A，小于其生产时间、并且离其生产时间最近的各个被记录的生产参数就是产品A所对应的生产参数。提供生产表：parameter.xlsx 其中包含各个时间点、记录的参数名称以及参数值提供产品表：ID_concat.xlsx 其中包含各个产品的生产时间使用ID[y][i] = stove['value'][j]的形式来更改DataFrame类型的某一个具体值，其

功能需求如下：该excel文件中有21号与22号两天的数据，分别存放在两个sheet中，并且数据列名相同，要求将这两个sheet合并成一个sheetimport pandas as pd#import osfile = 'GlassID.xlsx'save_file = 'ID_concat.xlsx'def merge_sheets(file, save_file): file = pd.ExcelFile(file) sheet_names = file.sheet_nam

本专栏计划借助Pandas与sklearn重新实现书中的实战案例。源代码及数据见Github决策树1. KNN算法流程2. KNN改进约会网站的配对效果2.1 数据准备：从文本中解析数据2.2 数据可视化：散点图2.3 数据处理：归一化数值2.4 构建KNN模型对测试集前10个样本进行预测寻找测试样本的K-近邻2.5 模型使用：构建可用系统3. KNN实现手写识别系统3.1 数据准备：将图像处理为向量3.2 数据集处理3.3 模型构建4. KNN总结5. 参考链接1. KNN算法流程对未知类别属性

t-SNE可视化图像特征easy sample(使用sklearn包):Scatter图Grid图Examplet-SNE（t-Distributed Stochastic Neighbor Embedding）是一种非线性降维技术，主要用途为对高维数据进行可视化。easy sample(使用sklearn包):from matplotlib.offsetbox import OffsetImage, AnnotationBboxfrom sklearn.manifold import TSNEi

数据集下载地址：https://ai.stanford.edu/~jkrause/cars/car_dataset.html数据集中一共包含16185张不同型号的汽车图片，当用于细分类任务时，训练集中有8144张图片，测试集为8041张图片。当用于度量学习任务时，通常前98类作为训练集，后98类作为测试集。需求： 将数据集按照类别Label进行归类，方便后续使用。官网中有两个版本的数据集，旧版本中没有测试集的标注，根据我们的需求，我们要下载的是新版本(Update那一行)的图片和标注。待移动的图片

需求：根据图片的命名来把图片移动到相应的Label文件夹待移动的图片：(位于/Datasets/cub200/)目标文件夹：(位于/Datasets/cub200/images/)代码：import osimport shutilimport resource = '/Datasets/cub200/'target = '/Datasets/cub200/images/'im...