pytorch构建自己数据集合

最新推荐文章于 2024-09-05 11:42:07 发布

love_data_scientist

最新推荐文章于 2024-09-05 11:42:07 发布

阅读量477

点赞数

CC 4.0 BY-SA版权

分类专栏：数据挖掘机器学习深度学习

本文链接：https://blog.youkuaiyun.com/love_data_scientist/article/details/99644545

这篇博客介绍了如何在PyTorch中构建自己的数据集，包括数据处理类的创建、数据转换为Tensor、数据集划分，为机器学习模型的训练和测试提供准备。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用pytorch构建自己的训练和测试数据集合，涉及自己数据处理类，数据变为tensor，数据分割等，为后续的训练准备了训练数据和测试数据

import torch
from torch.utils.data import DataLoader, Dataset,TensorDataset,random_split
import sys


class label_featureDataSet(Dataset):
    def __init__(self,filename):
       self.filename = filename
       content_list = []
       with open(filename) as f:
           for line in f:
               line = line.strip()
               content_list.append(line)
       self.content_info = content_list
     
    def __len__(self):
         return len(self.content_info)

    def __getitem__(self, idx):
        content = self.content_info[idx]
        label, feature = content.split("\t")
        label = int(label)
        feature_list = feature.split(",")
        result_feature = []
        for ele in feature_list:
            result_feature.append(float(ele))
        return {"feature":result_feature,"label":label}


if __name__ == '__main__':
    filename