如何在nlp问题中定义自己的数据集-优快云博客

本文介绍了如何在处理NLP问题时，使用PyTorch自定义数据集。通过一个简单的例子展示了如何将句子向量化，并从训练数据中截取样本，创建train.txt文件。在实践中遇到的将数据输入模型时的类型错误问题，指出输入tensor应为Long类型而非Float，并提及后续会详细展示解决方案。

我之前大致写了一篇在pytorch中如何自己定义数据集合，在这里如何自定义数据集

不过这个例子使用的是image，也就是图像。如果我们用到的是文本呢，处理的是NLP问题呢？

在解决这个问题的时候，我在网上无意间搜索到这样一篇文章PyTorch 入门实战（三）——Dataset和DataLoader

在这篇博文中，作者从dataset和dataloader一步步讲解，让我有了很大的感悟。然后我根据自己之前那篇文章，总结了一下如何在nlp问题中自定义数据集。

首先上一个简单的例子,

import torch
from torch.utils.data import Dataset, DataLoader
import numpy as np
 
Data = np.array([[1, 2], [3, 4],[5, 6], [7, 8]])
Label = np.array([[0], [1], [0], [2]])
#创建子类
class subDataset(Dataset):
    #初始化，定义数据内容和标签
    def __init__(self, Data, Label):
        self.Data = Data
        self.Label = Label
    #返回数据集大小
    def __len__(self):
        return len(self.Data)
    #得到数据内容和标签
    def __getitem__(self, index):
        data = torch.Tensor(self.Data[index])
        label = torch.IntTensor(self.Label[index])
        return data, label

dataset = subDataset(Data, Label)
print(dataset)
print('dataset大小为：', dataset.__len__())
print(dataset.__getitem__(0))
print(dataset[0])

#创建DataLoader迭代器
dataloader =DataLoader(dataset,batch_size= 2, shuffle = False, num_workers= 4)
for i, item in enumerate(dataloader):
    print('i:', i)
    data, label = item
    print('data:', data)
    print('label:', label)



result:

<__main__.subDataset object at 0x10b697198>
dataset大小为： 4
(