二、 softmax和分类模型
1.torchvision主要由以下几部分构成:
torchvision.datasets: 一些加载数据的函数及常用的数据集接口;
torchvision.models: 包含常用的模型结构(含预训练模型),例如AlexNet、VGG、ResNet等;
torchvision.transforms: 常用的图片变换,例如裁剪、旋转等;
torchvision.utils: 其他的一些有用的方法
2.train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)对dataloder进行封装。
3.W.requires_grad_(requires_grad=True)
b.requires_grad_(requires_grad=True) #初始化偏差方差并赋梯度方便反向传播。
4.def cross_entropy(y_hat, y):
return - torch.log(y_hat.gather(1, y.view(-1, 1)))#表示返回所有y的估计所对应的真实的标签的Tensor
三、文本预处理
import spacy
nlp = spacy.load(‘en_core_web_sm’)
doc = nlp(text)
print([token.text for token in doc])# 利用 spacy.load导入一个已经有的language,吧这个已有的language命名为nlp,nlp可以直接作用于文本,我们可以把这个nlp看做一个pipline, 当nlp作用一个文本时,先对这个文本进行分词,然后依次执行pipline的各个步骤。本文只用到了分词的结果。
14天动手学深度学习-Task1
最新推荐文章于 2022-04-08 09:32:42 发布
本文介绍PyTorch生态下的关键组件,包括数据加载、常用模型、图像变换及实用工具。同时,深入探讨文本预处理流程,使用Spacy进行高效分词。
部署运行你感兴趣的模型镜像
您可能感兴趣的与本文相关的镜像
PyTorch 2.5
PyTorch
Cuda
PyTorch 是一个开源的 Python 机器学习库,基于 Torch 库,底层由 C++ 实现,应用于人工智能领域,如计算机视觉和自然语言处理
2804

被折叠的 条评论
为什么被折叠?



