sophicchen的专栏

本文中的RNN泛指LSTM，GRU等等CNN和RNN中batch_size的默认位置是不同的。CNN中：batch_size的位置是position 0. RNN中：batch_size的位置是position 1.1. 在RNN中输入数据格式：对于最简单的RNN，我们可以使用两种方式来调用torch.nn.RNNCell()。它只接受序列中的单步输入，必须显式的传入隐藏状态。torch.nn.RNN()可以接受一个序列的输入，默认会传入一个全0的隐藏状态，也可以自己申明隐藏状态传入。1..

BERT、RoBERTa、ALBERT、SpanBERT、DistilBERT、SesameBERT、SemBERT、MobileBERT、TinyBERT和CamemBERT的共同点是什么？答案并不是“ BERT”????。而是“自注意力”????。我们不仅在讨论承载“ BERT”的架构，更准确地说是基于 Transformer 的架构。基于 Transformer 的架构主要用于对语言理解任务进行建模，避免使用神经网络中的递归，而是完全信任自注意力在输入和输出之间绘制全局依赖性的机制。但是，这背后的

实现对CIFAR-10的分类，步骤如下：使用torchvision加载并预处理CIFAR-10数据集 定义网络 定义损失函数和优化器 训练网络并更新网络参数 测试网络1. CIFAR-10数据加载及预处理import torchvision as tvimport torch as timport torchvision.transforms as transformsf...

1. Tensorfrom __future__ import print_functionimport torch as tx = t.Tensor(5,3) #构建5*3矩阵，只是分配了空间，未初始化x = rand(5,3) #使用[0,1]均匀分布随机初始化二维数组print(x.size()) #查看x的形状# Print: torch.Size([5,3])pri...