Mooque-优快云博客

原创快速、通俗地理解Transformer

利用 Attention 机制计算每个单词与其他所有单词之间的关联，如当翻译 games 时，“2022” “Beijing” “Winter” 都有较高的 Attention Score，利用这些权重加权表示，放到前馈神经网络中并得到新的表示，就很好的嵌入了上下文的信息，这样的步骤重复几次效果更好。很简单，输入 love 的时候，后续应该输出为 you，但是如果没有mask的情况下，love 后面的 you 和 now 都在为此时的输出提供信息，这显然是不合逻辑的。方法：1、随机初始化；

2024-03-21 17:27:12 1581 1

原创 NeRF相关技术总结（2020-2022）

NeRF-W（nerf在野外）解决的问题：静态场景下的移动物体消除；不同时间（天气、光照）影响、不同相机拍摄（内参）不同的样本训练达到的效果： 1、学习出场景中真正静止的物体 2、生成不同时间段的场景结果缺点：无法对场景中的动态部分做还原NSFF解决的问题：复原场景中移动的物体（拍摄相机可移动）

2024-03-12 13:54:31 1075 1

原创 12-pytorch中内置网络模型

在旧版本的写法 pretrained = True 中，对于预训练权重参数我们没有太多选择的余地，一执行起来就要使用默认的预训练权重文件版本。# vgg16 = torchvision.models.vgg16(weights=torchvision.models.VGG16_Weights.DEFAULT) # 先新建网络模型结构。vgg16.load_state_dict(torch.load("./models/vgg16_method2.pth")) # 加载模型参数。# 方式1保存的陷阱。

2023-12-10 14:00:36 955 1

原创 11-优化器的使用

optim = torch.optim.SGD(xiaomo.parameters(), lr=0.01) # 创建优化器。for imgs, target in dataloader: # 对数据进行一轮学习。optimizer.zero_grad() # 重置上一步中的梯度值。初学的话，只用设置params和lr即可，其他参数可用默认值，需要时再做学习。loss_res.backward() # 计算梯度。for epoch in range(20): # 重复20轮。

2023-12-09 22:24:44 80

原创 10-Sequential的使用

CLASStorch.nn.Sequential(*args: Module)[SOURCE]CLASStorch.nn.Sequential(arg: OrderedDict[str, Module])import torchfrom torch import nnfrom torch.nn import Sequentialfrom torch.utils.tensorboard import SummaryWriterclass XiaoMo(nn.Module):

2023-12-03 22:38:34 71 1

原创 09-神经网络的层

CLASSstride=1padding=0dilation=1groups=1bias=Truedtype=None)[dilation(扩张)groups: 一般都设置成1，分组卷积时才需改动（几乎用不到）bias: 一般设置为True，对卷积后的结果是否加减一个常数padding_mode: 对padding按照什么样的模式进行填充，如'zero'在由几个输入平面组成的输入信号上应用二维卷积。

2023-12-03 15:55:38 80 1

原创 08-卷积操作

input: 注意尺寸有4个参数 -> torch.reshape(input, (N,C,H,W))N: bach_size(输入图片数量)C: 通道数量：每一个坐标元素所包含的数据的个数H, W: 高和宽weight: 卷积核bias: 偏置stride: 步进，可以是单个数字也可以是二元组padding: 填充，可以是单个数字也可以是二元组

2023-11-23 17:47:19 70 1

原创 07-nn.Module的简单使用

神经网络的基本骨架-nn.Module进入pytorch官网，点击Docs，选择Pytorch，左侧Python API下面点击torch.nn神经网络的基本骨架-nn.Module进入pytorch官网，点击Docs，选择Pytorch，左侧Python API下面点击torch.nn

2023-11-23 16:28:58 57

原创 06-DataLoader的使用

torch.utils.data.DataLoader常用参数的通俗解释dataset: 自定义数据集batchsize: 每次抽牌抽几张，默认为 1shuffle: 每局牌局前是否洗牌（牌堆的顺序是否一样），一般设置为 Truenum_workers: 加载数据时采用的进程数量，默认为 0但是在windows操作系统下设置为大于0的值时可能会出现问题："BrokenPipeError"drop_last: 牌堆里有100张牌，每次取7张的话则到最后一定会剩余2张，设置为Tru

2023-11-18 23:08:28 128 1

原创 05-torchvision中数据集的使用

pytorch中torchvision.datasets的使用示例，以CIFAR10数据集为例（常用于物体识别）

2023-11-08 23:08:13 101 1

原创 04-transforms学习

transforms.py文件可以看作一个工具箱，用于对图片的变换（尺寸、数据类型...）在PyCharm中可以使用"alt + 7"快捷键显示源文件的结构：Structure在源文件中有这样一个特殊方法：该方法与 init() 方法的区别可参考如下案例：self.x = xresult = obj(5) # 该实例作为一个函数被调用了Compose类TransformExample:ToTensor类（用得最多）ToPILImage类Normalize类。

2023-11-05 11:45:55 78 1