论文笔记——OnAVOS:Online Adaptation of Convolutional Neural Networks for Video Object Segmentation

论文题目:Online Adaptation of Convolutional Neural
Networks for Video Object Segmentation

论文链接:https://arxiv.org/pdf/1706.09364.pdf

OnAVOS可以看作是在OSVOS上面进行的拓展。由于OSVOS并没有考虑时序因素,因此假如object的外观变化太大,那么对OSVOS来说就是一个不小的挑战。因此,这篇OnAVOS就是在OSVOS上面增加了两个extension,以解决large changes in object appearance的问题。

本文的贡献主要有如下两点(即两个extensions):

(1)采用了online adaptation来适应物体外观的变化;

(2)采用了一个更新的网络架构,并额外做了objectness的预训练。

在这里插入图片描述

OnAVOS包括四部分网络,分别是:Base Network,Objectness Network,Domain Specific Objectness Network,以及Test Network。除了Objectness Network,其他的都与OSVOS中的三个网络大同小异,下面分别进行简要介绍:

Base Network:在ImageNet这类大型数据集上做分类预训练,以学习到物体的representation。与OSVOS不同的是,OSVOS的backbone采用的是VGG模型,而OnAVOS采用了较宽的Resnet;

Objectness Network:这一部分是OnAVOS新增加的enxtensi

### 关于Model-Agnostic Meta-Learning (MAML) 的研究 Model-agnostic meta-learning (MAML),由 Finn 等人在2017年提出,旨在通过少量样本快速适应新任务。该方法适用于各种类型的模型结构,并且能够有效地利用梯度下降来更新参数[^1]。 在神经网络中的元学习领域内,MAML 是一种广泛使用的算法框架,它允许模型通过对一系列相关任务的学习从而获得良好的初始化权重设置。当面对新的相似任务时,仅需几步甚至一步梯度更新即可实现较好的性能表现[^2]。 为了进一步提升 MAML 方法的效果并解决其局限性,后续出现了许多改进版本和技术变体: - **First-order MAML (FOMAML)**:简化了原始 MAML 中二阶导数计算复杂度较高的问题; - **Reptile**:采用简单直观的方式来进行参数调整,在实践中表现出色; - **ANIL (Almost No Inner Loop)** :专注于只优化最后一层的参数,减少了内部循环次数; 这些技术共同推动了深度学习在网络架构设计以及实际应用方面的发展进程。 ```python import torch from torch import nn, optim class SimpleNN(nn.Module): def __init__(self): super(SimpleNN, self).__init__() self.fc = nn.Linear(10, 5) def maml_update(model, loss_fn, x_train, y_train, inner_lr=0.01): # 创建副本以便可以独立修改参数而不影响原模型 cloned_model = copy.deepcopy(model) optimizer = optim.SGD(cloned_model.parameters(), lr=inner_lr) # 计算损失并执行一次反向传播以获取梯度 predictions = cloned_model(x_train) loss = loss_fn(predictions, y_train) loss.backward() # 更新克隆后的模型参数 optimizer.step() return cloned_model ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值