Re-ID: Learning Deep Feature Representation with Domain Guided Dropout for Person Re-identifiation

本文介绍了如何利用域引导Dropout(DGD)算法改进神经网络在行人再识别任务上的特征学习。研究发现,通过结合多个数据集训练,可以丰富数据多样性,提高模型鲁棒性。DGD算法根据神经元在不同域中的有效性调整Dropout策略,以激活对特定域有用的特征,从而提升模型性能。实验表明,这种方法在多个行人再识别数据集上超越了当前最先进的方法。

刚刚看完这篇论文,整理了一下思路。这篇论文基于神经元在学习不同特征时活跃程度不同而提出DGD的方法,也是666的

论文:https://arxiv.org/abs/1604.07528
代码:https://github.com/Cysu/dgd_person_reid


论文解析

  • 文章一开始,作者解释了为什么要使用多个数据集进行训练:
    • Learning generic and robust feature representations with data from multiple domains for the same problem is of great value, especially for the problems that have multiple datasets but none of them are large enough to provide abundant data variations.
    • 即当一个问题所对应的数据集中没有一个能够提供足够的信息时,可以考虑使用多个训练集进行训练,有点类似于“互补”。
  • 包括一些背景的补充:
    • In computer vision, a domain often refers to a dataset where samples follow the same underlying data distrubution.
    • 一个域通常指一个数据集,该数据集中的样本符合某种数据分布。
    • It’s common that multiple datasets with different data distributions are proposed to target the same or similar problems.
    • 带有不同数据分布的数据集都是为了解决同一个或者相似的问题。
    • Multiple-domain learning aims to solve the problem with datasets across different domains simultaneously by using all the data they provide.
    • 多个域的学习问题就是利用多个数据集去解决某个问题。
    • The success of deep learning is driven by the emergence of large-scale learning. Many studies have shown that fine-tuning a deep model pretrained on a large-scale dataset.
    • 深度学习的发展是受到large-scale leaning的驱使。有很多研究都是使用一个大训练集对模型进行与训练,然后在使用特定的训练集对模型进行微调以得到最终的模型。
    • However, in many specific areas, there is no such large-scale dataset for learning robust and generic feature representation.
    • 然而,并不是在每个领域都会有大训练集可以用于学习具有鲁棒性的特征。所以很多研究团队提出了很多小训练集。
    • 所以,作者认为:
      • It is necessary to develop an effectiv
### 关于深度强化学习中的状态-动作表示学习 在深度强化学习(DRL)领域,状态-动作表示学习是一个核心主题。该过程旨在使代理能够有效地从环境中提取有用特征并构建有意义的状态和动作表征。 #### 表示学习的重要性 有效的状态-动作表示对于提高策略性能至关重要。当代理能够在高维输入空间中识别出重要的模式时,可以更高效地探索环境,并更快收敛至最优解。这种能力尤其体现在视觉输入的任务上,例如游戏或机器人导航,在这些场景下原始像素数据通常作为观测的一部分[^1]。 #### 方法论概述 为了实现高质量的状态-动作表示,研究者们提出了多种方法: - **自监督预训练**:利用未标记的数据预先训练模型以捕捉潜在结构,之后再针对特定任务微调参数。 - **对比学习**:通过最大化正样本对之间的一致性和最小化负样本间的相似度来增强区分不同情境的能力。 - **基于预测的方法**:鼓励网络学会对未来事件做出准确预报,从而间接促进良好内部表达的发展。 ```python import torch.nn as nn class StateActionRepresentation(nn.Module): def __init__(self, input_dim, hidden_dims, output_dim): super(StateActionRepresentation, self).__init__() layers = [] dims = [input_dim] + hidden_dims for i in range(len(dims)-1): layers.append(nn.Linear(dims[i], dims[i+1])) layers.append(nn.ReLU()) layers.append(nn.Linear(hidden_dims[-1], output_dim)) self.model = nn.Sequential(*layers) def forward(self, x): return self.model(x) ``` 此代码片段展示了一个简单的神经网络架构用于创建状态-动作表示的例子。实际应用中可能会更加复杂,涉及卷积层或其他类型的模块取决于具体的应用需求。 #### 结合速率失真理论优化表示质量 考虑到有限的信息传递能力和存储资源,速率失真理论为理解如何平衡信息量与决策准确性提供了框架。这有助于设计更好的算法来获得既紧凑又具有表现力的状态-动作编码方案[^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值