Masked Graph Attention Network for Person Re-identification

Masked Graph Attention Network for Person Re-identification

论文:Masked Graph Attention Network for Person Re-identification,cvpr,2019

链接:paper

代码:github

摘要

​ 主流的行人重识别方法(ReID)主要关注个体样本图像与标签之间的对应关系,而忽略了整个样本集中丰富的全局互信息。为此,文中提出了一种掩码图注意网络(MGAT)方法。MGAT 利用所提取的特征信息构建完整的图,节点在标签信息的引导下以掩模矩阵的形式定向的关注其他节点的特征。利用MGAT模块,将之前忽略的全局互信息转化为具有更强鉴别能力的优化特征空间。同时,文中还建议将MGAT 模块学习到的优化信息反馈到特征嵌入网络中,以增强映射的可扩展性,从而避免测试阶段大规模图数据处理的困难。文中在三个常用的数据集上进行了实验,结果表明,该方法优于大多数主流方法,并与最先进的方法具有很强的可比性。

引言

大多数主流的方法利用id loss独立的估计每个特征的分类标签,忽视了所有feature 之间的丰富的交互信息。换句话说,它们只关注了特征图的分类特征,而特征之间的聚类特征没有被关注,这个聚类特征描述的是相同特征聚类,不同特征分离的程度。辨别分析研究证明,更多的区分特征需要更好的聚类信息,而当前方法很

Masked-attention(掩模注意力)是一种在自然语言处理中常用的技术。它被用于解决序列模型中的“未来问题”——在模型预测序列中的某个位置时,只能看到该位置之前的标记,无法看到之后的内容。因此,为了能够准确预测目标位置,我们需要一种机制来对未来信息进行掩盖。 掩模注意力通过在注意力机制中引入掩模矩阵来处理这个问题。掩模矩阵是一个与输入序列相同形状的二进制矩阵,其中元素为0表示需要进行掩模的位置,而1表示不需要掩模的位置。在计算注意力权重时,将掩模位置的对应权重置为负无穷大,这样在softmax操作中就会得到极小值,从而有效地屏蔽了未来信息。 与传统的注意力机制相比,掩模注意力不仅考虑了当前位置之前的信息,还能够建模未来的约束,因此在长序列任务中效果更好。掩模注意力广泛用于许多NLP任务中,如语言建模、翻译、问答等。 除了基本的掩模注意力,还有一些变种模型。例如,自回归变换器(Autoregressive Transformer)将掩模延伸到了所有层,以确保训练过程中不会泄露未来信息。此外,多头掩模注意力使用多个掩模头进行预测,以增加模型的表示能力。 需要注意的是,掩模注意力在计算效率上存在一定的挑战。由于矩阵运算的复杂度,掩模的引入会导致计算量增加。因此,研究人员一直在探索如何通过优化计算方法来提高效率。 综上所述,masked-attention是一种解决序列模型“未来问题”的注意力机制。它通过引入掩模矩阵来屏蔽未来信息,从而能够更准确地预测目标位置。在自然语言处理中,掩模注意力被广泛应用于各种任务,并且不断有新的变种模型出现。但是,由于计算复杂度的挑战,优化计算方法仍然是一个值得研究和探索的方向。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值