论文笔记之： Bilinear CNN Models for Fine-grained Visual Recognition

最新推荐文章于 2023-06-07 19:55:22 发布
转载 最新推荐文章于 2023-06-07 19:55:22 发布 · 184 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://yq.aliyun.com/articles/311020
文章标签：

#人工智能

本文介绍了一种用于细粒度视觉识别的双线性CNN模型。该模型通过两个特征提取器生成图像描述符，利用外积操作捕捉局部特征间的交互作用，并采用池化方法获得最终图像描述。这一方法能够以平移不变方式建模pairwise特征交互，且能生成如Fishervector, VLAD等不同形式的图像描述。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

Bilinear CNN Models for Fine-grained Visual Recognition

CVPR 2015

　　

 

　　本文提出了一种双线性模型( bilinear models)，一种识别结构，该结构由两个特征提取器产生，两个输出是图像每一个位置的外积(outer product)，然后进行 pool，得到最终的图像描述算子。这种结构可以对局部 pairwise feature interactions 以平移不变的方式进行建模。而且，可以产生不同的无序的文字描述，像 Fisher vector, VLAD and O2P。

　　

　　

　　

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

细粒度分类：B-CNN论文笔记——Bilinear CNN Models for Fine-grained Visual Recognition
qq_50001789的博客
06-23 966
论文题目：《Bilinear CNN Models for Fine-grained Visual Recognition》 本文主要提出了用于聚合二阶统计数据的B-CNN架构，以矩阵外积的形式组合一幅图片的两种特征，使网络充分探索零件特征之间的交互关系，从而使网络更好地理解图像，进一步提高模型性能。
细粒度分析与Bilinear CNN model（附代码实现）
雷恩Layne
09-02 1万+
前言 有时，我们逛街时看到不同的狗，却不知道其具体品种，看到路边开满鲜花，却傻傻分不清具体是什么花。实际上，类似的问题在实际生活中屡见不鲜，人类尚且如此，更别说人工智能了。为了解决这一问题，研究者们提出了细粒度分析（fine-grained image analysis）这一专门研究物体精细差别的方向。 细粒度分析 细粒度分析任务相较于通用图像（general/generic images）任务的区别和难点在于其图像所属类别的粒度更为精细。下图为例，通用图像分类其任务诉求是将“袋鼠”和“狗”这两个物体大类（
论文笔记 | 基于双线性CNN模型的细粒度视觉识别
kangdk 视其所以，观其所由，察其所安。
01-11 1万+
细粒度视觉识别之双线性CNN模型 [1] Lin T Y, RoyChowdhury A, Maji S. Bilinear cnn models for fine-grained visual recognition[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015: 1449-1457.
论文笔记--Bilinear CNN Models for Fine-grained Visual Recognition
qq_45542288的博客
01-09 334
在不使用边框信息的CUB-200-2011的训练结果上，加入平方根+l2归一化的准确率为75.1%，仅使用l2归一化时为71.7%，不进行归一化时为69.3%，具有巨大的性能差异，值得之后思考和实验尝试。具体的网络架构中，作者将两组不同的CNN分别称为M-Net和D-Net。在网络的前向传播过程中，输入图像在经过卷积网络，sum-pooling，square-root和l2归一化后，D-Net的输出大小为28x28，M-Net的输出大小为27x27。为了方便之后的合并，作者舍去了D-Net的一行和一列。
Bilinear CNN Models for Fine-grained Visual Recognition论文总结
DBG的博客
11-16 9186
双线性定义：包含两个特征提取器，其输出经过外积(外积WiKi)相乘、池化后获得图像描述子。 -作者思路 局部模型高效性的原因：本文中，作者声称局部推理的高效性在于其与物体的位置及姿态无关。纹理表示通过将图像特征进行无序组合的设计，而获得平移无关性。 纹理表征性能不佳的思考：基于SIFT及CNN的纹理表征已经在细粒度物体识别上显示出高效性，但其性能还亚于基于局部模型的方法。其可能原因就是纹理表示的...
[2015-ICCV].Bilinear CNN Models for Fine-grained Visual Recognit
08-03
在细粒度视觉识别领域，Bilinear CNN Models for Fine-grained Visual Recognition提出了一种简单而有效的架构，称为Bilinear Convolutional Neural Networks（B-CNNs）。这种网络通过两个CNN提取的特征之间的外积...
论文笔记: (compact) Bilinear Pooling, Confusion
热门推荐
Wayne2019的博客
11-04 1万+
Learn by attention, learn with confusion.先引用几段魏秀参大神的论述「见微知著」——细粒度图像分析进展综述 细粒度物体的差异仅体现在细微之处。如何有效地对前景对象进行检测，并从中发现重要的局部区域信息，成为了细粒度图像分类算法要解决的关键问题。对细粒度分类模型，可以按照其使用的监督信息的多少，分为“基于强监督信息的分类模型”和“基于弱监督信息的分类模型”两
bilinear 神经网络_双线性汇合（bilinear pooling）在细粒度图像分析及其他领域的进展综述...
weixin_39612297的博客
12-22 1321
细粒度图像分类旨在同一大类图像的确切子类。由于不同子类之间的视觉差异很小，而且容易受姿势、视角、图像中目标位置等影响，这是一个很有挑战性的任务。因此，类间差异通常比类内差异更小。双线性汇合(bilinear pooling)计算不同空间位置的外积，并对不同空间位置计算平均汇合以得到双线性特征。外积捕获了特征通道之间成对的相关关系，并且这是平移不变的。双线性汇合提供了比线性模型更强的特征表示，并可以...
Bilinear CNN Models for Fine-grained Visual Recognition
qq_41200212的博客
02-06 988
本文提出了双线性CNN，一种有效地将图像表示为两个CNN特征的池化外积的架构，该架构能有效用于细粒度识别任务中。这些模型捕获了局部的部件特征交互，类似于基于部件的模型，但也可以看作是一种无序的纹理表示。基于这种观察，本文提出了一类端到端可训练的双线性模型，这类模型在经典的图像表示上进行推广，如二阶池化、Fisher向量、局部聚合描述符和视觉词袋。这允许通过近似反演对学习到的模型进行特定领域的微调和可视化。通过大量的实验，本文展示了这些模型在各种细粒度、纹理和场景识别数据集上提供了更好的精度、速度和内存权衡。
双线性池化（Bilinear pooling）tensorflow版
08-23
双线性池化（Bilinear pooling）tensorflow版，可以用于细粒度分类
Bilinear CNN Models for Fine-grained Visual Recognition 通过双线性CNN的细粒度模式识别
weixin_43120238的博客
11-09 675
Abstract 双线性模型包括了两个特征提取网络，图像的特征表达随后通过对这两个特征提取网络的输出做外积然后池化而得到。该方法能更好地提取对细粒度分类有用的local pairwise特征。 Introduction 第一段：细粒度识别任务的挑战。 第二段：常用的方法包括检测目标的不同部位；缺点：标注比收集image更难/手工选取的part不是optimal的。 第三段：另一种方法：使用robust image representation，如VLAD、Fisher vector等。尽管这些方法.
15-ICCV-Bilinear CNN Models for Fine-grained Visual Recognition
weixin_44742887的博客
04-02 1018
Bilinear CNN（双线性） 1、特征学习方式：两个网络学习同一张图片 2、特征融合方式： 对应位置的两个特征描述符求外积，所有位置求和池化（SCDA视角类似） 传统的特征融合方法： sum/avg：只用了一阶信息。bilinear pooling 用了二阶统计信息，意在当一阶信息相同的时候利用二阶信息的不同来做分类。 feature concatenation：从代数上可以看做direct sum。 bilinear pooling可以看做direct product。特
Bilinear CNN Models for Fine-grained Visual Recognition-笔记
雪碧橙子
05-01 1730
我们提出一个新的识别结构：bilinear CNN，它是由两个特征提取器组成，它们的输出在对应的位置进行外积相乘，形成最好的图像表示。
细粒度论文笔记：双线性模型 《Bilinear CNN Models for Fine-Grained Visual Recognition》
小星星专栏
12-19 1万+
双线性模型是2015年提出的一种细粒度图像分类模型。该模型使用的是两个并列的CNN模型，这种CNN模型使用的是AlexNet或VGGNet去掉最后的全连接层和softmax层，这个作为特征提取器，然后使用SVM作为最后的线性分类器。当然，作者还在实验中尝试了多种方法，比如最后使用softmax但类别有所减少的分类器，作者在特征提取器上也有三种尝试，分别是使用两个AlexNet，使用一个AlexNe...
Bilinear CNN：细粒度图像分类网络，对Bilinear CNN中矩阵外积的解释。
qq_43799400的博客
06-07 1953
Bilinear CNN：细粒度图像分类网络。
论文阅读笔记之——《Bilinear CNNs for Fine-grained Visual Recognition》
gwpscut的博客
07-09 2236
双线性定义：包含两个特征提取器，其输出经过外积(外积WiKi)相乘、池化后获得图像描述子。 通常情况下，在精细化的分类问题中，有两种方法：一是part-based model，通过定位关键部位并提取特征。二是holistic models，这种方式在整张图片上构造特征。 the accuracy of deep networks can be improved significantly by...
Bilinear CNN 《Bilinear CNNs for Fine-grained Visual Recognition》
jessican_uestc的博客
10-23 3332
Bilinear CNN 《Bilinear CNNs for Fine-grained Visual Recognition》 深度学习成功的一个重要精髓，就是将原本分散的处理过程，如特征提取，模型训练等，整合进了一个完整的系统，进行端到端的整体优化训练。不过，在以上所有的工作中，我们所看到的都是将卷积网络当做一个特征提取器，并未从整体上进行考虑。最近，T.-Y. Lin、A.RoyChow...
双线性模型建模
最新发布
03-21
### 双线性模型的建模方法与实现 双线性模型是一种通过捕捉输入向量之间复杂的交互关系来进行建模的技术，在多个领域得到了广泛应用，例如知识图谱嵌入、图像识别以及多模态学习等。以下是关于双线性模型的具体建模方法及其实现方式。 #### 1. 数学基础 双线性模型的核心在于其评分函数的设计，通常可以表示为以下形式： \[ f(x, y; W) = x^\top W y \] 其中 \(x\) 和 \(y\) 是输入向量，\(W\) 是一个可训练的权重矩阵。这个公式描述了如何通过矩阵乘法来衡量两个向量之间的关联程度[^1]。 对于某些特定的应用场景，比如知识图谱中的链接预测任务，上述公式可能被扩展为更复杂的形式。例如，在 Latent Factor Model (LFM)[^1] 中，评分函数进一步加入了偏置项和其他正则化机制以提升性能。 #### 2. 应用实例分析 ##### （1）知识图谱中的 LFM 模型 在知识图谱中，LFM 使用双线性映射来捕获实体间的关系特性。具体而言，它将头实体 \(h\)、尾实体 \(t\) 和关系 \(r\) 转换到同一隐空间后，计算它们三者间的兼容分数: \[ score(h,r,t)=e_h^\top M_r e_t+b_{hr}+b_{rt} \] 这里 \(M_r\) 表示对应于不同关系类型的参数矩阵；\(e_h,e_t\) 则分别代表头尾节点的嵌入向量；最后两项则是额外增加的偏差因子用来调整最终得分。 ##### （2）细粒度视觉分类中的 B-CNN 架构 针对计算机视觉里的细粒度物体辨识问题，《Bilinear CNN Models for Fine-Grained Visual Recognition》提出了一种新颖的卷积神经网络结构——双线性卷积神经网路（BCNN），该框架能够有效地融合局部区域内的成对特征信息从而增强区分能力[^3]。 整个流程大致分为以下几个部分完成： - 提取两张图片各自的空间金字塔最大池化的激活响应； - 对所得特征做外积运算得到联合表征； - 将高维张量展平并通过L2标准化处理降低维度并保持数值稳定； - 输入全连接层进行类别判定。 ```python import torch from torch import nn class BCNN(nn.Module): def __init__(self, num_classes=200): super(BCNN, self).__init__() # 定义VGG骨干提取器... def forward(self, x1, x2): feat1 = self.extractor(x1).view(-1, D) feat2 = self.extractor(x2).view(-1, D) bilinear_map = torch.bmm(feat1.unsqueeze(2), feat2.unsqueeze(1)).view(batch_size,-1) normed_bimap = F.normalize(bilinear_map,p=2,dim=-1) logits = self.fc(normed_bimap) return logits ``` ##### （3）跨模态注意力机制下的 BAN 设计 《Bilinear Attention Networks》一文中介绍了一套全新的基于双线性的注意力建模方案[BAN][^2] 。不同于传统单侧关注策略，此技术允许同时评估来自两种异质数据源的信息流强度，并据此动态分配资源优先级。特别值得注意的是，为了缓解高昂的时间开销压力，研究团队采用了近似分解技巧简化原始表达式，使得整体算法具备更好的实际操作可行性。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值