Fine-grained Image Classification by Visual-Semantic Embedding论文阅读

jeffery0628 jeffery0628 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 800+累计阅读 814平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄11年
关注
原创 最新推荐文章于 2026-08-18 23:40:00 发布 814 阅读 AI 写同款· GEO 优化 ›
论文笔记：Fine-grained Image Classification by Visual-Semantic Embedding 来源：东南&电子科技&西交&南京邮电，IJCAI-18，paper 摘要 细粒度图像分类(fine-grained image classification, FGIC)，难点在于很大的类内多样性与微妙的类间不同点 现有的方法限制在利用图像中的视觉信息嵌入 本文使用了一些先验知识，来自于结构化知识基础或者非结构化的文本信息，来简化FGIC问题。建立了一个视觉语义嵌入模型来... 阅读详情

这里写图片描述

这里写图片描述

这里写图片描述

震

收录于
计算机图像

当前文章被收录于：

计算机图像
1 篇文章 0 人学习
订阅专栏 查看详情
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
视觉特征-自监督-同源不同crop视图一致性【2023-04】：DINOv2（无监督学习鲁棒视觉特征）【12 亿张互不重复的图像】【判别式自监督方法】【交叉熵损失+iBOT损失】 近期，自然语言处理领域在大量数据上进行模型 Pretraining 取得的突破，为计算机视觉中类似Foundation Model 的发展开辟了道路。这些模型能够生成通用视觉特征，即无需微调即可跨图像分布和任务发挥作用的特征，从而大幅简化图像在任何系统中的使用。本研究表明，现有的 Pretraining 方法，尤其是自监督方法，如果在来自多样化来源的充足精选数据上进行训练，便能够产生此类特征。我们重新审视了现有方法，并结合不同技术，从数据规模和模型规模两方面扩展我们的 Pretraining。 阅读详情

相关推荐

视觉特征-自监督-掩码特征预测【2024-04】：V-JEPA【潜空间】【≈90%多块时空掩码】【上下文目标块预测】【特征空间预测≠像素重建】【EMA目标编码器+停梯度】

Adrien Bardes 1,2,3, Quentin Garrido 1,4, Jean Ponce 3,5,6, Xinlei Chen 1, Michael Rabbat 1, Yann LeCun 1,5,6, Mahmoud Assran 1,†, Nicolas Ballas 1,† 1 FAIR at Meta, 2 Inria, 3 École normale supérieure, CNRS, PSL Research University, 4 Univ. Gustave Eiffel

u013250861的博客 245

探索Visual Semantic Embedding：一种强大的视觉与语义融合工具

探索Visual Semantic Embedding：一种强大的视觉与语义融合工具 visual-semantic-embedding Implementation of the image-sentence embedding method described in "Unifying Visual-Semantic...

gitblog_00068的博客 953

视觉特征-自监督-掩码像素预测【2021-11】：SimMIM【一种用于掩码图像建模的简单框架】

¹ 清华大学²微软亚洲研究院⁸ 西安交通大学Abstract摘要本文提出了SimMIM，一个用于掩码图像建模的简单框架。我们简化了最近提出的相关方法，无需采用特殊设计，例如按块掩码以及通过离散VAE或聚类进行 tokenization。为了研究是什么使掩码图像建模任务能够学习到良好的表征，我们系统地研究了框架中的主要组件，并发现每个组件的简单设计都展现出非常强的表征学习性能：1)以适度较大的掩码 patch大小(例如32)对输入图像进行随机掩码，可构成一个强大的 pre-text 任务；

u013250861的博客 90

如何提高分类的区分性能——细粒度图像分类(Fine-Grained Classification)

问题 如何让网络关注细小细节 举个栗子 通过树叶判断植物类别，花朵判断花的品种，以及人脸识别等任务 1. CenterLoss 1.1 传统分类学习存在的问题： 类内距离可能超过类间距离，对一些模棱两可的样本不好区分 1.2 Center Loss方案 让特征向量有更好的区分性能，有点像做一个内部聚类，把特征向量约束到一起，让不同类别距离(类间距离)尽量大，相同类别(类内距离)尽量小, ...

m0_37223909的博客 1919

【202511】Cosmos-Predict2.5-01-数据篇：用于PhysicalAI的基于视频基础模型的世界模拟【2亿原始视频（3500万小时）➞60亿片段➞4%➞2亿高质量片段（140万H）】

3.5×我们推出 [Cosmos-Predict2.5]，这是 Cosmos 物理人工智能世界基础模型的最新一代产品。基于流式架构构建的 [Cosmos-Predict2.5] 将 Text2World、Image2World 和 Video2World 生成功能整合于单一模型之中，并借助物理人工智能视觉语言模型 [Cosmos-Reason1]，提供更丰富的文本锚定能力以及对世界模拟的更精细控制。

u013250861的博客 522

视觉特征-自监督-掩码特征预测【2026-03】：V-JEPA2.1【2B】【全Token稠密预测损失】【多层深度自监督】【图像/视频多模态Tokenizer】【160万小时视频】【1.42亿张图像】

Lorenzo Mur-Labadia1,2,∗, Matthew Muckley1, Amir Bar1, Mido Assran1, Koustuv Sinha1, Mike Rabbat1, Yann LeCun1, Nicolas Ballas1,†, Adrien Bardes1,†1FAIR at Meta, 2Universidad de Zaragoza ∗Work done at Meta, †Joint last authorWe present V-JEPA 2.1, a family

u013250861的博客 355

DeViSE:A Deep Visual-Semantic Embedding Model

慢慢的将各种视觉模型以及语义模型 全部都将其研究彻底，都行啦的理由与打算。

kuxingseng123的博客 852

视觉特征-自监督-同源不同crop视图一致性【2025-08】：DINOv3【DINOv2+Gram损失=DINO损失+（iBOT损失+Gram损失）+KoLeo正则化损失】

自监督学习有望消除手动数据标注的必要性，从而使模型能够轻松处理大规模数据集以及更复杂的架构。由于无需针对特定任务或领域进行定制，这种训练方式能够利用单一算法从各种来源获取视觉表征，这些来源包括自然图像和航空图像等。本技术报告介绍了 DINOv3，它通过简单而有效的策略，为实现这一目标迈出了重要一步。首先，我们通过精心设计数据准备流程并进行优化，从而提升数据集与模型规模的扩展能力；其次，我们提出了一种名为“Gram 锚定”的新方法，该方法有效解决了在长时间训练过程中特征图质量会下降这一长期存在的难题。

u013250861的博客 355

DeViSE: A Deep Visual-Semantic Embedding Model

慢慢的自己学会设计架构， 将各种的架构全部都设计出来。都行啦的样子与打算 会自己跑代码，学习自己的架构环境知识。

kuxingseng123的博客 470

CoCa模型原理解析：统一对比学习与生成式多模态理解

多模态表征学习是实现图像-文本联合理解的核心技术，其本质在于建模视觉与语言之间的语义对齐与生成关系。CoCa（Contrastive Captioner）通过解耦式双路径Decoder架构，将对比学习的判别能力与自回归生成的语言建模能力有机融合，在同一模型中同步优化跨模态对齐和细粒度描述生成。该设计突破了CLIP等单目标模型的语义粗粒度局限，也规避了纯生成模型缺乏 grounded 约束的问题，显著提升零样本分类、图文检索、图像描述与视觉问答等任务的泛化性与鲁棒性。尤其适合需兼顾部署效率与多任务覆盖的工业级

shirlly 427

视觉特征-自监督-掩码特征预测【2024-11】：D-JEPA·T2I（通过下一词元预测实现高分辨率图像合成）【相对于D-JEPA的优化：文本条件、流匹配损失、VoPE】

近年来，自回归模型在类别条件图像生成方面展现了卓越的性能。然而，将下一词元预测应用于高分辨率文本到图像生成仍未得到充分探索。在本文中，我们提出了基于连续词元的自回归模型D-JEPA·T2I，该模型在架构和训练策略上均进行了创新，能够在高达4K的任意分辨率下生成高质量、照片级真实感的图像。在架构方面，我们采用去噪联合嵌入预测架构（D-JEPA），同时利用多模态视觉Transformer有效融合文本和视觉特征。此外，我们引入流匹配损失以及所提出的视觉旋转位置编码（VoPE），以实现连续分辨率学习。

u013250861的博客 175

细粒度图像识别（2018）

Fine-Grained Multi-Attention Multi-Class Constraint for Fine-grained Image Recognition （ECCV 2018 Oral） 暂无代码 部分代码：https://github.com/RQuispeC/npairs_loss_MAMC Large Scale Fine-Grained Categorizati...

weixin_37651084的博客 936

视觉特征-自监督-同源不同crop视图一致性【2025-08】：DINO-v3附录

Appendix 附录A 大规模训练中的伪影与异常值本节探讨了最近在 LLM 领域（An 等人，2025 年）以及视觉领域（Darcet 等人，2024 年）的大模型训练过程中所出现的异常值与特殊现象。借鉴 An 等人（2025 年）的定义，异常值通常指的是那些其数值与所在分布的平均值存在显著偏差的神经网络激活值。在 DINOv3 的训练过程中，我们发现了不同层面的此类异常值：有些出现在图像块层面，而另些则出现在特征维度层面。下面我们将介绍所观察到的各类异常值，以及它们对训练过程和最终结果的影响。

u013250861的博客 235

BERT：用于语言理解的深度双向 Transformer 预训练

Abstract摘要我们提出了一种新的语言表示模型，称为 BERT，即来自Transformer的双向编码器表示。与近期的语言表示模型(Peters et al., 2018a；Radford et al., 2018)不同，BERT 旨在通过在所有层中联合利用左右上下文，从无标注文本中预训练深度双向表示。因此，只需添加一个额外的输出层，即可对预训练的BERT模型进行微调，从而为包括问答和语言Inference在内的广泛任务创建最先进的模型，而无需对特定任务的架构进行实质性修改。

u013250861的博客 127

Sparsh：用于基于视觉的触觉感知的自监督触觉表征【传感器：带标记点的 GelSight 2017、无标记点的 DIGIT】

t​⊕It−5​→x∈Rh×w×6tt−2t−4t−6∈R4×h×w×3t​∈Rh×w×3t​∈SE3). Tt​tt−1​≜ΔxΔy˙​Δθ∈SE2ˉ2∘0.5∘1.0∘to1.0∘2.0∘zt−1​zt​qt−1​qt​≜Δqt​Δqt1​...;Δq∈R7。

u013250861的博客 122

视觉特征-自监督-掩码特征预测【2025-06】：V-JEPA-2【100万小时互联网视频，每样本：4秒×4➜16帧】【Stage1：表征学习⮕Stage2：V-JEPA2-AC（自回归下一帧预测）】

图14 展示了在实验室1中，使用杯子进行抓取操作任务的起始和目标框架示例。对于抓取和带物体到达任务，模型仅看到一个目标图像。对于拾取-放置任务，除了最终目标外，我们还向模型展示两个子目标图像。第一个目标图像显示物体被抓取，第二个目标图像显示物体在目标位置附近。模型首先针对第一个子目标优化动作4个时间步，然后自动切换到第二个子目标进行接下来的10个时间步，最后针对第三个目标进行最后4个时间步。

u013250861的博客 98

High-Resolution Image Synthesis with Latent Diffusion Models # 基于潜在扩散模型的高分辨率图像合成

Robin Rombach 1 * Andreas Blattmann1 * Dominik Lorenz 1 Patrick Esser ® Björn Ommer 1 1 Ludwig Maximilian University of Munich & IWR, Heidelberg University, Germany ° Runway ML慕尼黑路德维希-马克西米利安大学 & 德国海德堡大学 IWR ° Runway MLhttps://github.com/CompVis/latent-diff

u013250861的博客 84

IP白名单校验

支持格式： 1、127.0.0.1 // 指定固定IP 2、127.0.0.1-127.0.0.128 // 可使用“-”来表示一个IP区间，支持跨IP段（一般不会出现这种情况，跨IP段则配置多个规则） 3、127.0.* // 2~4位IP段可...

2200

High-Resolution Image Synthesis with Latent Diffusion Models 基于潜在扩散模型的高分辨率图像合成

Robin Rombach 1 * Andreas Blattmann1 * Dominik Lorenz 1 Patrick Esser ® Björn Ommer 1 1 Ludwig Maximilian University of Munich & IWR, Heidelberg University, Germany ° Runway ML慕尼黑路德维希-马克西米利安大学 & 德国海德堡大学 IWR ° Runway MLhttps://github.com/CompVis/latent-diff

u013250861的博客 140

Win10系统安装Ubuntu虚拟机，这回真的是零基础！（结尾附NS3的配置）

Win10系统安装Ubuntu虚拟机（结尾附NS3的配置） 序幕 本人现在还在念大二，有一门很有趣而且老师讲得也不错的课程《计算机网络原理》。这周老师布置了一个实验《NS3网络模拟》，为了详细记录本次实验过程，顺便也便于自己复习，就写了这篇博客，希望能够对你有帮助！ NS3是什么呢？实际上就是一门算法，和计算机网络有关的。不过在我们日常使用的Windows系统上去做这个实验是行不通的，这个实验一定要在Linux系统上进行模拟才能玩的下去，作为一名 Windows选手对此表示不爽但是没办法，为了实验也只

灼热之翼的博客 7384

信号完整性之阻抗（五）

一、什么是阻抗 阻抗的概念是从高中或者初中大家可能就会接触到，没想它一直陪伴我十年了。在我的印象中，提到阻抗我可能就会想到电阻，这样的思想局限也限制了我平常思考问题。所以今天也想把阻抗这个概念在顺理一遍，有错误或者欠缺的地方希望大家指正。 1.什么是阻抗： ==在具有电阻、电感和电容的电路里，对电路中的电流所起的阻碍作用叫做阻抗。阻抗常用Z表示，是一个复数，实部称为电阻，虚部称为电抗，其中电容在电路中对交流电所起的阻碍作用称为容抗 ,电感在电路中对交流电所起的阻碍作用称为感抗，电容和电感在电路中对交流电引

刘小同学的博客 2587
上一篇： 对transR的理解
下一篇： 虚拟机安装mac 在开机页面无限重启
点赞 0
评论 0
书签 书签 1
jeffery0628
jeffery0628
博客等级 码龄11年 39粉丝 112原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值