[paper] Zero-Shot Learning with Semantic Output Codes [NIPS 2009]

最新推荐文章于 2025-05-21 14:27:07 发布
原创 最新推荐文章于 2025-05-21 14:27:07 发布 · 901 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Zero-Shot Learning的概念，它在已知领域训练高性能分类器后，尝试解决新领域的分类问题，即使新领域样本稀少或不存在。该方法基于迁移学习，通过构建语义输出码分类器利用知识库进行类别外推。核心思想是定义一种使用Y的语义属性知识库的分类器，以抽象出新类。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Zero-Shot Learning with Semantic Output Codes [NIPS 2009]


zero-shot和one-shot：

在分类场景下（或序列标注或NLU），在已知的几个topic或domain内（domain A,B,C），已经训练出了性能较好的分类器。此时想解决针对新的domain D的分类问题，然而D domain的样本非常少（one-shot），或者没有（zero-shot）。此时如何根据ABC类别的样本，或MACHINE，生成D domain的machine，就是zero-shot model要解决的问题。

其实是transfer-learning的一种。

tansfer-learning核心思想：source-domain->pivot->general Feature Space->target-domain

典型应用场景：如图像检测，y的value太多，很难见到全部y和全部x。

成功案例：如语音识别，能识别OOV的词


核心问题：

omitted from the training set


核心思想：

define the notion of a semantic output code classifier (SOC) which utilizes a knowledge base of semantic properties of Y to extrapolate to novel classes

基于representation learning，通过一个中间层semantic output code classifier进行转换，


模型详述：

1、语义特征空间

从基本特征中抽象出一层抽象特征（名曰语义特征），作为新的特征空间，名曰语义特征空间

2、

最低0.47元/天 解锁文章

200万优质内容无限畅学
零样本学习 (ZeroShot Learning)
AI架构师小马
09-15 1388
零样本学习 (Zero-Shot Learning) 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词 零样本学习，分类，预训练模型，迁移学习，知识蒸馏，多标签分类，跨模态学习
Zero-Shot Learning零样本学习 入门 基本概念
River_J777的博客
12-19 1995
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
论文阅读——Zero-Shot Learning with Semantic Output Codes
jackeydeng123的博客
07-12 942
    最近实验室师兄师姐在搞Zero-Shot Learning的东西，我也来凑热闹看看相关论文。    定义一：语义特征空间（Semantic Feature Space）            如，用一个五维的语义特征空间来描述动物的高级特性，每一维分别代表：是否有毛？是否有尾巴？在水下能否呼吸？是不是吃肉？运动起来是不是很慢？    在这个语义特征空间，一只狗可以用一点{1，1，0，1，0...
零样本学习（Zero-Shot Learning, ZSL）详细介绍（适合小白入门）
2401_83171592的博客
05-21 504
一篇关于零样本学习的入门介绍文章。
Zero-shot learning（零样本学习）
weixin_30341735的博客
07-07 1799
一、介绍 在传统的分类模型中，为了解决多分类问题（例如三个类别：猫、狗和猪），就需要提供大量的猫、狗和猪的图片用以模型训练，然后给定一张新的图片，就能判定属于猫、狗或猪的其中哪一类。但是对于之前训练图片未出现的类别（例如牛），这个模型便无法将牛识别出来，而ZSL就是为了解决这种问题。在ZSL中，某一类别在训练样本中未出现，但是我们知道这个类别的特征，然后通过语料知识库，便可以将这个类别识别出来。 ...
zero-shot learning
autocyz
06-01 6106
Zero-shot Learning参考文献《Zero-Shot Learning with Semantic Output Codes》背景在分类问题中，因为数据库大小有限，因此在使用分类模型进行预测时，出现了在训练集没有出现过的类别。举个例子，我们有个小型数据库，里面所含的类别只有人、鸟、汽车，经过我们的训练，发现模型对于这些类别的目标已经有很好的性能了，但是突然出现了一个新的类别——狗，此时模
Zero shot learning
qq_51143009的博客
12-02 3355
Zero shot learning 主要考察的问题是如何建立语义和视觉特征的关系（视觉特征一般用预训练好的CNN提取特征，不再进行fine-tine） 为了预测从未在训练集上出现的目标种类，仿照人的思维迁移，能根据某些特征描述（他和谁长得像，有点类似于科学家第一次看见鸭嘴兽的感觉），猜测一个从未见过的目标种类。 Zero shot learning:假设斑马是未见过的类别，但根据描述和过去知识的印象即马（和马相似）、老虎（有条纹）、熊猫（颜色）相似进行推理出斑马的具体形态，从而能对新对象进行辨认。 零
Zero-shot Learning零样本学习 论文阅读（八）——Zero-Shot Semantic Segmentation
River_J777的博客
02-09 1114
Zero-shot Learning零样本学习 论文阅读（八）——Zero-Shot Semantic Segmentation算法模型算法思路算法流程 这是一篇关于基于生成方式的零样本语义分割的论文。 算法模型 算法思路 Zero-shot learning解决了训练实例集并非包含所有类别的识别问题。通过使用类别的高级描述，可以使新类别(unseen classes)与可以使用训练实例的类别(seen classes)相关联来实现这一点，通常利用中间表示形式即有关类别信息的语义信息来完成学习。 将语义信息
Semantic Autoencoder for Zero-Shot Learning.pdf
01-09
### Semantic Autoencoder for Zero-Shot Learning #### 摘要 在零样本学习（Zero-Shot Learning, ZSL）领域，传统的模型通常关注于构建一个从特征空间到语义嵌入空间（例如属性空间）的投影函数。然而，这种投影...
Zero-shot Learning零样本学习 论文阅读（三）——Semantic Autoencoder for Zero-Shot Learning
River_J777的博客
12-27 1407
江浩然 \quad \quad \quad \quad \quad 统计1701班 \quad \quad \quad \quad \quad 201714020111
Semantic Autoencoder for Zero-Shot Learning
庆志的小徒弟
07-10 3024
前言 zero-shot learning（ZSL）是近几年研究的一个热点问题，每年在计算机视觉领域的顶级期刊都会有几篇典型的论文被刊登，比如CVPR。在传统的计算机视觉任务中，一般以多分类问题为基础，比如我们要识别出几个类别：狗、椅子、人，在训练分类模型时，我们会输入三种类别的图像数据去训练模型，对于给定的一个新图片，模型就可以给出一个标签（这张测试图像属于狗、椅子或人）。这个时候就有学者给出...
Zero-Shot learning
qq_38096703的博客
06-14 1万+
Zero-Shot learning在传统的分类模型中，为了解决多分类问题（例如三个类别：猫、狗和猪），就需要提供大量的猫、狗和猪的图片用以模型训练，然后给定一张新的图片，就能判定属于猫、狗或猪的其中哪一类。但是对于之前训练图片未出现的类别（例如牛），这个模型便无法将牛识别出来，而ZSL就是为了解决这种问题。在ZSL中，某一类别在训练样本中未出现，但是我们知道这个类别的特征，然后通过语料知识库，便...
ZeroShotLearningwithGCNCVPR2018的实现代码
08-11
This code is a re-implementation of the zero-shot classification in ImageNet in the paper Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs.
近期必读的6篇 NeurIPS 2019 的零样本学习（Zero-Shot Learning）论文.zip
12-24
以下整理了NIPS 2019零样本学习(Zero-Shot Learning)相关的论文供大家学习收藏—零样本知识迁移、Transductive ZSL、多注意力定位、ZSL语义分割、对偶对抗语义一致网络。
零次学习（Zero-Shot Learning）
HelloWorld的博客
05-24 2623
这可以通过多种方式实现，例如，可以训练一个神经网络，使得同一类别的样本的特征在类别嵌入空间中尽可能接近，而不同类别的样本的特征在类别嵌入空间中尽可能远离。请注意，这只是ZSL的一个非常简化的版本，实际的ZSL模型可能会考虑更复杂的情况，例如类别间的关系，或者使用更复杂的映射函数等。我建议你在阅读这些论文的同时，也查阅一下他们的引用文献，以了解更多相关的工作。零次学习（Zero-Shot Learning，ZSL）的基本原理是通过学习已知类别和语义描述之间的映射，从而理解并识别新的、未曾见过的类别。
（转）零次学习（Zero-Shot Learning）入门
热门推荐
一路向北
08-22 4万+
零次学习（Zero-Shot Learning）入门 小栗子    转自：https://zhuanlan.zhihu.com/p/34656727?spm=5176.9876270.0.0.399ce44aXsg7cN  谢谢作者 事物的本质反映世界构成的规律 408 人赞了该文章 很久没有更文章了，主要是没有找到zero-shot learning(ZSL)方面我特别想要分享的...
深度学习中的ZeroshotLearning
AI天才研究院
01-28 937
1.背景介绍 在深度学习领域，Zero-shot Learning(零距离学习)是一种非常有趣的研究方向。它旨在解决一种特定的学习问题：如何在没有任何来自新类别的训练数据的情况下，对新类别进行分类和识别。这篇文章将涵盖 Zero-shot Learning 的背景、核心概念、算法原理、最佳实践、应用场景、工具和资源推荐以及未来发展趋势与挑战。 1. 背景介绍 在传统的机器学习和深度学习中，我...
Zero-shot Learning学习笔记
爱学习爱运动的专栏
11-01 811
Zero-shot Learning学习笔记
few-shot与zero-shot
最新发布
07-09
在机器学习领域，**Few-shot Learning（少样本学习）** 和 **Zero-shot Learning（零样本学习）** 是两种针对数据稀缺场景下的学习范式，它们的核心目标都是在有限或无可见样本的情况下实现对新类别的识别能力。 ### Few-shot Learning Few-shot Learning 旨在通过极少量的样本（通常每个类别仅包含几个样本）来训练模型以识别新类别。其核心挑战在于如何从有限的数据中提取足够的信息以支持泛化能力。该方法通常依赖于元学习（Meta-learning）框架，例如基于原型网络（Prototypical Networks）、匹配网络（Matching Networks）或关系网络（Relation Networks）等结构[^2]。 例如，在 C-way K-shot 问题中，C 表示类别数量，K 表示每个类别的样本数量，这意味着模型需要在仅有 K 个样本的情况下区分 C 个类别[^4]。 ```python # 示例：简单的原型网络计算类原型的伪代码片段 def compute_prototypes(support_set): prototypes = {} for cls in support_set: features = [extract_features(sample) for sample in support_set[cls]] prototype = np.mean(features, axis=0) prototypes[cls] = prototype return prototypes ``` ### Zero-shot Learning Zero-shot Learning 则更进一步，它假设在训练阶段完全没有见过目标类别的样本，而是通过辅助信息（如属性描述、文本嵌入等）来建立视觉特征空间与语义描述之间的映射。这种学习方式常用于图像识别、自然语言处理等领域，尤其是在新类别不断出现的动态环境中[^3]。 例如，若模型已经能够识别马、老虎和熊猫，并希望它也能识别斑马，那么可以通过提供关于“斑马是像马一样但有黑白条纹的动物”的描述信息来实现识别功能，而无需实际展示斑马的图像。 ```python # 示例：构建视觉-语义映射的伪代码片段 class ZeroShotClassifier: def __init__(self, semantic_embeddings): self.semantic_embeddings = semantic_embeddings # 类别语义向量 def predict(self, image_feature): similarities = [cosine_similarity(image_feature, emb) for emb in self.semantic_embeddings.values()] predicted_class = list(self.semantic_embeddings.keys())[np.argmax(similarities)] return predicted_class ``` ### 区别总结 | 特性 | Few-shot Learning | Zero-shot Learning | |------|-------------------|--------------------| | 样本需求 | 每类有少量样本（如1~5个） | 完全没有目标类样本 | | 依赖信息 | 实例样本 + 标签 | 语义描述 / 属性信息 | | 应用场景 | 新类别数据有限但仍可获取少量样本 | 新类别样本完全不可得，仅能通过语义定义 | ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值