Few-Shot Learning：Pretraining（预训练） + Fine Tuning

最新推荐文章于 2024-09-30 18:14:32 发布
原创 最新推荐文章于 2024-09-30 18:14:32 发布 · 1.9k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

本文介绍了如何利用预训练模型结合Fine-Tuning在小规模数据支持集中实现高精度分类。通过CosineSimilarity计算特征向量相似度，结合Softmax分类器进行预测，并详细阐述了Fine-Tuning过程中的参数更新和正则化策略。最后，重点展示了CNN预训练在Few-shot学习中的应用和效果提升。

用 pretraining (预训练) + Fine Tuning解决小样本学习。虽然这类方法很简单，但是准确率与最好的方法相当。

在大规模数据上预训练模型，在小规模数据Support Set上做Fine Tuning。

Cosine Similarity

计算两个向量的相似度

1.x和w向量长度相等都为1，cosθ等于x和w的内积，Cosine Similarity=cosθ=x与w的内积，表示x投影到w上的截距，范围是-1到1。

在这里插入图片描述

2.如果x和w的向量长度不为1，则需要归一化把长度变成1，计算Cosine Similarity的公式如下如下：

在这里插入图片描述

我们把query和Support Set中的图片都映射成特征向量，就可以比较二者在特征空间的相似度，计算两两的cosine similarity，选择相似度最高的类别作为分类结果。

Softmax Function

是一个激活函数，把一个向量映射成一个概率分布

输入k维向量Φ，将Φ中每一个元素做指数变换得到k个大于0的数，然后对结果做归一化使k个数相加等于1，把得到的k个数记为向量p，即为函数的输出

最低0.47元/天 解锁文章
Language Models are Few-Shot Learners: 开箱即用的GPT-3(三)
新兴IT民工的专栏
07-28 1689
GPT-3论文的测试结果
小样本学习（FSL）：Few-shot Learning 综述【模型微调（Fine-tunning）、数据增强、迁移学习（Transfer Learning）】
u013250861的博客
03-09 1万+
分类非常常见，但如果每个类只有几个标注样本，怎么办呢？ 比如：我们打造了一个智能对话开发平台以赋能第三方开发者来开发各自业务场景中的任务型对话，其中一个重要功能就是对意图进行分类。大量平台用户在创建一个新对话任务时，并没有大量标注数据，每个意图往往只有几个或十几个样本。 面对这类问题，有一个专门的机器学习分支——Few-shot Learning 来进行研究和解决。 一、小样本学习方法 1、基于模型微调的小样本学习 基于模型微调的方法是小样本学习较为传统的方法,该方法通常在大规模数据上预训练模型,在目标小样
预训练（Pre-training），人工智能领域的预训练是什么——AI教程
qq_26303031的博客
08-14 5179
预训练是指在一个大规模的通用数据集上对模型进行初步训练，使其能够学习到丰富的特征表示。这个过程通常在没有监督（即没有明确的标签）的情况下进行，称为无监督预训练。经过预训练的模型可以捕捉到数据中的模式和结构，从而在后续的特定任务（如分类、回归等）中更有效地进行微调（fine-tuning）。
小样本学习-pretraing+fine tuning
weixin_42386003的博客
11-09 2670
一.介绍：小样本学习，属于元学习的一种。目的是让机器具有自我判别的先验知识。 比如说，我们想要训练对3类图片分别是 猪，牛，羊的模型，传统的监督学习是拿这3类的大量数据进行训练，然后得到一个模型。 而小样本学习是想要通过其他大量的图片样本（不包括猪，牛，羊）训练出一个模型（比如相似度函数），这个模型具有先验知识（判别两类相同或者不相同的能力），所以使用这个模型，可以用来分类猪，牛，羊这三类，因为此时我们的模型已经具有分类两种类别异同的先验知识了...
解决Few-shot问题的两大方法：元学习与微调
weixin_53880910的博客
06-21 2223
Few-shot问题或称为Few-shot学习是希望能通过少量的标注数据实现对图像的分类，是元学习(Meta-Learning)的一种。 Few-shot学习，不是为了学习、识别训练集上的数据，泛化到测试集，而是为了让模型学会学习。也就是模型训练后，能理解事物的异同、区分不同的事物。如果给出两张图片，不是为了识别两张图片是什么，而是让模型知道两张图片是相同的事物还是不同的事物。
pretraining+fine tuning
weixin_42386003的博客
09-22 930
few shotlearning简单实现方法：在大规模数据做预训练模型，然后在小规模suport set上做fine tuning。方法简单准确率高。 基础数学知识： cos函数可以判断两个向量的相似度： 长度=1时 长度=2时 softmax： few-shot leaning 做法： 1先用大数据集训练一个神经网络，来从图片提取特征（预训练模型用来提取特征，图片的模型是否使用？其他EEG数据是否可以作为大数据来作为预训练模型的数据？若用EEG数据怎么判定预训练模型进行数据.
pre-training && fine-tuning(预训练与微调)
HFUTxyg的博客
04-09 992
由于最近在做一些研究，正好需要用到相关的方法，找到了一篇不错的文章，分享在此处以供有需要的人参考（以下文字均为引用，侵删）： 预训练(pre-training/trained)：你需要搭建一个网络来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整直到网络的损失越来越小。在训练的过程中，一开始初始化的参数会不断变化。当你觉得结果很满意的时候，就可以将训练模型的参数保存下来，以便训练好的模型可以在下次执行类似任务时获得较好的结果。这个过程就是pre-training。 之后，
few-shot learning(三)：Pretraining and Fine Tuning
qq_38156104的博客
08-09 1126
优点：简单，准确度高。 数学基础 余弦相似度 softmax softmax会把大的值变大，小的值变小。 Few-shot Prediction Using Pretrained CNN 预训练一个大网络提取特征，预测时用到这个网络。可以使用多种方法训练（训练方法以及网络结构对结果会有影响），但是使用监督学习训练完，要把全连接层去掉。 few-shot分类方法 拿Query与μ做对比。 Fine-Tuning Fine-Tuning可以大幅提高准确率。之...
【王树森】Few-Shot Learning (3/3)：Pretraining + Fine Tuning（个人向笔记）
hxdxiaoming的博客
09-02 671
Few-Shot Learning 很简单，但是却能达到比较高的准确度，相反一些复杂的模型反而不能达到很高的准确率。
【论文阅读】Semantic Prompt for Few-Shot Image Recognition（已复现）
cainiaomyf的博客
09-30 2837
小样本学习是一个具有挑战性的问题，因为只提供了少量样本来识别新的类别。最近的一些研究利用了额外的语义信息，例如类别名称的文本嵌入，通过将语义原型与视觉原型相结合来解决稀缺样本的问题。然而，这些方法仍然受到从稀缺支持样本中学习到的虚假视觉特征的影响，导致收益有限。在本文中，我们提出了一种用于小样本学习的新颖语义提示（Semantic Prompt，SP）方法。我们并非简单地利用语义信息来修正分类器，而是探索将语义信息作为提示来自适应地调整视觉特征提取网络。
预训练(pre-training/trained)与微调(fine tuning)
weixin_43489950的博客
07-06 2114
版权声明：本文为博主原创文章，引用时请附上链接。 https://blog.youkuaiyun.com/abc13526222160/article/details/89320108 &...
NLP LLM（Pretraining + Finetuning）——理论篇
ZhengrongYue的博客
09-24 1204
NLP BigModel
一文彻底搞懂Fine-tuning - 预训练和微调（Pre-training vs Fine-tuning）
机器学习社区
08-04 2494
这种方式更加关注于模型参数层面的调整，根据是否调整全部参数，可以细分为全面微调（Full Fine-tuning）和部分/参数高效微调（Parameter-Efficient Fine-tuning, PEFT）。
预训练（Pre-training）
xw555666的博客
02-25 5671
预训练阶段在深度学习和自然语言处理（NLP）、计算机视觉（CV）等领域的模型构建中起着至关重要的作用。通过在大规模无标签数据集上进行预训练，模型可以学到丰富的语言结构、词汇关系、图像特征等通用知识，并将其编码为参数形式。这种预训练得到的模型能够提供高质量的初始化权重，这些权重包含了对世界广泛而深入的理解。总体来说，预训练和应用开发相辅相成，共同推动了AI技术的发展和落地应用。预训练大大提升了模型性能并降低了对大量标注数据的依赖，而应用开发则确保模型能够在实际问题中发挥出最佳效果。
ML笔记：预训练(pre-training/trained)与微调(fine tuning)
Supporint的博客
11-28 3548
学习目标： 预训练（pre-training/trained）和微调（fine tuning）这两个词经常在论文中见到，今天主要按以下两点来说明。 什么是预训练和微调？ 它俩有什么作用? 一、什么是预训练和微调？ 预训练(pre-training/trained)：你需要搭建一个网络来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整直到网络的损失越来越小。在训练的过程中，一开始初始化的参数会不断变化。当你觉得结果很满意的时候，就可以将训练模型的参数保存下来，以便训练好的模
深度神经网络结构以及Pre-Training的理解
热门推荐
cyq0122的专栏
12-08 1万+
Logistic回归、传统多层神经网络 1.1 线性回归、线性神经网络、Logistic/Softmax回归 线性回归是用于数据拟合的常规手段，其任务是优化目标函数：h(θ)=θ+θ1x1+θ2x2+....θnxn 线性回归的求解法通常为两种： ①解优化多元一次方程（矩阵）的传统方法，在数值分析里通常被称作”最小二乘法"，公式θ=(XTX)−1XTY ②迭代法：有一阶导数（梯度下降）优
深度学习算法中的预训练（Pretraining）
牛肉胡辣汤
09-23 1604
通过预训练，深度学习模型能够从无标签数据中学习到一些通用的特征表示，然后在有标签数据上进行微调，从而提高模型的泛化性能和训练效率。首先，加载预训练模型并替换最后一层全连接层，然后冻结预训练模型的参数。为了解决这个问题，预训练（Pretraining）技术应运而生，它通过在无标签数据上进行初始训练，然后在有标签数据上进行微调，从而加速和改善深度学习模型的训练。预训练是深度学习算法中一种重要的训练技术，通过在无标签数据上进行初始训练，然后在有标签数据上进行微调，可以加速和改善深度学习模型的训练过程。
【Huggingface系列学习】Finetuning一个预训练模型
qq_52852138的博客
02-12 2651
【huggingface系列】Fituning预训练模型
命名实体识别方向最新论文
最新发布
05-16
### 关于命名实体识别的研究进展 命名实体识别（Named Entity Recognition, NER）是一项重要的自然语言处理任务，旨在从文本中提取特定类型的实体，如人名、地名、组织名称等[^1]。近年来，随着深度学习技术的发展，NER 的研究取得了显著进步。 #### 深度学习驱动的 NER 方法 最新的研究表明，基于 Transformer 架构的预训练模型（如 BERT、RoBERTa 和 ELECTRA）在 NER 任务中表现出卓越性能[^4]。这些模型通过大规模无监督预训练获取丰富的上下文表示，并结合微调策略适应具体的 NER 场景。例如，Fine-tuning BERT 可以有效捕捉实体边界及其类别信息[^2]。 #### 跨领域和低资源场景下的 NER 针对跨领域迁移和低资源语言的问题，研究人员提出了多种解决方案。一种常见方法是利用多任务学习框架，在多个相关任务之间共享参数，从而增强模型泛化能力[^3]。此外，零样本学习（Zero-shot Learning）、少样本学习（Few-shot Learning）以及元学习（Meta-Learning）也被广泛应用于解决标注数据不足的情况[^4]。 #### 结合外部知识库的方法 为了提高 NER 的准确性，部分工作尝试引入外部知识源作为补充信息。例如，将 Wikipedia 或 Freebase 中的知识图谱嵌入到神经网络结构中，能够帮助模型更好地理解复杂实体关系并减少歧义[^2]。 以下是几篇值得关注的相关研究论文： 1. **Devlin et al., “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” NAACL-HLT 2019** 提出了双向编码器表征（Bidirectional Encoder Representations from Transformers），奠定了现代 NER 技术的基础。 2. **Peters et al., “Deep Contextualized Word Representations,” ACL 2018** 探讨了 ELMo 这一上下文化单词向量对于提升 NER 表现的作用。 3. **Yang et al., “XLNet: Generalized Autoregressive Pretraining for Language Understanding,” NeurIPS 2019** 展示了一种新的广义自回归前训方式，进一步优化了序列标记效果。 4. **Lample & Yang, “Improved Neural Networks for Named Entity Recognition Using Character-Level Features,” CoNLL 2016** 阐述如何借助字符级特征改进传统 RNN-CRF 模型的效果。 ```python import transformers from transformers import BertTokenizer, BertForTokenClassification tokenizer = BertTokenizer.from_pretrained('bert-base-cased') model = BertForTokenClassification.from_pretrained('dbmdz/bert-large-cased-finetuned-conll03-english') text = "Apple is looking at buying U.K. startup for $1 billion" tokens = tokenizer.tokenize(tokenizer.decode(tokenizer.encode(text))) inputs = tokenizer.encode(text, return_tensors="pt") outputs = model(inputs).logits predictions = torch.argmax(outputs, dim=2) for token, prediction in zip(tokens, predictions[0].numpy()): print(f"{token} -> {model.config.id2label[prediction]}") ``` 此代码片段展示了如何使用 Hugging Face 库加载经过 ConLL-2003 数据集微调过的 BERT 模型来执行英文 NER 任务。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值