预训练(pre-training/trained)与微调(fine tuning)

最新推荐文章于 2025-07-15 14:59:03 发布
转载 最新推荐文章于 2025-07-15 14:59:03 发布 · 2k 阅读 · 0 

                    版权声明：本文为博主原创文章，引用时请附上链接。                        https://blog.youkuaiyun.com/abc13526222160/article/details/89320108                    </div>
                                                <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-cd6c485e8b.css">
                                                        <div id="content_views" class="markdown_views prism-dracula">
                    <!-- flowchart 箭头图标 勿删 -->
                    <svg xmlns="http://www.w3.org/2000/svg" style="display: none;">
                        <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path>
                    </svg>
                    <p></p><div class="toc"><h3><a name="t0"></a>文章目录</h3><ul><ul><ul><li><a href="#_1" rel="nofollow" target="_self">一、什么是预训练和微调？</a></li><li><a href="#_7" rel="nofollow" target="_self">二、预训练和微调的作用</a></li></ul></ul></ul></div><p></p>

一、什么是预训练和微调？

  • 预训练（ p r e − t r a i n i n g / t r a i n e d p r e − t r a i n i n g / t r a i n e d p r e − t r a i n i n g / t r a i n e d pre−training/trainedpre−training/trained pre-training/trained pre−training/trainedpre−training/trainedpre−training/trainedInception 等模型都提供了自己的训练参数，以便人们可以拿来微调。这样既节省了时间和计算资源，又能很快的达到较好的效果。

  • 参考文献： https://www.jianshu.com/p/330ee6e7ceda

                </div>
                <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-e44c3c0e64.css" rel="stylesheet">
                                </div>
预训练与微调(fine tuning)
Jiashilin
05-08 3万+
预训练与微调(fine tuning) 1概念 1.1. 什么是预训练 你需要搭建一个网络模型来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整直到网络的损失越来越小。在训练的过程中，一开始初始化的参数会不断变化。当你觉得结果很满意的时候，你就可以将训练模型的参数保存下来，以便训练好的模型可以在下次执行类似任务时获得较好的结果。这个过程就是 pre-t...
【ChatGPT模型精调训练】AI 大模型精调 Fine-Tuning （微调）训练图文代码实战详解
AI天才研究院
03-09 2101
选择预训练模型：选择一个在类似任务上已经训练好的模型作为起点。数据准备：准备并预处理你的数据集，使其适合模型的输入格式。微调：在你的特定数据集上继续训练模型，调整模型的权重。评估：评估微调后模型的性能。应用：将微调后的模型部署到实际应用中。Fine-Tuning（精调）是指在预训练模型的基础上，对模型进行微调，使其适应特定任务。预训练模型通常在大量无标签数据上进行训练，以学习通用的语言表示。通过 Fine-Tuning，我们可以在较小的标签数据集上训练模型，以便模型能够更好地解决特定任务。
pretraining+fine tuning
weixin_42386003的博客
09-22 905
few shotlearning简单实现方法：在大规模数据做预训练模型，然后在小规模suport set上做fine tuning。方法简单准确率高。 基础数学知识： cos函数可以判断两个向量的相似度： 长度=1时 长度=2时 softmax： few-shot leaning 做法： 1先用大数据集训练一个神经网络，来从图片提取特征（预训练模型用来提取特征，图片的模型是否使用？其他EEG数据是否可以作为大数据来作为预训练模型的数据？若用EEG数据怎么判定预训练模型进行数据.
一文说清楚什么是预训练（Pre-Training）、微调（Fine-Tuning），看这一篇就够了！
最新发布
xxue345678的博客
07-15 967
在人工智能飞速发展的当下，预训练（Pre-Training）与微调（Fine-Tuning）已成为推动 AI 模型不断进化的关键技术。这两项技术相辅相成，共同为模型在多样化任务中的出色表现奠定基础。接下来，就让我们深入探究预训练与微调的奥秘。
pre-training && fine-tuning(预训练与微调)
HFUTxyg的博客
04-09 936
由于最近在做一些研究，正好需要用到相关的方法，找到了一篇不错的文章，分享在此处以供有需要的人参考（以下文字均为引用，侵删）： 预训练(pre-training/trained)：你需要搭建一个网络来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整直到网络的损失越来越小。在训练的过程中，一开始初始化的参数会不断变化。当你觉得结果很满意的时候，就可以将训练模型的参数保存下来，以便训练好的模型可以在下次执行类似任务时获得较好的结果。这个过程就是pre-training。 之后，
Few-Shot Learning：Pretraining（预训练） + Fine Tuning
Bluebro的博客
11-13 1812
用 pretraining (预训练) + Fine Tuning解决小样本学习。虽然这类方法很简单，但是准确率与最好的方法相当。在大规模数据上预训练模型，在小规模数据Support Set上做Fine Tuning。用到Cosine similarity和softmax函数
Pre-train 与 Fine-tuning
热门推荐
大丈夫
04-16 1万+
Pre-train的model:就是指之前被训练好的Model, 比如很大很耗时间的model, 你又不想从头training一遍。这时候可以直接download别人训练好的model， 里面保存的都是每一层的parameter配置情况。(Caffe里对于ImageNet的一个model, 我记得是200+M的model大小)。你有了这样的model之后，可以直接拿来做testing, 前提是你的o
Pre-training Vs. Fine-Tuning Large Language Models and Self-supervised
qq_25392465的博客
07-23 701
自监督学习、机器学习、预训练和微调的一些概念
Pruning Pre-trained Language Models Without Fine-Tuning
c_cpp_csharp的专栏
10-16 663
为了克服预训练语言模型(PLMs)中的过度参数化问题，剪枝作为一种简单直接的压缩方法被广泛使用，它直接去除不重要的权重。先前的一阶方法成功地将plm压缩到极高的稀疏度，而性能下降很小。这些方法，如运动剪枝，使用一阶信息剪枝plm，同时微调剩余的权重。在这项工作中，我们认为微调对于一阶剪枝是多余的，因为一阶剪枝足以在没有微调的情况下将plm收敛到下游任务。在此动机下，我们提出了静态模型剪枝(SMP)，该方法仅使用一阶剪枝使plm适应下游任务，同时达到目标稀疏度水平。
【搜索排序】预训练综述Pre-training Methods in Information Retrieval
weixin_40485502的博客
05-05 889
文章目录相关性效率系统2. 召回阶段2.1 Sparse Retrieval Models2.2 Dense Retrieval Models。2.3 混合方式3.re-rank阶段4. 其他组件4.1 在query理解上4.2 在doc理解上：未来工作 信息检索中的花式预训练综述（Pre-training Methods in Information Retrieval） Pre-training Methods in Information Retrieval 核心：相关性 传统检索模型 Lear
Prompt Pre-training：迈向更强大的Parameter-Efficient Prompt Tuning
Paper weekly
11-02 1723
©PaperWeekly 原创 ·作者 | 李国趸单位 | 浙江大学硕士生研究方向 | 少样本学习前言从 prompt learning 的发展来看，一开始关注的是将任务建模成和预训练相...
『DL笔记』预训练(pre-training/trained)与微调(fine tuning)
AI新视界
04-15 1万+
文章目录一、什么是预训练和微调？二、预训练和微调的作用 一、什么是预训练和微调？ 预训练（pre−training/trainedpre-training/trainedpre−training/trained）和微调（fine−tuningfine-tuningfine−tuning）这两个词经常在论文中见到， 你需要搭建一个网络模型来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，...
一文彻底搞懂Fine-tuning - 预训练和微调（Pre-training vs Fine-tuning）
2401_85377976的博客
08-28 1239
在新任务的小规模标注数据集上，使用有监督学习的方法对预训练模型进行微调，以使其适应新任务。
预训练（pre-learning）、微调（fine-tuning）、迁移学习（transfer learning）
顺其自然~专栏
01-05 1666
将预训练模型的参数应用于新的相关任务，可以利用预训练模型在大规模数据上学习到的通用特征，从而在新任务上提高性能。这是因为在预训练阶段，模型学习到了大量的数据中的通用特征，这些特征对于许多任务都是有用的。预训练的好处在于，通过利用大规模数据进行训练，模型可以学习到更泛化的特征表示，从而在具体任务上表现更好。通过预训练，在大规模数据上学习到的通用特征表示可以作为初始化参数，加速模型在特定任务上的训练过程。预训练后，模型的参数会被调整到一种更有用的表示形式，使得它能够从输入数据中提取有意义的特征。
预训练与微调
weixin_47414034的博客
05-04 2019
随机初始化模型参数，然后开始训练网络，不断调整参数使得损失函数越来越小，在这个过程中，当你觉得结满意的时候将参数保存下来。 之后，你如果需要进行一个类似的任务，就将之前保存的模型参数作为这个新任务的初始化参数，然后再进行调参，由于此时的调整只是一些微小的调整了，所以叫作微调fine-tuning（将预训练过的模型作用于自己的数据集，使参数适应自己的数据集）。 总结：也就是说，预训练就是不再对模型参数进行随机初始化，而是用预训练得到的参数进行初始化 实际上，很少有人直接从头训练一个网络，因为自己一般不可
深度学习中的预训练与微调（非常详细），零基础入门到精通，看这一篇就够了
Python单行客的博客
11-11 4248
深度学习中的预训练与微调（非常详细），零基础入门到精通，看这一篇就够了
预训练网络的模型微调方法
慕云
10-14 1113
预训练网络的模型微调方法 1、查看模型 conv_base.summary() 2、冻结直到某一层的所有层 #冻结直到某一层的所有层 conv_base.trainable=True set_trainable=False for layers in conv_base.layers: if layers.name=='block5_conv1': set_trainable=True if set_trainable: layers.trainable
为什么“Pretrained+Fine-tuning”
NodYoung
04-13 5839
Deep Learning或者说CNN在图像识别这一领域取得了巨大的进步，那么自然我们就想将CNN应用到我们自己的数据集上，但这时通常就会面临一个问题：通常我们的dataset都不会特别大，一般不会超过1万张，甚至更少。这种情况下，直接使用train from scratch的方式在小数据集上容易过拟合，尤其是在数据分布差异化很大的场景下。然后就有了迁移学习了，Transfer Learning关心
用自有数据集 YOLO-World -s 用自有 yolo格式的热成像 人脸检测 训练数据集 微调 s_stage2-4466ab94.pth的背景下， 以下是 官方微调教程 Fine-tuning YOLO-World Fine-tuning YOLO-World is easy and we provide the samples for COCO object detection as a simple guidance. Fine-tuning Requirements Fine-tuning YOLO-World is cheap: it does not require 32 GPUs for multi-node distributed training. 8 GPUs or even 1 GPU is enough. it does not require the long schedule, e.g., 300 epochs or 500 epochs for training YOLOv5 or YOLOv8. 80 epochs or fewer is enough considering that we provide the good pre-trained weights. Data Preparation The fine-tuning dataset should have the similar format as the that of the pre-training dataset. We suggest you refer to docs/data for more details about how to build the datasets: if you fine-tune YOLO-World for close-set / custom vocabulary object detection, using MultiModalDataset with a text json is preferred. if you fine-tune YOLO-World for open-vocabulary detection with rich texts or grounding tasks, using MixedGroundingDataset is preferred. Hyper-parameters and Config Please refer to the config for fine-tuning YOLO-World-L on COCO for more details. Basic config file: If the fine-tuning dataset contains mask annotations: base = ('…/…/third_party/mmyolo/configs/yolov8/yolov8_l_mask-refine_syncbn_fast_8xb16-500e_coco.py') 复制 base = (‘…/…/third_party/mmyolo/configs/yolov8/yolov8_l_mask-refine_syncbn_fast_8xb16-500e_coco.py’) python If the fine-tuning dataset doesn’t contain mask annotations: base = ('…/…/third_party/mmyolo/configs/yolov8/yolov8_l_syncbn_fast_8xb16-500e_coco.py') 复制 base = (‘…/…/third_party/mmyolo/configs/yolov8/yolov8_l_syncbn_fast_8xb16-500e_coco.py’) python Training Schemes: Reducing the epochs and adjusting the learning rate _base_.val_interval_stage2)]) 复制 _base_.val_interval_stage2)]) python Datasets: _delete_=True, type=&#39;MultiModalDataset&#39;, type=&#39;YOLOv5CocoDataset&#39;, data_r
03-27
#### 三、超参数设置与训练 1. **关键超参数配置** 在训练脚本或配置文件中设置以下参数（参考官方建议）： ```yaml lr0: 0.001 # 初始学习率（微调建议降低至1e-4~1e-3） batch: 16 # 批次大小（根据显存调整...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值