迁移学习（ Transfer Learning ）

最新推荐文章于 2025-07-17 11:02:58 发布
最新推荐文章于 2025-07-17 11:02:58 发布
阅读量4.2k 收藏 3
点赞数 1
文章标签： 算法 classification 测试 工作 processing web
本文探讨了迁移学习在快速发展的Web应用领域的应用与挑战，特别是针对新领域中训练数据获取困难的问题。文章介绍了同构空间下基于实例与特征的迁移学习方法，以及异构空间下的翻译学习策略，旨在合理利用不同分布下的训练数据，解决传统机器学习面临的数据同分布假设难题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在传统的机器学习的框架下，学习的任务就是在给定充分训练数据的基础上来学习一个分类模型；然后利用这个学习到的模型来对测试文档进行分类与预测。然而，我 们看到机器学习算法在当前的Web挖掘研究中存在着一个关键的问题：一些新出现的领域中的大量训练数据非常难得到。我们看到Web应用领域的发展非常快速。大量新的领域不断涌现，从传统的新闻，到网页，到图片,再到博客、播客等等。传统的机器学习需要对每个领域都标定大量训练数据，这将会耗费大量的人力 与物力。而没有大量的标注数据，会使得很多与学习相关研究与应用无法开展。其次，传统的机器学习假设训练数据与测试数据服从相同的数据分布。然而，在许多情况下，这种同分布假设并不满足。通常可能发生的情况如训练数据过期。这往往需要我们去重新标注大量的训练数据以满足我们训练的需要，但标注新数据是非常昂贵的，需要大量的人力与物力。从另外一个角度上看，如果我们有了大量的、在不同分布下的训练数据，完全丢弃这些数据也是非常浪费的。如何合理的利用这些 数据就是迁移学习主要解决的问题。迁移学习可以从现有的数据中迁移知识，用来帮助将来的学习。迁移学习（Transfer Learning）的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。因此，迁移学习不会像传统机器学习那样作同分布假设。

我们在迁移学习方面的工作目前可以分为以下三个部分：同构空间下基于实例的迁移学习，同构空间下基于特征的迁移学习与异构空间下的迁移学习。我们的研究指 出，基于实例的迁移学习有更强的知识迁移能力，基于特征的迁移学习具有更广泛的知识迁移能力，而异构空间的迁移具有广泛的学习与扩展能力。这几种方法各有 千秋。

1.同构空间下基于实例的迁移学习

基于实例的迁移学习的基本思想是，尽管辅助训练数据和源训练数据或多或少会有些不同，但是辅助训练数据中应该还是会存在一部分比较适合用来训练一个有效的分类模型，并且适应测试数据。于是，我们的目标就是从辅助训练数据中找出那些适合测试数据的实例，并将这些实例迁移到源训练数据的学习中去。在基于实例的迁 移学习方面，我们推广了传统的AdaBoost算法，提出一种具有迁移能力的boosting算法：Tradaboosting [9]，使之具有迁移学习的能力，从而能够最大限度的利用辅助训练数据来帮助目标的分类。我们的关键想法是，利用boosting的技术来过滤掉辅助数据中那些与源训练数据最不像的数据。其中，boosting的作用是建立一种自动调整权重的机制，于是重要的辅助训练数据的权重将会增加，不重要的辅助训练 数据的权重将会减小。调整权重之后，这些带权重的辅助训练数据将会作为额外的训练数据，与源训练数据一起从来提高分类模型的可靠度。

基于实例的迁移学习只能发生在源数据与辅助数据非常相近的情况下。但是，当源数据和辅助数据差别比较大的时候，基于实例的迁移学习算法往往很难找到可以迁移的知识。但是我们发现，即便有时源数据与目标数据在实例层面上并没有共享一些公共的知识，它们可能会在特征层面上有一些交集。因此我们研究了基于特征的迁 移学习，它讨论的是如何利用特征层面上公共的知识进行学习的问题。

2.同构空间下基于特征的迁移学习

在 基于特征的迁移学习研究方面，我们提出了多种学习的算法，如CoCC算法[7]，TPLSA算法[4]，谱分析算法[2]与自学习算法[3]等。其中利用 互聚类算法产生一个公共的特征表示，从而帮助学习算法。我们的基本思想是使用互聚类算法同时对源数据与辅助数据进行聚类，得到一个共同的特征表示，这个新的特征表示优于只基于源数据的特征表示。通过把源数据表示在这个新的空间里，以实现迁移学习。应用这个思想，我们提出了基于特征的有监督迁移学习与基于特征的无监督迁移学习。

2.1 基于特征的有监督迁移学习

我们在基于特征的有监督迁移学习方面的工作是基于互聚类的跨领域分类[7]，这个工作考虑的问题是：当给定一个新的、不同的领域，标注数据及其稀少时，如何利用原有领域中含有的大量标注数据进行迁移学习的问题。在基于互聚类的跨领域分类这个工作中，我们为跨领域分类问题定义了一个统一的信息论形式化公式，其中基于互聚类的分类问题的转化成对目标函数的最优化问题。在我们提出的模型中，目标函数被定义为源数据实例，公共特征空间与辅助数据实例间互信息的损失。

2.2 基于特征的无监督迁移学习：自学习聚类

我们提出的自学习聚类算法[3]属于基于特征的无监督迁移学习方面的工作。这里我们考虑的问题是：现实中可能有标记的辅助数据都难以得到，在这种情况下如何 利用大量无标记数据辅助数据进行迁移学习的问题。自学习聚类的基本思想是通过同时对源数据与辅助数据进行聚类得到一个共同的特征表示，而这个新的特征表示由于基于大量的辅助数据，所以会优于仅基于源数据而产生的特 征表示，从而对聚类产生帮助。

上面提出的两种学习策略（基于特征的有监督迁移学习与无监督迁移学习）解决的都是源数据与辅助数据在同一特征空间内的基于特征的迁移学习问题。当源数据与辅助数据所在的特征空间中不同时，我们还研究了跨特征空间的基于特征的迁移学习，它也属于基于特征的迁移学习的一种。

３　异构空间下的迁移学习：翻译学习

我们提出的翻译学习[1][5]致力于解决源数据与测试数据分别属于两个不同的特征空间下的情况。在[1]中，我们使用大量容易得到的标注过文本数据去帮助 仅有少量标注的图像分类的问题，如上图所示。我们的方法基于使用那些用有两个视角的数据来构建沟通两个特征空间的桥梁。虽然这些多视角数据可能不一定能够 用来做分类用的训练数据，但是，它们可以用来构建翻译器。通过这个翻译器，我们把近邻算法和特征翻译结合在一起，将辅助数据翻译到源数据特征空间里去，用 一个统一的语言模型进行学习与分类。

引文：

[1]. Wenyuan Dai, Yuqiang Chen, Gui-Rong Xue, Qiang Yang, and Yong Yu. Translated Learning: Transfer Learning across Different Feature Spaces. Advances in Neural Information Processing Systems 21 (NIPS 2008), Vancouver, British Columbia, Canada, December 8-13, 2008.

[2]. Xiao Ling, Wenyuan Dai, Gui-Rong Xue, Qiang Yang, and Yong Yu. Spectral Domain-Transfer Learning. In Proceedings of the Fourteenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2008), Pages 488-496, Las Vegas, Nevada, USA, August 24-27, 2008.

[3]. Wenyuan Dai, Qiang Yang, Gui-Rong Xue and Yong Yu. Self-taught Clustering. In Proceedings of the Twenty-Fifth International Conference on Machine Learning (ICML 2008), pages 200-207, Helsinki, Finland, 5-9 July, 2008.

[4]. Gui-Rong Xue, Wenyuan Dai, Qiang Yang and Yong Yu. Topic-bridged PLSA for Cross-Domain Text Classification. In Proceedings of the Thirty-first International ACM SIGIR Conference on Research and Development on Information Retrieval (SIGIR2008), pages 627-634, Singapore, July 20-24, 2008.

[5]. Xiao Ling, Gui-Rong Xue, Wenyuan Dai, Yun Jiang, Qiang Yang and Yong Yu. Can Chinese Web Pages be Classified with English Data Source? In Proceedings the Seventeenth International World Wide Web Conference (WWW2008), Pages 969-978, Beijing, China, April 21-25, 2008.

[6]. Xiao Ling, Wenyuan Dai, Gui-Rong Xue and Yong Yu. Knowledge Transferring via Implicit Link Analysis. In Proceedings of the Thirteenth International Conference on Database Systems for Advanced Applications (DASFAA 2008), Pages 520-528, New Delhi, India, March 19-22, 2008.

[7]. Wenyuan Dai, Gui-Rong Xue, Qiang Yang and Yong Yu. Co-clustering based Classification for Out-of-domain Documents. In Proceedings of the Thirteenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2007), Pages 210-219, San Jose, California, USA, Aug 12-15, 2007.

[8]. Wenyuan Dai, Gui-Rong Xue, Qiang Yang and Yong Yu. Transferring Naive Bayes Classifiers for Text Classification. In Proceedings of the Twenty-Second National Conference on Artificial Intelligence (AAAI 2007), Pages 540-545, Vancouver, British Columbia, Canada, July 22-26, 2007.

[9]. Wenyuan Dai, Qiang Yang, Gui-Rong Xue and Yong Yu. Boosting for Transfer Learning. In Proceedings of the Twenty-Fourth International Conference on Machine Learning (ICML 2007), Pages 193-200, Corvallis, Oregon, USA, June 20-24, 2007.

[10]. Dikan Xing, Wenyuan Dai, Gui-Rong Xue and Yong Yu. Bridged Refinement for Transfer Learning. In Proceedings of the Eleventh European Conference on Principles and Practice of Knowledge Discovery in Databases (PKDD 2007), Pages 324-335, Warsaw, Poland, September 17-21, 2007. （Best Student Paper Award）

[11]. Xin Zhang, Wenyuan Dai, Gui-Rong Xue and Yong Yu. Adaptive Email Spam Filtering based on Information Theory. In Proceedings of the Eighth International Conference on Web Information Systems Engineering (WISE 2007), Pages 159–170, Nancy, France, December 3-7, 2007.

转自：http://apex.sjtu.edu.cn/apex_wiki/Transfer%20Learning

alaclp
关注
深度学习 -> 强化学习 ->迁移学习（杨强教授报告）
jiandanjinxin的专栏
01-06 3万+
李宏毅机器学习课程－Transfer Learning链接: http://pan.baidu.com/s/1nu6DMRn 密码: an9q 深度学习的局限表达能力的限制。因为一个模型毕竟是一种现实的反映，等于是现实的镜像，它能够描述现实的能力越强就越准确，而机器学习都是用变量来描述世界的，它的变量数是有限的，深度学习的深度也是有限的。另外它对数据的需求量随着模型的增大而增大，但现实中有那么多高
Transfer Learning从入门到放弃（一）
whtt523的博客
06-15 448
Identifying Medical Diagnoses and Treatable Diseases by Image-Based Deep Learning 阅读笔记 Transfer Learning的入门是从王晋东的《迁移学习简明手册》开始的，然而眼睛看会了，脑子却丢了。这篇论文算是对迁移学习的第一次真正入门，不过，笔记大部分估计都是翻译吧，毕竟是要为毕设做准备。 summary 原文 ...
（原文+译文）2015_传递迁移学习_杨强团队_Transitive_Transfer_Learning.zip
03-07
摘要：传递迁移学习是利用源域知识来提高目标域学习能力的一种学习方法，已在各种应用中被证明是有效的。迁移学习的一个主要限制是源域和目标域应该是直接相关的，如果两个领域之间几乎没有重叠，则在这些领域之间执行知识转移将无效。受人类传递性推理和学习能力的启发，利用辅助概念将两个看似无关的概念通过一系列中间桥连接起来，本文研究了一个新的学习问题：传递性转移学习（transitive Transfer learning，简称TTL）。TTL的目的是在源域和目标域直接共享少量因素的情况下，打破大的域距离，传递知识。例如，当源域和目标域分别是文本和图像时，TTL可以使用一些带注释的图像作为中间域来桥接它们。为了解决TTL问题，我们提出了一个框架，首先选择一个或多个域作为源域和目标域之间的桥梁，实现转移学习，然后通过这个桥梁进行知识转移。大量的经验证据表明，该框架在多个分类数据集上产生了最新的分类精度。
NLP——迁移学习
Xyz_Overlord的博客
07-17 1293
作为NLP工程领域常用的工具包, fasttext有两大作用:① 进行文本分类② 训练词向量概念：文本分类的是将文档（例如电子邮件，帖子，文本消息，产品评论等）分配给一个或多个类别. 当今文本分类的实现多是使用机器学习方法从训练数据中提取分类规则以进行分类, 因此构建文本分类器需要带标签的数据。Huggingface Transformers 是基于一个开源基于 transformer 模型结构提供的预训练语言库。它支持 Pytorch，Tensorflow2.0，并且支持两个框架的相互转换。
transfer learning
micromichael的专栏
03-28 5078
在机器学习领域，迁移学习(Transfer learning)是一个比较新的名词。目前国内做这个方面的很少，我目前只知道香港科技大学杨强教授及上海交大的机器学习小组在从事这方面的研究，近几年他们已经取得大量的成果，发表了十几篇AI领域顶级的会议论文，着实让我崇拜不已。接下来的研究生活，偶希望能循着他们的足迹慢慢摸索！Qiang Yanghttp://www.cse.ust.hk/~qyan
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
热门推荐
木东的博客
01-30 9万+
深度神经网络，相比于之前的传统机器学习方法，可以看成是一个全新的物种，这背后的原因，最明显的还是深度学习对机器算力的巨大需求，在深度学习入门最少需要知道什么？中介绍了深度学习所需的显卡资源，而当前大内存的机器不贵，而高性能，大显存的显卡就没那么便宜了。这使得使用深度学习去处理实际生活中遇到的问题，例如图像和语音的识别时，需要消耗大量的资源。而迁移可以改变这一切，显著的降低深度学习所需的硬件资源。
迁移学习 Transfer Learning
weixin_50993868的博客
02-08 1204
领域，迁移学习能够大幅提升目标检测精度，同时降低对大规模标注数据的需求。来训练一个高性能模型。，从而减少训练数据的需求、加快训练速度，并提升模型性能。：复用已有模型，加快训练速度，减少计算资源消耗。在深度学习任务（如目标检测、分类）中，通常需要。：小样本学习可行，提高少数据场景的模型性能。：利用大规模预训练，提高小数据集上的性能。迁移学习是一种强大的技术，能够。
站在巨人的肩膀上, 迁移学习 Transfer Learning
08-30
站在巨人的肩膀上,_迁移学习_Transfer_Learning
Tensorflow 26 迁移学习 Transfer Learning (神经网络 教学教程tutorial)
08-31
Tensorflow_26_迁移学习_Transfer_Learning_(神经网络_教学教程tutorial)
迁移学习 Transfer Learning(可能是目前最全的迁移学习资料库？)-附件资源
03-02
迁移学习 Transfer Learning(可能是目前最全的迁移学习资料库？)-附件资源
迁移学习
dfql83704的博客
08-11 194
一 概述 Transfer Learning利用与task没有直接相关的data。那么什么叫没有直接相关呢？ 比如： 那么为什么要利用不直接相关的数据呢，如下： Example in real life 二 各种情况对应的解决方法 分成四个象限：下面将以象限作为小标题。 Target Data：直接相关的数据。 Source Data：没有直接相关的数据。...
许多人认为只有拥有了google级别的数据量才能训练好一个模型，这是一个常见的对深度学习的误解。诚然，数据量对于整个系统的搭建是至关重要的，然而我们还有迁移学习transfer learning的方法来缓解数据量的需求。迁移学习transfer learning是把已训练的模型（指其他研究人员利用其它大型数据集训练的模型及其参数/权重），利用自己的数据集进行参数调整的过程。方法思路在于，将已训练模型当作一个特征提取器feature extractor。我们需要把模型的最后一层（全连通层？）移除，替换为自己的分类器（取决于我们自己需要解决的问题空间）。然后，冻结其它层的权重/参数，并开展数据训练。冻结是为了防止在梯度下降/优化时参数的改变。 请为我举例解释这个论文要点的用法
最新发布
08-15
<think>首先，用户的问题是关于迁移学习的，具体是：如何理解迁移学习在深度学习中的实际应用方式，特别是使用预训练模型作为特征提取器，通过替换最后一层和冻结其他层来进行参数调整。用户要求提供具体的示例。 从系统级指令中，我需要： - 所有行内数学表达式使用 $...$ 格式。 - 独立公式使用 $$...$$ 格式并单独成段。 - LaTeX 语法正确。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾添加引用标识，如 [^1]。 - 回答结构清晰，帮助用户逐步解决问题，保证真实可靠。 - 参考提供的引用，但用户的问题是基于这些引用的，所以我需要整合这些信息。 提供的引用： - [^1]: 迁移学习：利用预训练模型加速开发。迁移学习是一种机器学习技术，它允许将在一个领域学习到的知识应用到另一个相关但不同的领域。在深度学习中，这通常意味着重用在大型数据集上预先训练的神经网络模型的权重，并对其进行微调以适应新的任务。 - [^2]: ResNet图像分类案例：展示了计算机视觉领域的迁移学习典型流程使用torchvision提供的预训练模型和标准数据预处理仅替换最后的全连接层，保持预训练特征提取能力自定义训练循环提供了更大的灵活性。 - [^3]: 比如通过ImageNet训练出来的CNN网络参数，可以迁移至自己的图像识别的训练任务中。在比较浅层的CNN网络初始化时，可以使用已经训练好的参数，而在模型的高层，其参数可以随机初始化。在训练自己的特定任务时，既可以采用冻结（Frozen）参数的方式使得浅层参数一直保持不变；也可以采用微调的方式让浅层参数仍然随着任务的训练不断发生改变，从而更加适应自己任务的分类。 - [^4]: 在当今的人工智能领域，数据是推动模型性能提升的关键驱动力。然而，在许多应用场景中，获取大量高质量的标注数据往往是一项艰巨的挑战。这种数据稀缺的问题严重阻碍了深度学习模型在特定领域的应用和发展。为了解决这一难题，迁移学习（Transfer Learning）应运而生。 用户的问题集中在：如何使用预训练模型作为特征提取器，通过替换最后一层和冻结其他层来进行参数调整。我需要提供一个具体的示例。 结构化回答： 1. **介绍迁移学习的概念**：简要解释迁移学习，基于引用。 2. **解释特征提取器方法**：描述如何冻结预训练模型的层，只替换和训练最后一层。 3. **提供具体示例**：给出一个代码示例，比如使用PyTorch实现迁移学习，基于引用[2]中的ResNet案例。 4. **逐步解释**：确保回答清晰，逐步引导用户理解。 5. **添加引用标识**：在引用段落末尾添加[^n]。 6. **生成相关问题**：在最后添加相关问题部分。 具体步骤： - **介绍**：迁移学习通过重用预训练模型的权重来加速新任务的训练。在深度学习中，常见方法是使用预训练模型作为特征提取器，冻结其大部分层，只微调新添加的层。 - **方法**： - 冻结预训练模型的层：这意味着这些层的权重在训练新任务时不会更新。 - 替换最后一层：通常是全连接层（分类层），以适应新任务（如新的类别数）。 - 训练：只更新新层或少量层的权重。 - **示例**：使用PyTorch和torchvision的预训练ResNet模型进行图像分类。例如，将ImageNet预训练的ResNet用于自定义数据集。 - 加载预训练模型。 - 冻结所有层。 - 替换最后一层。 - 只训练新层。 - **代码示例**：基于引用[2]，提供一个简单的Python代码片段。 - **引用整合**：在适当的地方添加引用标识。 - **数学表达式**：如果有数学公式，如损失函数，使用LaTeX格式。例如，交叉熵损失：$L = -\sum y \log(\hat{y})$。 代码示例想法： 使用PyTorch实现迁移学习： ```python import torch import torch.nn as nn from torchvision import models # 加载预训练的ResNet模型 model = models.resnet18(pretrained=True) # 冻结所有层 for param in model.parameters(): param.requires_grad = False # 替换最后一层（全连接层） num_ftrs = model.fc.in_features # 获取输入特征数 model.fc = nn.Linear(num_ftrs, 10) # 假设新任务有10个类别 # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.fc.parameters(), lr=0.001) # 只优化新层 # 训练循环（简化） # for epoch in range(num_epochs): # # 训练过程... ``` 在回答中解释这个代码。 最后，生成相关问题： 基于用户问题，生成3-4个相关问题，如： 1. 迁移学习中微调和特征提取的区别是什么？ 2. 如何选择哪些层应该冻结？ 3. 迁移学习在自然语言处理中的应用示例？ 4. 迁移学习的优势和局限性是什么？ 确保回答用中文。</think>### 迁移学习中预训练模型作为特征提取器的应用 迁移学习是一种通过重用预训练模型的知识来加速新任务开发的机器学习技术。在深度学习中，这通常涉及将在大规模数据集（如ImageNet）上训练的神经网络权重迁移到相关任务上，尤其适用于数据稀缺的场景[^4]。特征提取器方法是迁移学习的常见策略：**冻结预训练模型的大部分层（作为特征提取器），仅替换和训练最后一层（分类层）以适应新任务**。这种方式能高效利用预训练模型的特征提取能力，同时减少训练时间和计算资源需求。下面我将逐步解释并提供一个具体示例。 #### 1. **特征提取器方法的核心原理** 在迁移学习中，预训练模型（如ResNet、VGG等）的浅层通常学习通用特征（如边缘、纹理），而高层学习任务特定特征。作为特征提取器时： - **冻结其他层**：所有预训练层的权重被固定（不更新），确保模型保留原始特征提取能力。这通过设置参数的 `requires_grad = False` 实现。 - **替换最后一层**：移除原模型的最后一层（通常是全连接层），并替换为新层以匹配新任务的输出维度（如新类别数）。新层初始化为随机权重。 - **参数调整**：在训练阶段，仅优化新添加的层（或少量高层），使用新任务的数据进行微调。损失函数如交叉熵损失 $L = -\sum_{i} y_i \log(\hat{y}_i)$ 驱动学习过程，其中 $y_i$ 是真实标签，$\hat{y}_i$ 是预测概率。 这种方法的核心优势在于：预训练模型作为强大的特征提取器，减少了新任务对大量数据的依赖[^3]。训练时，梯度仅反向传播到新层，其他层权重不变，从而避免过拟合并加速收敛。 #### 2. **具体应用示例：图像分类任务** 以计算机视觉为例，使用PyTorch框架实现迁移学习。参考引用[^2]中的ResNet案例，我们将ImageNet预训练的ResNet模型用于自定义图像分类任务（如识别10种动物）。流程包括： - **加载预训练模型**：使用torchvision提供的ResNet18。 - **冻结所有层**：设置所有参数不可训练。 - **替换最后一层**：将全连接层替换为新分类层。 - **训练新层**：仅优化新层权重。 以下是完整代码示例（基于PyTorch）： ```python import torch import torch.nn as nn import torch.optim as optim from torchvision import models, transforms from torch.utils.data import DataLoader, Dataset # 步骤1: 加载预训练ResNet18模型 model = models.resnet18(pretrained=True) # 预训练权重来自ImageNet # 步骤2: 冻结所有层（作为特征提取器） for param in model.parameters(): param.requires_grad = False # 设置所有参数不更新 # 步骤3: 替换最后一层（全连接层） num_features = model.fc.in_features # 获取输入特征维度（ResNet18为512） model.fc = nn.Linear(num_features, 10) # 新任务有10个类别，输出维度为10 # 步骤4: 定义损失函数和优化器（仅优化新层） criterion = nn.CrossEntropyLoss() # 损失函数：$L = -\sum y \log(\hat{y})$ optimizer = optim.Adam(model.fc.parameters(), lr=0.001) # 优化器只针对新层 # 示例训练循环（简化，需自定义数据集） # 假设 train_loader 是自定义数据集的DataLoader def train_model(model, train_loader, criterion, optimizer, num_epochs=5): model.train() # 设置模型为训练模式 for epoch in range(num_epochs): for inputs, labels in train_loader: optimizer.zero_grad() # 梯度清零 outputs = model(inputs) # 前向传播（特征提取 + 新层预测） loss = criterion(outputs, labels) # 计算损失 loss.backward() # 反向传播（梯度仅更新新层） optimizer.step() # 优化参数 print(f'Epoch {epoch+1}, Loss: {loss.item():.4f}') # 调用训练函数（实际需加载数据集） # train_model(model, train_loader, criterion, optimizer) ``` **关键解释**： - **冻结层**：通过 `param.requires_grad = False`，预训练模型的所有卷积层和池化层权重被固定，仅作为特征提取器使用[^3]。 - **替换层**：`model.fc` 是ResNet的最后一层，我们将其替换为 `nn.Linear(512, 10)`，输出维度匹配新任务的类别数。 - **训练优化**：优化器仅针对 `model.fc.parameters()`，确保训练过程中只有新层权重更新。损失函数使用交叉熵，数学表示为 $L = -\sum_{i=1}^{C} y_i \log(\hat{y}_i)$，其中 $C$ 是类别数[^2]。 - **优势**：这种方法在数据量小（如几百张图像）时仍能快速收敛，因为预训练模型已学习通用视觉特征。 #### 3. **在论文框架中的应用** 在学术论文中，这种框架通常被描述为： - **预训练模型选择**：引用标准模型（如ResNet、BERT）。 - **冻结策略**：明确说明哪些层被冻结（通常除最后一层外所有层）。 - **参数调整**：报告新层的训练细节（如学习率、优化器）。 例如，在一
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值