【台大李宏毅ML课程】Lecture 19 Transfer Learning迁移学习笔记

最新推荐文章于 2021-08-22 17:25:48 发布
最新推荐文章于 2021-08-22 17:25:48 发布
阅读量1.5k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 台大李宏毅ML课程笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/code_caq/article/details/79636080
这篇博客介绍了迁移学习的基本概念，包括target data和source data，以及根据标签情况的不同分类。讲解了模型微调、多任务学习、领域对抗训练、零样本学习等算法，并提到了self-training和self-clustering的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本节课主要讲了迁移学习的一些基本概念和算法的主要思想~~
图片来源与李宏毅老师ppt
如有错误，请务必指正！！

1.Transfer Learning基本概念

target data：相关的数据，很少
source data：不直接相关的，很多

有很多与target data不直接相关的source data
比如说target data是一些小猫小狗，任务是给小猫小狗分类，
但source data是一些大象和老虎，这属于similar domain，different task；
source data是一些卡通的猫和狗，这属于different domain，similar task。

2.算法概览

按照target data和source data有无label，可分为如下几种算法：
（自己用Xmind画的~~）
这里写图片描述

3.target和source都有label

3.1 Model Fine-tuning
Idea: training a model by source data, then fine-tune the model by target data
但这样容易过拟合。因此采取Conservative Training的方式，即每次参数更新之后都与上一次参数接近（小心翼翼调参）

最低0.47元/天 解锁文章

200万优质内容无限畅学
大语言模型在金融风控中的应用
AI天才研究院
03-09 1581
金融风控是金融机构确保其资产安全和业务稳定的重要手段。随着金融市场的复杂性和交易量的增加，传统的风控方法已难以应对日益增长的风险。近年来，随着大数据和人工智能技术的快速发展，金融风控领域逐渐引入了新的技术手段，其中大语言模型的应用尤为引人注目。大语言模型（Large Language Models, LLMs）通过在大规模文本数据上进行预训练，具备了强大的语言理解和生成能力。这些模型不仅能够处理结构化数据，还能从非结构化文本中提取有价值的信息，从而为金融风控提供了新的解决方案。
Transfer Learning（迁移学习）
loving_coco的博客
03-28 1307
Transfer LearningIn practice, very few people train an entire Convolutional Network from scratch (with random initialization), because it is relatively rare to have a dataset of sufficient size. Inste...
李宏毅机器学习——Transfer learning迁移学习
qq_27436347的博客
05-02 1101
Transfer Learning要做的是：假设现在手上有与现在进行的task没有直接相关的data，使用这些data来帮助做一些事情。 比如现在要做猫狗的分类器，所谓不直接相关的data就可能是 Similar domain, different tasks（大象与老虎的图片，与猫狗图片的分布是相像的） Different domain, same task（猫狗的卡通图片，与猫狗图片的分布...
李宏毅机器学习课程笔记7：Transfer Learning、SVM、Structured Learning - Introduction
徐子尧的博客
05-14 6992
台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。 这篇文章是学习本课程第19-21课所做的笔记和自己的理解。Lecture 19: Transfer Learning 迁移学习要解决的问题是：假设现在手上有与task不直接相关的data，这些data能否帮助我们完成task呢？ 比如现在要做猫狗的分
李宏毅机器学习课程－Transfer Learning
jiandanjinxin的专栏
12-13 4197
深度学习 -> 强化学习 ->迁移学习（杨强教授报告) 李宏毅机器学习课程－Transfer Learning 迁移学习－吴恩达 freeze 待处理的 理解深层神经网络中的迁移学习及TensorFlow实现 Transfer Learning模式 Similar domain, different tasks Different domains, same
李宏毅机器学习34——Transfer learning
weixin_57178683的博客
08-22 733
摘要： 这节课学习了迁移学习，简单来说，就是用一些与目标数据没有直接联系的数据，进行神经网络的训练，这种方法弥补了一般情况下训练神经网络，目标数据缺乏的缺陷。 这节课中，与目标数据没有直接联系的数据叫做source data 根据source data和target data有无label，将迁移学习分为四个大类，这节课主要学习了其中两个大类。对于target data和source data都是labeled的情况，直觉的想法就是用source data直接训练，用target data进行微调，但
[机器学习入门] 李宏毅机器学习笔记-21（Transfer Learning part 1 ; 迁移学习 part 1）
Holeung blog
07-05 2759
[机器学习入门] 李宏毅机器学习笔记-21（Transfer Learning part 1 ; 迁移学习 part 1） PDF VIDEOTransfer Learning 利用与task没有直接相关的data 什么叫没有直接相关呢？ 比如： whyExample in real life 从漫画家的法则，来理解研究生法则 Overview 分成四个象限：下面将以象
机器学习 李宏毅 L30-Transfer Learning
okgagaga的博客
02-03 382
Transfer Learning简介 Transfer Learning的用途包括语音辨识、图像识别和文本分析。 Transfer Learning中相关的数据称为source data，而实际的数据成为target data。Transfer learning的目标是通过学习source data的数据集，得到较好的处理target data的能力。这里需要注意，source dat
[机器学习入门] 李宏毅机器学习笔记-22（Transfer Learning part 2；迁移学习 part 2）
Holeung blog
07-07 1818
[机器学习入门] 李宏毅机器学习笔记-22（Transfer Learning part 2；迁移学习 part 2） PDF VIDEO 接part 1 第四象限 Target data unlabelled，Source Data labelled Zero-shot learning 今天想要辨识草泥马，但是source data中没有一只草泥马！ Representing
李宏毅机器学习笔记（）Transfer Learning
sinat_22510827的博客
01-07 527
一、transfer learning target data：现在要考虑的task直接相关。 source data：和现在要考虑的task没有直接关系。 四种可能：有label和无label。 二、fine-tuning target data和source data同时都有label。 target data量非常少（叫做one-shot learning），source data很多。 某个人的语音很少。 用source data直接去train model，然后用t..
李宏毅机器学习2016 第十七讲 迁移学习
Come_for_IT 的博客
01-19 2933
视频链接：李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩 课程资源：Hung-yi Lee 课程相关PPT已经打包命名好了：链接：https://pan.baidu.com/s/1c3Jyh6S 密码：77u5 我的第十六讲笔记：李宏毅机器学习2016 第十六讲 生成对抗网络 GAN Transfer Learning
2020李宏毅学习笔记——61.Transfer Learning
weixin_44554337的博客
07-16 472
1.概念： Transfer learning是机器学习的一个分支，中文名曰迁移学习，它的目的是在获取一定的额外数据或者是存在一个已有的模型的前提下，将其应用在新的且有一定相关性的task。我们可以将做transfer learning的数据分成两类，一类是source data，另一类是target data。source data指的是额外的数据，与将要解决的任务并不直接相关，而target data是与任务直接相关的数据。在典型的迁移学习中，source data往往巨大，而target data往往
【迁移学习】
qq_37791134的博客
04-21 398
总览图 4月21日 ，迁移学习，2017年很火，以为会研究的越来越多，实则现在初了Fine-tune在用的话，其余貌似不在工业界被使用（只是感觉，没有出处，大家自我辨识） 主要是想知道一般迁移学习有哪些方式和应用，在工业界用的多的还是Fine-tune 和Domain-adversarial training (域对抗) ppt如下： 【0】前言 【1】模型F...
Transfer Learning 随笔
hjh1705072347的博客
12-19 727
迁移学习的目标>将从一个环境中学到的知识用来帮助新环境中的学习任务,因此迁移学习不像传统机器学习那样作同分布假设 三个部分的工作 同构空间下基于实例的知识迁移能力(具有更强的知识迁移能力) 同构空间下基于特征的迁移学习(具有更广泛的知识迁移能力) 异构空间下的迁移学习(广泛的学习和扩展能力) 同构空间下基于实例的迁移学习 只能发生在源数据和辅助数据非常相近的情况下,从辅助训练
迁移学习(Transfer Learning)概述及代码实现
热门推荐
黄波波的博客
04-17 3万+
基于PaddlePaddle的李宏毅机器学习——迁移学习 大噶好，我是黄波波，一名入门不久自学AI的AI Trainer,宝可梦训练师（纯属业余）。希望能和大家共进步，错误之处恳请指出！ 百度AI Studio个人主页, 我在AI Studio上获得白银等级，点亮2个徽章，来互关呀~ 本项目是在飞桨深度学习学院提供的李宏毅-机器学习特训营课程。 Abstract 本文共分为两大部分：第一部分介绍迁移学习的主要概念以及类型，第二部分是实现迁移学习布置的作业——领域对抗性训练(Domain Advers
【台大李宏毅ML课程】Lecture 3 Gradient Descent笔记
code_caq的博客
02-09 1136
（感谢李宏毅老师，所有图片来自于老师的课件） Lecture 3 Gradient Descent 本讲主要讲了解决最优化问题用到的梯度下降的方法，以及对梯度下降法的一个改进，最后从泰勒级数的角度解释了梯度下降的数学原理。本讲从比较深的角度介绍梯度下降，讲的十分的好。 1.Review：Gradient Descent 梯度下降法主要是为了求解凸优化问题（具体步骤可见Lecture 1...
Coursera | Andrew Ng (03-week2-2.7)—迁移学习
Self Improvement Lab
01-27 1141
该系列仅在原课程基础上部分知识点添加个人学习笔记，或相关推导补充等。如有错误，还请批评指教。在学习了 Andrew Ng 课程的基础上，为了更方便的查阅复习，将其整理成文字。因本人一直在学习英语，所以该系列以英文为主，同时也建议读者以英文为主，中文辅助，以便后期进阶时，为学习相关领域的学术论文做铺垫。- ZJ Coursera 课程 |deeplearning.ai |网易云课堂
Deep learning系列（十三）Transfer learning 和 caffe Fine-tuning
du_mengnan的专栏
10-29 1万+
介绍了Transfer Learning及在用caffe进行微调。
转移学习的终极指南
weixin_26630173的博客
08-15 420
介绍 (Introduction) Transfer learning is a widely used technique in the Machine Learning world, mostly in Computer Vision and Natural Language Processing. 转移学习是机器学习领域中广泛使用的技术，主要是在计算机视觉和自然语言处理中。 In thi...
台大李宏毅机器学习课程资料包
我们可以推测，这份“台大-李宏毅-B站机器学习视频-课件.zip”文件可能是一个压缩包，包含了一系列与机器学习相关的教育材料，这些材料可能是由台湾大学的知名教师李宏毅在B站上传的机器学习视频课程所配套的课件。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值