龙明盛教授-few-shot learning-ppt

最新推荐文章于 2024-08-05 20:30:30 发布
原创 最新推荐文章于 2024-08-05 20:30:30 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

这篇讲座记录探讨了小样本学习的主流方法，包括迁移学习、多任务学习和元学习。讲解了它们在提升模型泛化能力上的应用，强调了模型的先验知识和损失函数的重要性。迁移学习关注单任务适应，多任务学习通过共享权重关联不同任务，而元学习则是结合两者以适应新任务。文中指出，小样本学习的挑战在于学习率调整和任务间的关联性。尽管元学习并不总是优于迁移学习，该领域仍有许多研究空间。

2020年10月6日，下午3：10 - 4：10 北交九教中102讲座记录。

主题：few shot learning

较为系统的介绍了小样本学习的主流技术脉络： 迁移学习、多任务学习、元学习。

其目的是提升机器学习模型在不同场景的泛化能力。

note : 模型和一系列的预处理手段都可以视作模型的先验知识。

note: 整体框架图。

· Transfer learning : 单任务的迁移  （举例：学数学  考数学）

· Multi-task learning: 多任务的迁移（各种任务之间可以通过共享权重的方式进行关联，else:contact, add, multi-head, 固定主干）(举例：学数学和物理 考数学和物理 --- 任务之间有关联关系，可能是相互促进的，也可能是相互制约的）

· Meta-learning: 多任务学习得到的模型和知识，迁移到新的任务场景下。(举例：野外、

最低0.47元/天 解锁文章
精选资源
MyJDA.zip_transfer learning_transfer-learning_联合分布_边缘分布_迁移学习
07-14
联合分布适配，边缘分布+条件分布，龙明盛，Transfer feature learning with joint distribution adaptation （2013）
迁移学习理论与算法（来自清华大学龙明盛副教授）
11-27
迁移学习是一种机器学习方法，旨在解决数据分布变化条件下的泛化能力问题。在传统的监督学习中，我们假设训练集和测试集数据遵循相同的分布（IID，独立同分布），但现实世界中的任务往往不符合这一假设，即OOD（Out-...
演示-LaSO_Label-Set_Operations_Networks_for_Multi-Label_Few-Shot_Learning.pptx
01-23
CVPR_2019_LaSO_Label-Set_Operations_Networks_for_Multi-Label_Few-Shot_Learning PPT讲解
【龙明盛】深度学习理论课_学习笔记02_感知机
qq_40979183的博客
05-19 1410
# 课程内容： （1）感知机_1 （2）感知机_2 （3）感知机_3
few-shot learning 1.1——零样本学习
u011584941的专栏
02-27 712
few-shot learning 1.1——初识零样本学习 1. 什么是few-shot learning 小样本学习问题是指只给定目标少量训练样本的条件下，如何训练一个可以有效地识别这些目标的机器学习模型。按照训练样本的多少可以将小样本学习分为三类：1）只有一个训练样本，这种学习方法我们称为单样本学习(one-shot ...
小样本学习研究进展 Advances in Few-shot Learning--- IJCAI19
追随梦想，实现梦想
12-20 350
阅读原文点我 （里面是一个59页的PPT）
ICLR 2023 | 清华大学龙明盛组提出通用时间序列神经网络骨干—TimesNet
数据派THU
03-10 2194
来源：PaperWeekly本文约1900字，建议阅读5分钟本文介绍了通用时间序列神经网络骨干—TimesNet。01 简介本文中了 ICLR 2023，是清华软院老师组的文章，一如既往的 Solid。论文标题：TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis论文链接：https://openrevi...
20201006-龙明盛-小样本学习1
08-03
【元学习】（Meta-learning）则是更进一步的策略，它关注于让模型快速适应新任务的能力。元学习分为多种类型，其中基于优化的元学习着重于学习一个良好的初始化权重，使得模型在接触到新任务时能够快速收敛。这种...
迁移学习理论与算法-龙明盛1
08-03
迁移学习的未来发展方向包括：多模态迁移学习、基于meta-learning 的迁移学习、基于 Transfer Learning 的 few-shot learning 等。 迁移学习是一种非常重要的机器学习技术，可以解决不同的领域和分布中的模式识别...
【清华大学龙明盛副教授】迁移学习理论与算法
数据派THU
12-02 2915
来源：专知本文多图，建议阅读5分钟本文重点介绍间隔泛化理论及其对抗学习算法。报告人简介：龙明盛，清华大学软件学院副教授，博士生导师，大数据系统软件国家工程实验室机器学习组组长。2008和...
「Transfer Learning」Note on 龙明盛博士学位论文
小锋子Shawn
10-21 1623
Sina Weibo：小锋子Shawn Tencent E-mail：403568338@qq.com http://blog.youkuaiyun.com/dgyuanshaofeng/article/details/80154049 [1] 迁移学习问题与方法研究 2014 [paper]
【学习笔记】小样本学习（Few-shot Learning）入门
iioSnail的博客
04-09 2万+
参考视频：https://www.youtube.com/watch?v=UkQ2FVpDxHg 基本概念 小样本学习（few-shot learning）是什么：就是使用很少的样本来进行分类或回归 Few-shot Learning的目标：让机器学会自己学习 小样本学习的直观理解： ① 前提：首先要知道，训练一个模型的目的不是为了让模型如何分辨大象和蚂蚁，而是让模型具有判断图片“异同”的能力，即让模型看到两张图片后，它能分别出这俩是不是一个类别。这样，当我们在用大数据集训练出一个分类器后，在测试阶段给.
小样本学习（Few-shot Learning）在图像领域的研究现状
gcheney的博客
07-01 1万+
最近在做华为杯的竞赛，涉及小样本学习，总结一下相关的知识及论文 小样本学习（Few-shot Learning）在图像领域的研究现状1.introduction1.1注意力机制1.2 LSTM（Long short-term memory）2. 小样本学习（Few-shot Learning）2.1基于度量的小样本学习（Metric Based）（主流方法）2.1.1孪生网络（Siamese Network）2.1.2匹配网络（Match Network）2.1.3原型网络（Prototype Netwo
2023 IoTDB Summit：清华大学软件学院长聘副教授龙明盛《IoTDB 新组件：内生机器学习》...
qin_DB的博客
01-03 1292
12 月 3 日，2023 IoTDB 用户大会在北京成功举行，收获强烈反响。本次峰会汇集了超 20 位大咖嘉宾带来工业互联网行业、技术、应用方向的精彩议题，多位学术泰斗、企业代表、开发者，深度分享了工业物联网时序数据库 IoTDB 的技术创新、应用效果，与各行业标杆用户的落地实践、解决方案，并共同探讨时序数据管理领域的行业趋势。我们邀请到清华大学软件学院长聘副教授龙明盛参加此次大会，并做主题报告...
【深度学习】Zero-shot Learning | One-shot Learning | Few-shot Learning
JNing
02-02 1万+
【深度学习】Zero-shot Learning | One-shot Learning | Few-shot Learning
当小样本遇上机器学习 fewshot learning
热门推荐
mao_feng的博客
12-30 10万+
引言深度学习(deeplearning)已经广泛应用于各个领域，解决各类问题，例如在图像分类问题下，如图1，区分这10类目标的准确率目前可以轻松做到94%。然而，deeplearning是一种datahungry的技术，需要大量的标注样本才能发挥作用。图1 现实世界中，有很多问题是没有这么多的标注数据的，获取标注数据的成本也非常大，例如在医疗领域、安全领域等。因此，我们现在讨论的是...
【机器学习】Few-shot learning（少样本学习）
weixin_44211968的博客
11-14 3万+
文章目录前言参考链接 前言 人类本身能够通过极少量的样本识别一个新物体，即使是一个小孩也能凭借动物图册上的几张小小的插画记住不同的动物。在人类的快速学习能力的启发下，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，这就是 Few-shot Learning 要解决的问题。 Few-shot Learning 是 Meta Learning 在监督学习领域的应用。Meta Learning，又称为learning to learn，该算法旨在让模型学会“学习
对比iTransformer与传统Transformer
最新发布
weixin_52153243的博客
08-05 1364
假设我们有一个简单的多变量时间序列数据集，包含两个变量：温度（T）和湿度（H），每个变量都有连续10天的观测数据。我们的目标是预测未来几天的温度和湿度。传统TransformerEmbedding每个时间步（包含所有变量）嵌入为一个token每个变量的整个时间序列嵌入为一个token自注意力机制捕捉时间步之间的依赖关系，但变量之间的相关性可能不够精细捕捉变量之间的相关性，由于每个token是变量的完整时间序列，因此相关性捕捉更精细前馈网络处理多变量混合的token表示，生成最终预测。
【人工智能导论】第1章 绪论
【人工智障 | 计算鸡视觉 | 机器孩】
01-24 5311
文章目录1.1 人工智能的基本概念1.1.1 智能的概念1.1.2 智能的特征1.1.3 人工智能1.2 人工智能的发展简史1.2.1 孕育（1956年之前）1.2.2 形成（1956年——1969年）1.2.3 发展（1970年——）1.3 人工智能研究的基本内容1.3.1 知识表示1.3.2 机器感知1.3.3 机器思维1.3.4 机器学习1.3.5 机器行为 1.1 人工智能的基本概念 1.1.1 智能的概念 自然界四大奥秘： 物质的本质 宇宙的起源 生命的本质 智能的发生 对智能还没有确切的
清华大学龙明盛人工智能原理
06-06
清华大学龙明盛教授在人工智能原理方面的研究相当丰富。以下是他在这个领域的主要贡献： 1. 机器学习理论：龙明盛教授在机器学习方面的贡献非常突出，他提出了基于学习理论的模型复杂度分析方法，为深度学习等机器学习算法的理论研究提供了基础。 2. 计算机视觉：龙明盛教授在计算机视觉领域的贡献也非常显著，他的研究涉及了图像分割、物体检测、姿态估计等多个方面。其中，他提出的“剪枝”算法为卷积神经网络的优化提供了一种有效的方法。 3. 人工智能与医疗：龙明盛教授还致力于将人工智能技术应用于医疗领域。他提出的基于深度学习的医学图像分析方法，能够在肺结节、乳腺癌等疾病的早期诊断和治疗方面发挥重要作用。 综上所述，龙明盛教授在人工智能原理方面的研究涉及了机器学习理论、计算机视觉和医疗等多个领域，他的研究成果为人工智能技术的发展和应用做出了重要贡献。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值