【CS330】深度多任务和元学习课程笔记二

最新推荐文章于 2024-08-22 01:10:37 发布
最新推荐文章于 2024-08-22 01:10:37 发布
阅读量299 收藏
点赞数
分类专栏： 读书笔记 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42864175/article/details/109297707
版权
本文详细介绍了深度多任务和元学习的概念，包括元学习的概率公式、评价方法和应用场景。讲解了优化基元学习，强调了微调预训练模型的重要性，如使用残差网络，并探讨了黑盒适应方法。接着转向非参数方法，强调其通过计算相似度替代参数训练的特点，以及在表达能力、一致性、不确定性推理方面的优缺点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Leture 3 Optimization

  • Recap probabilistic formulation of meta-learning（回顾元学习的概率公式）
    在这里插入图片描述

  • General recipe of meta-learning algorithms（不同元学习方法的一般方法）

How to evaluate a meta-learning algorithm?
5-way,1-shot image classification（给出五个分类的图片，然后对一个新的example进行分类）
能够将图片分类问题替换为任何一个行的机器学习任务：回归问题，语言生成类，技能学习类等。

在这里插入图片描述

在一般的监督学习任务中，我们给定一个输入x，希望学习这个输入x，训练模型f，得到输出y
而在元学习任务中，输入的是多个数据集，我们希望学习到的是数据集的函数f，测试输入是x，输出是y

  • Black-box adaptation approaches
最低0.47元/天 解锁文章
基于元学习的多任务学习
AI天才研究院
04-04 1124
感谢您的详细说明和要求。我将以您提供的标题和大纲结构来撰写这篇技术博客文章。作为一位世界级的人工智能专家和计算机领域大师,我会以专业、深入、通俗易懂的方式,为读者呈现基于元学习的多任务学习的核心概念、原理、实践和前景展望。我会遵循您提出的各项约束条件,确保文章内容的质量和实用价值。下面让我们正式开始撰写这篇技术博客文章。 基于元学习的多任务学
【CS330】深度多任务和元学习课程笔记一
ccszbd的博客
10-25 468
Lecture 1 Introduction Why should we care about deep multi-task & meta-learning? deep learning allows us to handle unstructured inputs(pixels, languages, sensor readings, etc.) without hand-engineering features, with less domain knowledge Large, div
[学习笔记]CS330 - 2 Multi-Task & Meta-Learning Basics
哈哈哈哈哈
10-12 1098
Lecture· 2 Multi-Task & Meta-Learning Basics Multi-Task Learning models&training challengees case stydy of real-world multi-task learning Meta-Learning problem formulation general recipe o...
课程笔记: stanford cs330 deep muti-task learning and meta-learning -- metalearning_bbox
qq_34915390的博客
03-31 378
本节课程主要关于元学习的内容，包括：问题制定，通用元学习算法，黑盒适应方法，GPT-3例子学习。
课程笔记: stanford cs330 deep muti-task learning and meta-learning -- multitask_transfer_2
qq_34915390的博客
03-25 2520
斯坦福大学cs330第二节课程剩余部分：迁移学习的定义、迁移举例和方法、获取预训练参数方法，微调策略。
课程笔记: stanford cs330 deep muti-task learning and meta-learning -- multitask_transfer_1
qq_34915390的博客
03-04 3170
斯坦福大学cs330第二节课程内容包括：多任务学习问题陈述，模型，目标，优化及挑战。
[学习笔记] Lecture 1 - CS330 深度多任务学习和元学习
哈哈哈哈哈
10-11 1650
这里写自定义目录标题Lecture 1 课程介绍，问题定义和应用先修科目：本课程形式：课程研究内容介绍 Lecture 1 课程介绍，问题定义和应用 课程主页：http://cs330.stanford.edu/ 先修科目： CS229；之前有过强化学习经历最佳 TF：tensorflow ​ 需要懂得基本的tensorflow 参考文档 本课程的话题（深度学习，强化学习） 1. 问题定义 2...
多任务与元学习——基于CS330课程笔记(一)
qq_46582366的博客
03-03 1050
task:,p对应数据生成分布。相应的(训练、测试)数据集：，之后将简称为。举例：1.多任务分类(在所有任务中都相同)：单语言手写识别，个性化的垃圾邮件过滤器。如下为盲文图，对图中的符号进行分类。2.多标签学习(在所有任务中都相同)：人脸属性识别，假设有一个人脸数据集，一项任务可能对应于检测此人是否戴着帽子，另一项任务可能对应于检测他们的头发颜色等等；景物理解(图像深度、地表法线，不太懂哭哭)什么时候在任务中不一致：——跨任务的混合的、离散的、连续的标签；
2023最新CS231N课程笔记
01-12
综上所述，2023年CS231n课程笔记为学习者提供了一个全面了解计算机视觉的平台，通过深入学习和实践，可以提升对图像理解、模式识别和智能分析的能力，为未来在这个领域的研究和开发打下坚实基础。
斯坦福教授告诉你：什么是元学习「 CS330 笔记 (三) 」
动次打次动次打次
03-22 2004
文章目录写在前面元学习基础如何理解元学习算法问题定义举例 写在前面 本系列博客为斯坦福大学 Stanford CS330： Multi-Task and Meta-Learning 2019 的学习笔记。博客中出现的图片均为课程演示文档的截图。笔记为课程的内容整理，主要是为了方便自己理解和回顾，若有纰漏和错误，烦请评论指出，谢谢啦 ~ 。希望对你有帮助。如需转载，请注明出处。 CS330课程传送门...
初步了解多任务学习
yaohaishen的专栏
06-02 417
大家在做模型的时候，往往关注一个特定指标的优化，如做点击率模型，就优化AUC，做二分类模型，就优化f-score。然而，这样忽视了模型通过学习其他任务所能带来的信息增益和效果上的提升。通过在不同的任务中共享向量表达，我们能够让模型在各个任务上的泛化效果大大提升。这个方法就是我们今天要谈论的主题-多任务学习(MTL)。所以如何判定是不是多任务学习呢？不需要看模型结构全貌，只需要看下loss函数即可，如果loss包含很多项，每一项都是不同目标，这个模型就是在多任务学习了。有时，虽然你的模型仅仅是优化一个目标，同
斯坦福大学#深度多任务学习与元学习#视频及讲义下载
我爱计算机视觉
08-12 315
#Stanford CS330 2019秋# #多任务学习# #元学习#CS 330: Deep Multi-Task and Meta Learning深度学习在图像分类、语音识别、游...
Meta-World：多任务、持续学习、终身学习、元学习、强化学习的基准和评估
欢迎一起成长呀
10-21 3045
提供了开源的、包含50种不同的Sawyer机械臂操作任务的模拟基准，在环境中实现了当时最先进的几种元强化学习和多任务学习算法，并发现它们很难学习基准中的多个任务
WSDM 2022 | 基于元学习的多场景多任务商家建模
阿里妈妈技术
02-23 1773
丨目录：· 前言· 背景· 问题定义· 算法建模· 实验· 总结展望·参考文献· 关于我们▐前言面向淘系商家或广告主的商家理解与建模，是阿里妈妈客户生态建设的关键一环。有别于C端的用户...
9. 2019年《斯坦福大学CS330多任务和元学习》第9讲：终身学习【中英文双字幕】
wolf_bailang的博客
10-25 282
2019年《斯坦福大学CS330多任务和元学习》第9讲：终身学习【中英文双字幕】 https://www.bilibili.com/video/BV15A411j7Kb/ 斯坦福大学切尔西·芬恩（Chelsea Finn）助理教授 http://cs330.stanford.edu/ 要获取斯坦福大学即将推出的人工智能专业计划的最新消息，请访问：http://learn.stanford...
斯坦福教授告诉你：什么是多任务学习「 CS330 笔记 (二) 」
动次打次动次打次
03-20 2006
文章目录写在前面多任务学习基础符号说明（notation）任务的定义举例多任务分类问题（Multi-task classification）多标签学习问题（Multi-label learning)损失函数不同的情况基础结构Conditioning on the task分离每个任务的网络共享几乎所有的网络其他常见的conditioning方式1. 基于连接的限制 (Concatenati...
斯坦福教授告诉你：为什么要学习元学习「 CS330 笔记 (一) 」
动次打次动次打次
03-18 1377
文章目录写在前面课程介绍问题导入多任务学习和元学习的意义什么是任务（task）重要假设问题描述（informal）multi-task vs. single-task多任务学习发展历史 写在前面 本系列博客为斯坦福大学 Stanford CS330： Multi-Task and Meta-Learning 2019 的学习笔记。博客中出现的图片均为课程演示文档的截图。笔记为课程的内容整理，主要是...
一切皆是映射：多任务元学习和知识迁移
最新发布
AI天才研究院
08-22 326
1. 背景介绍 1.1 人工智能的瓶颈与突破 人工智能，尤其是机器学习，在近年来取得了显著的进展。然而，传统的机器学习模型往往需要大量的训练数据，并且在面对新的任务时，需要从头开始训练，效率低下且泛化能力有限。为了突破这一瓶颈，研究者们开始探索新的学习范式，其中多任务元学习和知识迁移成为了备
少样本学习系列(三)【Optimization-Based Methods】
小小何先生的学习之旅
07-12 1754
文章目录Model-agnostic meta-learning (MAML)LSTM Meta-LearnerLSTM meta-learner algorithm   大多数深度学习算法都采用基于梯度的方法做优化，但是这种方式需要大量的sample来更新算法，元学习(learn to learn)算法主要是解决算法如何在任意的loss function下收敛，而不是单个task的loss function。这样的算法提取的是更高层次的信息。   在基于梯度的优化算法里面，如果我们通过某种方式知道了整个的
李飞飞深度学习中文笔记完整集：CS231n课程精华翻译
- **CS231n课程笔记翻译：线性分类笔记.pdf**：线性分类是机器学习中最基本的任务之一，这卷笔记可能讲解了深度学习中如何通过神经网络来实现线性分类。 通过上述文件信息分析，我们可以了解到李飞飞所制作的CS231n...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值