【学习】Reptile、梯度下降的LSTM、Siamese Network、原型网络、匹配网络、关系网络

最新推荐文章于 2024-06-01 03:04:36 发布
最新推荐文章于 2024-06-01 03:04:36 发布
阅读量1.1k 收藏 3
点赞数
文章标签： lstm 学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Raphael9900/article/details/128644127
版权

文章目录

Reptile

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

RNN

在这里插入图片描述

LSTM

RNN的变形
在这里插入图片描述
在这里插入图片描述
加入门
在这里插入图片描述
在这里插入图片描述

梯度下降的LSTM

在这里插入图片描述
GD看似像简化的LSTM
在这里插入图片描述
可以让机器自动学习这些zf和zi
在这里插入图片描述
典型的LSTM的c和x是没有关系的，但是GD的LSTM的θ和输入的梯度是有关系的。
在这里插入图片描述
在这里插入图片描述
优点：合理的模型尺寸；在典型的梯度下降中，所有参数使用相同的更新规则；训练和测试模型架构可以不一样。
在这里插入图片描述
参数更新不仅取决于当前梯度，还取决于先前的梯度。
在这里插入图片描述
在这里插入图片描述
加入另一个LSTM，m存储之前的数据
在这里插入图片描述

基于度量的方法

在这里插入图片描述
在这里插入图片描述
学习一个能同时输入训练资料和测试资料，输出结果的网络。

在这里插入图片描述

在这里插入图片描述

Siamese Network

在这里插入图片描述
暹罗网络-直观解释：二元分类问题:“它们是相同的吗？”
在这里插入图片描述
在这里插入图片描述
图片经过cnn之后得到的数据，如果是同一张脸就会很相近，不同就会很远。
auto-encoder会保留图片的所有资料。
我们应该使用什么样的距离？
在这里插入图片描述

N-way Few/One-shot Learning

假如任务是分类问题而不是回答是否的问题。
在这里插入图片描述

原型网络

在这里插入图片描述

匹配网络

s层经过多跳相似记忆网络之后才得到输出
在这里插入图片描述

关系网络

在这里插入图片描述
使用另外的网络计算相似度。

虚拟数据的少量学习

在这里插入图片描述
使用生成器，一张图片经过G生成多张图，然后放到网络里面。
在这里插入图片描述

Train + Test as RNN

在这里插入图片描述

输入embedding和类别的one-hot 向量，训练不了
在这里插入图片描述

Raphael9900
关注
8.8LSTM作为元学习器学习梯度下降
炫云云
06-22 1007
文章目录1、介绍2、引入 RNNLSTM3、LSTM变换成梯度下降4、LSTM学习梯度下降实验结果5、梯度下降LSTM +动量实验结果参考资料 本节讨论的是“元学习”，我们将讨论用 LSTM 做优化器的方法。我们所指的训练，是指训练优化器 LSTM 的参数。 1、介绍 我们可以把元学习的过程，当然 RNN 来看。首先复习 RNN 。多数时候，我们说 RNN ，其实就是在用 LSTM 。 比较 LSTM 中的运算与 meta-learning 中的更新式，会发现有一些相似之处。 在实际操作中，我们做了非常大
一切皆是映射：利用Reptile算法快速优化神经网络
最新发布
AI天才研究院
06-07 732
一切皆是映射：利用Reptile算法快速优化神经网络 1.背景介绍 在深度学习领域，模型的训练和优化一直是一个重要的研究方向。传统的优化算法如SGD（随机梯度下降）和Adam在处理大规模数据集和复杂模型时，虽然表现出色，但仍然存在一些局限性。近年来，元学习（Meta-Le
梯度下降 & 神经网络（RNN & LSTM)
the_why_cafe的博客
09-16 1506
梯度：用于更新神经网络的权重值 梯度下降：随着传播推移，梯度逐渐减小，梯度消失时，模型会停止学习。 short-term memory in RNN: 在递归神经网络中较早的层由于梯度太小而停止学习。由于不学习，这些层可以忘记在较长序列中记忆的内容，而保留短期记忆。 ...
siamese lstm network
weixin_30502965的博客
05-15 630
最近在复现ubuntu dialogue corpus 中用到的一些语义匹配模型的方法。 先是试了试siamese lstm network。模型结构图如下: context是对话的上文，response是对话的回复。简单来说，模型目的就是选出符合context的response。为了提取出context，和response的语义信息，模型采用了共享参数的lstm来提取特征。然后用了双线性的方法...
关系网络 Relation Network
ywm_up
12-17 1万+
文章目录比较孪生网络、原型网络和关系网络关系网络 Relation Network实现过程网络结构损失函数训练策略算法推广 —— 推广到 zero-shot创新点算法评价 比较孪生网络、原型网络和关系网络 孪生网络需要计算任意两两样本的匹配程度，而原型网络则进一步改进，提出对样本进行适当的 embedding，然后计算样本每一类的样本中心，称为原型 prototype，通过模型学习出 prototype 的位置，对测试样本计算到每个原型的距离，从而进行分类。 不论是孪生网络还是原型网络，在分析两个样本的时候
Siamese+LSTM+Distance(abs)
szn1043862535的博客
06-30 746
孪生网络首先要理解什么是孪生网络模块，我们在词嵌入和编码（LSTM）过程中使用的是相同的参数，比如说我下面的代码中，在编码阶段，对于两个句子的输入，我都使用了相同的LSTM，这也就是Siamese+LSTM。疑问 不过我有个疑问，我在某些文章中看到用LSTM来判断句子相似度，它不是Siamese+LSTM，在文章中对比的两种方法，一种是Siamese+LSTM，还有一种是LSTM。我也不清楚这个单独的LSTM是什么意思，后来我思考了一下，可能是在对两个句子进行编码的时候，使用了两个不同的LSTM结构（我猜是
10.28读书笔记《python元学习：通用人工智能的实现》2章孪生网络&3章原型网络&4章关系网络和匹配网络
weixin_42927835的博客
10-28 479
读书笔记
Reptile：简单高效的元学习算法
AI天才研究院
06-01 1458
Reptile：简单高效的元学习算法 1. 背景介绍 1.1 元学习的定义与意义 元学习(Meta-Learning)，又称为"学会学习"(Learning to Learn)，是机器学习领域的一个重要分支。它旨
一切皆是映射：基于元学习的网络安全威胁检测
AI天才研究院
05-06 1095
1. 背景介绍 随着互联网的飞速发展，网络安全威胁日益严峻。传统的基于规则和签名的安全检测方法已经难以应对日益复杂多变的攻击手段。攻击者不断变换攻击模式，利用0day漏洞和未知攻击方式进行渗透，使得传统的安全防御体系捉襟见肘。 近年来，人工智能技术在网络安全领域得到广泛应用，其中，元学习作为一种新兴的机器学习范式，展现出强大的潜力。元学
小样本学习记录————相似性计算经典网络结构(孪生网络、匹配网络、原型网络、 关系网络)
yunlong_G的博客
12-17 1万+
相似性计算经典网络结构(孪生网络、匹配网络、原型网络、 关系网络)，介绍每一种网络的结构思想，富含小白的自我理解。
一网打尽元学习算法--MAML，Reptile，MetaSGD元学习算法的区别及联系
qlkaicx的博客
04-24 1504
总的来说，不管什么元学习方法，元学习是一种学习如何学习的技术，元学习可以实现对各种任务的快速适应，用较少的样本学习到更好的推理和泛化能力，但实现方式和性能略有差异，应选择适合具体场景的方法。
Reptile原理以及代码详解
qq_41694504的博客
06-20 9927
论文：2018-On First-Order Meta-Learning Algorithms 算法简介 MAML,FOMAML,reptile这些都是关于fewshot任务中参数初始化的问题，这些算法都是寻找一个模型合理的初始化参数，使模型能够较快的适应小样本数据，在新任务上也能有较好的表现。 MAML在论文中是二阶的，但是作者通过简化，推出了first-order MAML，（FOMAML）,这个算法是一阶的，更方便实施。 reptile也是一个一阶的基于梯度的元学习算法。 伪代码 步骤： 1.初始化
元学习系列（八）：Reptile
jesseyule的博客
01-02 2667
MAML主要就是学习一个网络的初始化参数，这个参数对梯度是敏感的，使得它在针对特定任务进行fine tuning时，只需要少数几次的训练就能达到较好的效果。 一般来说，我们可以用公式表示meta learning： minimize Eτ(Lτ(Uτk(ϕ)))minimize \ E_{\tau}(L_{\tau} (U_{\tau}^k(\phi)))minimize E...
L型、Π型、T型、多L连接型 匹配网络特性比较
rzchong1988的专栏
07-21 2万+
L型网络为固定Q值匹配网络，匹配的时候要么是固定Q值的高通，或固定Q值得低通； Π型网络、T型网络为比L型网络高Q值的匹配网络， 其匹配的时候Q值一定会高于L型网络，具体高多少可以自行决定；Π型网络、T型网络可以实现为高通，低通，以及带通的类型； 多L连接型匹配网络为低Q值匹配网络，其匹配的时候Q值一定会低于单个的L型网络，它也可以实现为高通，低通，以及带通的类型； 下图为L型网络匹配： 下图为Π型网络匹配，适合匹配两个高阻抗； 下图为Π型网络匹配，适合匹配两个低阻抗： ...
从零开始自然语言处理
08-07
本课程隶属于自然语言处理(NLP)实战系列。自然语言处理(NLP)是数据科学里的一个分支，它的主要覆盖的内容是：以一种智能与高效的方式，对文本数据进行系统化分析、理解与信息提取的过程。通过使用NLP以及它的组件，我们可以管理非常大块的文本数据，或者执行大量的自动化任务，并且解决各式各样的问题，如自动摘要，机器翻译，命名实体识别，关系提取，情感分析，语音识别，以及主题分割等等。一般情况下一个初级NLP工程师的工资从15万-35万不等，所以掌握NLP技术，对于人工智能学习者来讲是非常关键的一个环节。【超实用课程内容】 课程从自然语言处理的基本概念与基本任务出发，对目前主流的自然语言处理应用进行全面细致的讲解，包括文本分类，文本摘要提取，文本相似度，文本情感分析，文本特征提取等，同时算法方面包括经典算法与深度学习算法的结合，例如LSTM，BiLSTM等，并结合京东电商评论分类、豆瓣电影摘要提取、今日头条舆情挖掘、饿了么情感分析等过个案例，帮助大家熟悉自然语言处理工程师在工作中会接触到的常见应用的实施的基本实施流程，从0-1入门变成自然语言处理研发工程师。 【课程如何观看？】 PC端：https://edu.youkuaiyun.com/course/detail/25649 移动端：优快云 学院APP（注意不是优快云 APP哦）本课程为录播课，课程2年有效观看时长，大家可以抓紧时间学习后一起讨论哦~【学员专享增值服务】 源码开放课件、课程案例代码完全开放给你，你可以根据所学知识，自行修改、优化下载方式：电脑登录https://edu.youkuaiyun.com/course/detail/25649，点击右下方课程资料、代码、课件等打包下载通过第二课时下载材料
小样本学习之关系网络：让机器自己学习如何度量
逸乡
04-23 3927
论文：2018-CVPR-《Learning to Compare: Relation Network for Few-Shot Learning》 之前讲过一篇有关度量学习的论文--原型网络。那篇论文中讨论了如何将样本投影到一个嵌入空间中，使得相似样本间的距离较近，他学习的是如何投影这个过程，而样本间的距离度量方法是人为设定的，这样的话那个投影过程也就是基于人为设定的度量方法来学习的了。就像我...
小样本学习（few-shot learning）之——原形网络（Prototypical Networks）
热门推荐
m0_38031488的博客
12-27 4万+
Prototypical Networks for Few-shot Learning 摘要：该文提出了一种可以用于few-shot learning的原形网络（prototypical networks）。该网络能识别出在训练过程中从未见过的新的类别，并且对于每个类别只需要很少的样例数据。原形网络将每个类别中的样例数据映射到一个空间当中，并且提取他们的“均值”来表示为该类的原形（prototy...
手把手 | OpenAI开发可拓展元学习算法Reptile，能快速学习（附代码）
weixin_34337381的博客
04-11 437
在OpenAI, 我们开发了一种简易的元学习算法，称为Reptile。它通过对任务进行重复采样，利用随机梯度下降法，并将初始参数更新为在该任务上学习的最终参数。 其性能可以和MAML（model-agnostic meta-learning，由伯克利AI研究所研发的一种应用广泛的元学习算法）相媲美，操作简便且计算效率更高。 MAML元学习算法： http...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值