（Dual learning）对偶学习——视频笔记

最新推荐文章于 2022-05-30 17:12:44 发布
原创 最新推荐文章于 2022-05-30 17:12:44 发布 · 4.8k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#对偶学习 #深度学习

DualLearning是一种机器学习方法，旨在解决标记数据稀缺且成本高昂的问题。它通过利用未标记数据来增强模型性能，并能应用于多种场景，如神经机器翻译(NMT)、自编码器和生成对抗网络(GAN)等。本文探讨了DualLearning的基本思想、实现方式及其在不同领域的应用。

Dual Learning解决的问题： 带标签的训练数据少且高昂的成本，尽可能的利用无标签数据

Dual Learning 思想
这里写图片描述

Dual Learning在NMT中的应用
1.算法思想
这里写图片描述
2.负例
这里写图片描述
3.正例
这里写图片描述
4.实验设置（需要先预训练）
这里写图片描述

Dual Learning的扩展（可以扩展到多个有联系的模型）
这里写图片描述

自编码中Dual Learning的思想
这里写图片描述

GAN中Dual Learning的思想：
这里写图片描述
有标签的数据训练运用Dual Learning的两种运用方法：
（1）两个model同时做训练
这里写图片描述
（2）通过bayes公式转化
这里写图片描述

Dual Learning的提高原因（可大致将其作为一种loss的正则，使模型更加一般化）
这里写图片描述

【机器学习|学习笔记】核逻辑回归（Kernel logistic regression ，KLR）详解，附代码。
2401_89898861的博客
05-15 1041
【机器学习|学习笔记】核逻辑回归（Kernel logistic regression ，KLR）详解，附代码。
第20课：SVM——对偶学习算法
YeJuliaLi的博客
09-22 463
对偶问题 上一篇我们用 x 和 y 各代表一个维度，用 $z = f(x,y)$ 和 $g(x,y) = 0$ 分别代表一个二元函数和一个一元函数。这样做是为了和图形对比的时候能看得清楚，为了可视化方便。 一般情况下，我们就用 $x$ 代表一个函数的自变量。这个 $x$ 本身可以是多维的。 而且，同一个函数可能同时既有等式约束条件，又有不等式约束条件。 主问题 现在我们考虑在 $d$ 维空间上有 ...
Dual learning
03-20
对偶学习的基本思想是两个对偶的任务能形成一个闭环反馈系统，使我们得以从未标注的数据上获得反馈信息，进而利用该反馈信息提高对偶任务中的两个机器学习模型。
【dual learning】——Dual Learning for Machine Translation
zeiyousao的博客
12-19 551
本文主要描述的是NMT中的一些Dual learning的方法，其中主要是基于半监督和无监督下的场景。 回顾back-translation的方法： Principle of Dual Reconstruction 这里以机器翻译为例，说明半监督条件下的Dual learning。 图中Bob只说语言X，Alice只说语言Y，并且有两个翻译模型。实际上，我们并不确保两个机器翻译模型的正确性。但是我们至少可以通过以下手段判断翻译模型是否存在问题： 1.Bob向模型fff说一句话xxx，因此得到了yˉ=f(x
语音合成（speech synthesis）方向一：双重学习Dual Learning
低调奋进
11-27 1765
声明：工作以来主要从事TTS工作，平时看些文章做些笔记。文章中难免存在错误的地方，还望大家海涵。平时搜集一些资料，方便查阅学习：TTS 论文列表 http://yqli.tech/page/tts_paper.html TTS 开源数据 http://yqli.tech/page/data.html 写在文前：该方向不是我研究的方向，只是凭着兴趣阅读相关文章，对应的实验没有时间和资源做（不能占用公司的资源）。 1 背景 世界存在6000多种语言，按照工业标准来制作高质量的TTS和ASR,每种语言获取训
9/17 Dual learning
qq_40723205的博客
09-17 1146
深度学习之所以取得成功，一个非常重要的因素是大数据（大规模的带标签的数据） 首先，人工标注获取标签的代价很高。 其次，在很多任务中，我们没办法收集到大规模的标注数据，例如在医疗中。 为了使深度学习能够取得更广泛的成功，我们需要降低其对大规模标注数据的依赖性。为了解决这个问题，我们提出了一种新的学习范式，我们把它称作对偶学习。 很多人工智能的应用涉及两个互为对偶的任务，例如机器翻译中从中文到英文翻译和从英文到中文的翻译互为对偶、这些互为对偶的人工智能任务可以形成一个闭环，使从没有标注的数据中进行学习.
论文阅读——Dual Learning for Machine Translation
liuy9803的博客
03-09 1241
https://arxiv.org/pdf/1611.00179.pdf 用于机器翻译的双重学习 Github：https://github.com/microsoft/DualLearning https://github.com/yistLin/pytorch-dual-learning 论文提出一种双重学习机制，可以从无标记的数据中自动学习，解决了人工标记...
跨模态行人重识别：Dynamic Dual-Attentive Aggregation Learningfor Visible-Infrared Person Re-Identification学习笔记
weixin_43898295的博客
05-30 1656
论文链接：Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification 摘要 通过挖掘 VI-ReID 的模态内部分级和跨模态图级上下文线索，提出了一种新颖的动态双注意聚合 (DDAG) 学习方法。提出了一个模态内加权部分注意模块，通过将领域知识强加于部分关系挖掘来提取有区别的部分聚合特征。为了增强对噪声样本的鲁棒性，引入了跨模态图结构化注意力，以加强具有跨两种模态...
精选资源
李航《统计学习方法》笔记和 Python 实现（不基于任何代数运算库）+源代码+文档说明
12-01
* 第 2 章 [感知机](./chapter_2_perceptron/) [\[感知机代码-原始形式\]](./chapter_2_perceptron/Perceptron.py) [\[感知机代码-对偶形式\]](./chapter_2_perceptron/Dual-form_Perceptron.py) * 第 3 章 [k近邻...
机器学习笔记（2）——感知机
Lyndon_zheng的专栏
10-17 1325
Perceptron（感知机）感知机是二分类的线性分类器,属于判别模型。由Rosenblatt在1957年提出，是神经网络和支持向量机（SVM）的基础。感知机本身相当于神经网络中的一个神经元，只能进行简单的线性分类。感知机的学习目标是通过训练数据得到线性划分的超平面。为此，引入基于分类误差的损失函数，利用梯度下降法对损失函数进行极小化，来求解感知机模型。
svm 交叉验证 python_Python机器学习笔记：SVM（4）——sklearn实现
weixin_39637646的博客
12-04 1919
完整代码及其数据，请移步小编的GitHub传送门：请点击我如果点击有误：https://github.com/LeBron-Jian/MachineLearningNote上一节我学习了SVM的推导过程，下面学习如何实现SVM，具体的参考链接都在第一篇文章中，SVM四篇笔记链接为：对SVM的概念理清楚后，下面我们对其使用sklearn进行实现。1，Sklearn支持向量机库概述我们知道SVM相对感...
Dual Learning for Machine Translation
weixin_41696015的博客
03-10 308
https://github.com/yistLin/pytorch-dual-learning 本文作者提出了对偶学习可以更高效的利用单语数据。利用这种对偶学习，单语数据可以扮演和平行语料一样的角色，同时减少训练阶段对平行语料的依赖。具体来说，翻译模型的对偶学习可以描述成以下两个agent的游戏。 第一个agent只会A语言，他把一个用A语言写的信息通过有噪声的通道传给第二个agent，这个通道用翻译模型把A语言转换成B语言。 第二个agent只会B语言，他收到了翻译成B语言的信息。接着他检查信息然后告
#Paper Reading# Dual Learning for Machine Translation
John159151的专栏
12-22 1928
论文大体内容： NMT（neural machine translation）机器翻译模型所需标注的训练数据量特别大的问题，但大量的人工标注的训练数据往往意味着大量的花费，因此本文针对这一问题，提出一个对偶模型，dual-NMT，能够使用unlabel的数据也能达到一个很好的效果。
dual learning for machine translation
u011961856的专栏
09-10 615
对于翻译系统，如语言A翻译到语言B，通常需要大量的语言对来训练神经机器翻译，而数据量的增大会大大的增加成本。本文通过构建两个神经翻译网络，θAB和θBA，这两个网络分别用于将语言A翻译到语言B和语言B翻译到语言A。文章先采用少量的语言对训练好这两个模型。之后，采用无监督学习，训练这两个模型，具体为将语言A输入网络θAB，同时将θAB的输出输入到网络θBA中，再采用强化学习的思想，对网络θAB和网络的
机器学习入门（十五）：SVM——对偶学习算法
米饭超人的专栏
03-12 1922
对偶问题 上一篇我们用 x 和 y 各代表一个维度，用 z=f(x,y) 和 g(x,y)=0 分别代表一个二元函数和一个一元函数。这样做是为了和图形对比的时候能看得清楚，为了可视化方便。 一般情况下，我们就用 x 代表一个函数的自变量。这个 x 本身可以是多维的。 而且，同一个函数可能同时既有等式约束条件，又有不等式约束条件。 主问题 现在...
论文笔记之：DualGAN: Unsupervised Dual Learning for Image-to-Image Translation
a1424262219的博客
06-12 715
DualGAN: Unsupervised Dual Learning for Image-to-Image Translation 2017-06-12 21:29:06 　　引言部分： 　　本文提出一种对偶学习模式的 GAN 网络结构来进行 image to image translation。现有的图像之间转换的方法，大部分都是需要图像对的方法，但是实际上...
论文阅读：Dual Supervised Learning
cassiePython的专栏
07-11 2986
论文阅读：Dual Supervised Learning 概述： 许多有监督的学习任务是对偶的，比如从英语翻译成汉语，从汉语翻译成中文；再如图像的分类和图像的生成。但是人们总是分别训练两个模型， 没有充分利用对偶的双方之间存在的关系，本文提出可以同时训练对偶的模型，且与分别训练两个模型相比可以提高性能。 介绍： 两个对偶问题可以看成空间到的映射以及到的映射。使用概率语言描述
对偶性解法，赋予强化学习更多可能性！
谷歌开发者
08-17 939
文 / 研究员 Ofir Nachum 和 Bo Dai，Google Research强化学习 (RL) 是一种用于训练智能体制定在复杂环境中成功的决策序列的常用方法。如机器人导航，智...
论文阅读：Dual Learning for Machine Translation
cassiePython的专栏
07-11 5992
论文阅读：Dual Learning for Machine Translation 问题提出： 目前在机器翻译的领域，神经机器翻译（NMT）快速发展，取得了很好的效果，但是为了得到一个好的NMT的模型，需要大量的人工标记的训练集即双语的语句对。 人工标记大量的数据费时费力，本文的目的就是提出一种方案（dual learning）来解决这个问题，并且可以得到相比于NMT模型更好的效果
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值