gdtop818-优快云博客

原创 Single Headed Attention RNN: Stop Thinking With Your Head

这篇论文的语言真的很有趣，很多地方我翻译的不是很好大家谅解，可以尽量欣赏原文！Abstract语言建模的主要方法都是痴迷于我年轻时的电视节目——变形金刚和芝麻街。我们选择了老办法和经过验证的技术，并使用了一个新奇的、受密码启发的缩写：单头注意力Single Headed AttentionRNN (SHA-RNN)。作者的唯一目标是表明，如果我们沉迷于一个略有不同的缩略词和略有不同的结果...

2019-12-03 16:14:26 4803 2

原创使用bat批处理文件快速打开Jupyter Lab

相似工具：使用bat批处理文件提交Git我们经常不厌其烦打开cmd，cd到我们的文件目录，然后输入jupyterlab或者是jupyternotebook，这里其实可以自己编写bat批处理文件一键打开。新建.bat文件cd 文件目录jupyter labPAUSE...

2019-11-02 11:21:55 5325

原创使用bat批处理文件提交Git

相似工具：使用bat批处理文件快速打开Jupyter Lab使用bat批处理文件提交Git需要我们操作三个文件，新建pull.bat和push.bat，并修改.gitignore。1. 首先我们在创建rep时候记得添加.gitignore。2.我们选择我们可以提交的类型加上文件类型/3.在末尾加上\pull.bat\push.bat4.在项目文件夹下新建...

2019-11-02 11:19:29 1865

[1]A Survey on Transfer Learning:CUHK的杨强教授于2010年发表在IEEE的Transactions on knowledge and data engineering上关于迁移学习的综述性论文。在许多机器学习和数据挖掘算法中，一个主要的假设是训练和未来的数据必须在相同的特征空间中，并且具有相同的分布。然而，在许多实际应用程序中，这种假设可能不成立。例如，我...

2019-09-24 09:54:47 4034

原创 [NIPs19]Face-to-Parameter Translation for Game Character Auto-Creation

摘要：角色定制系统是角色扮演类游戏（RPG）的重要组成部分，玩家可以根据自身喜好对他们游戏中角色的面部外观进行编辑，而不使用默认模板。本文提出的方法能够根据输入的人脸照片自动创建玩家的游戏角色。基于面部相似性度量和参数搜索范式，并通过解决大量具有物理意义的人脸参数的优化问题，研究者制定了上述「艺术创造」过程。方法概览。该方法可基于输入人脸图像自动生成游戏角色，它基于人脸相似性度量和参数...

2019-09-17 23:27:18 2452 3

原创 Tampermonkeych插件看B站无地区限制，加速arxiv下载论文速度

相关问题：Tampermonkeych插件看B站无地区限制，加速arxiv下载论文速度pycharm备份还原在Pycharm中使用GitHubpython&anaconda环境备份（package备份）谷歌浏览器书签及插件备份git错误上传大文件&版本回退windows使用bash指令arxiv 中国的官方镜像http://cn.arxiv.o...

2019-09-17 23:08:31 38523 1

原创 [ICML19] Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

谷歌等一篇名为《挑战无监督分离式表征的常见假设》的论文，表明 (没有归纳偏置的) 无监督方法学不到可靠的分离式表征 (Disentangled Representations) 。本篇是ICML2019的两篇best paper之一。Abstract分离式表征的无监督学习背后的关键思想是，真实世界的数据是由几个解释变量生成的，这些变量可以用无监督学习算法恢复。本文对这一领域的最新进展进行了...

2019-06-13 11:41:59 3005

原创 Domain Separation Networks

本篇是迁移学习专栏介绍的第十九篇论文，发表在NIPS 2016上。Konstantinos Bousmali的工作。近期工作：Unsupervised Pixel–Level Domain Adaptation。Abstract大规模数据收集和注释的成本常常使机器学习算法应用于新任务或数据集的成本高得令人望而却步。规避这一成本的一种方法是在自动提供注释的合成数据上训练模型。尽管这些模型很有...

2019-06-11 22:17:54 8161 5

原创 [CVPR19]MnasNet: Platform-Aware Neural Architecture Search for Mobile

本篇发表于CVPR2019，作者为Google的Quoc V Le。本篇使用的额scale方法应该是ICML2019发表EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks的姊妹篇。不仅如此，本篇提出的架构也是在移动端十分硬核的应用。Abstract为移动设备设计卷积神经网络(CNN)是一个挑战，因...

2019-06-09 17:38:51 3898

原创 [ICML19]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

个人觉得idea很不错，中心思想是直接对整体架构进行scale以达到减少参数的目的，也是Quoc V. Le刚发表在ICML19的文章，并且在Imagenet达到了最新的state-of-art级别的work。pytorch版本Abstract卷积神经网络(ConvNets)通常是在固定的资源预算下开发的，如果有更多的资源可用，则会进行扩展以获得更高的精度。在本文中，我们系统地研究了模型缩...

2019-06-09 16:31:14 8266

原创 [TF进阶] 循环神经网络

实例55：RNN# -*- coding: utf-8 -*-# 1. 定义基本函数import copy, numpy as npnp.random.seed(0) #随机数生成器的种子，可以每次得到一样的值# compute sigmoid nonlinearitydef sigmoid(x): #激活函数 output = 1/(1+np.exp(-x)) ...

2019-05-28 15:27:25 1224

原创 [TF进阶] 卷积神经网络

实例37：卷积函数的使用# -*- coding: utf-8 -*-import tensorflow as tf # [batch, in_height, in_width, in_channels] [训练时一个batch的图片数量, 图片高度, 图片宽度, 图像通道数] input = tf.Variable(tf.constant(1.0,shape = [1, 5...

2019-05-28 15:00:14 1083 4

原创 [ICLR19] IMPROVING MMD-GAN TRAINING WITH REPULSIVE LOSS FUNCTION

本篇是ICLR2019的oral paper。[github]ABSTRACT生成对抗性网络(GANs)被广泛用于学习数据采样过程，在有限的计算预算下，其性能可能在很大程度上取决于损失函数。本研究修正了用maximum mean discrepancy最大平均偏差(MMD)作为GAN损失函数的MMD-GAN，并提出了两个贡献。首先，我们认为现有的MMD损失函数可能会阻碍学习数据中的细节...

2019-05-12 11:11:12 2668 1

原创 [ICLR19] ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS

本篇是ICLR2019的两篇Best Paper之一。另一篇：THE LOTTERY TICKET HYPOTHESIS： FINDING SPARSE, TRAINABLE NEURAL NETWORKSABSTRACT自然语言是分层结构的：较小的单元(例如短语)嵌套在较大的单元(例如子句)中。当较大的组件结束时，嵌套在其中的所有较小的组件也必须关闭。虽然标准的LSTM体系结构允许不同的...

2019-05-11 18:08:34 1830 1

原创 [ICLR19] THE LOTTERY TICKET HYPOTHESIS： FINDING SPARSE, TRAINABLE NEURAL NETWORKS

@https://me.youkuaiyun.com/tongjilixue我觉得指出我译文一些重要部分出现错误，我会理解并更正，这种上来骂人的我是真不懂了，敢问你是看不懂中国字还是看不懂英文？难道我们自愿在优快云上面写笔记是为了给你挑语病的？你有不懂的可以在评论区问问题，我看到或者有其他大佬看到可以帮你解决，再说你这么傲娇，还上啥优快云，自己去Git上提Issue不香吗？有问题paper...

2019-05-11 15:47:41 4808 3

原创 [TF进阶] 多层神经网络

多层神经网络——解决非线性问题实例28：用线性逻辑回归分析肿瘤的良性or恶性1. 生成样本类# -*- coding: utf-8 -*-import tensorflow as tfimport matplotlib.pyplot as pltimport numpy as npfrom sklearn.utils import shuffle#模拟数据点 de...

2019-04-27 14:24:00 980 2

原创 [TF进阶] MNIST手写体识别完整代码&单个神经网络

实例21：识别图中模糊的手写数字1. 下载数据集from tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("MNIST_data/", one_hot=True)print('输入数据：',mnist.train.images)print('输入数据打印...

2019-04-24 19:47:10 3022

原创 [TF进阶] Tensorflow编程基础

实例5：演示session使用# -*- coding: utf-8 -*-import tensorflow as tfhello = tf.constant('Hello, TensorFlow!') #定义一个常量sess = tf.Session() #建立一个sessionprint (sess.run(hello)...

2019-04-24 15:12:18 786 3

原创 [TF进阶] 线性回归

实例1：从一组看似混乱的数据中找出

2019-04-24 13:39:08 521 4

原创 Domain-Adversarial Training of Neural Networks

本篇是迁移学习专栏介绍的第十八篇论文，发表在JMLR2016上。Abstrac提出了一种新的领域适应表示学习方法，即训练和测试时的数据来自相似但不同的分布。我们的方法直接受到域适应理论的启发，该理论认为，要实现有效的域转移，必须基于不能区分训练(源)域和测试(目标)域的特征进行预测。该方法在神经网络体系结构的上下文中实现了这一思想，神经网络体系结构的训练对象是源域的标记数据和目标域的未...

2019-04-19 15:49:43 21209 9

原创 Simultaneous Deep Transfer Across Domains and Tasks

本篇是迁移学习专栏介绍的第十七篇论文，由Eric Tzeng, Judy Hoffman等完成发表在ICCV2016上，引用量高达400+，也算是迁移学习领域相当高引的一篇好文章。Abstract最近的报告表明，一个训练在大规模数据集上的通用监督深度CNN模型减少了数据集bias，但没有完全消除。在一个新领域中对深度模型进行微调可能需要大量的标记数据，这对于许多应用程序来说根本不可用。我们...

2019-04-19 10:01:06 3331

原创 Direct speech-to-speech translation with a sequence-to-sequence model

本篇详细介绍了Google Translate的新技术，从音频直接翻译音频。这个模型叫做S2ST(speech-to-speech translation)。原理是通过一个语音的声谱图映射到另一种语音的声谱图。Abstract我们提出了一种基于注意力的序列到序列神经网络，它可以直接将一种语言的语音转换成另一种语言的语音，而不依赖于中间文本表示。该网络经过端到端的训练，学习将语音谱图映射成另...

2019-04-17 18:20:17 3702 2

原创 Deep CORAL: Correlation Alignment for Deep Domain Adaptation

本篇是迁移学习专栏介绍的第十六篇论文，由BU完成发表在ECCV2016上。Abstract深度神经网络能够从大量标记的输入数据中学习强大的表示，但是它们不能很好地概括输入分布的变化。提出了一种域自适应算法来补偿由于域移动而导致的性能下降。在本文中，我们解决了目标域未标记的情况，需要无监督的自适应。CORAL[1]是一种非常简单的无监督域自适应方法，它用线性变换对源和目标分布的二阶统计量进行...

2019-04-17 16:32:10 14563 6

原创 Domain Adaptation for Object Recognition: An Unsupervised Approach

本篇是迁移学习专栏介绍的第十五篇论文，由马里兰大学帕克分校完成发表在ICCV2011上，引用量超600+的论文，算是domain adaptation发表较早的论文。Abstract将训练在源域上的分类器用于识别来自新目标域的实例是最近受到关注的一个重要问题。在本文中，我们提出了在对象识别上下文中关于无监督域适应的首批研究之一，其中我们只标记了来自源域的数据(因此没有跨域的对象类别之间的对...

2019-04-17 16:04:09 1606 1

原创 Domain Adaptation for Large-Scale Sentiment Classification: A Deep Learning Approach

本篇是迁移学习专栏介绍的第十四篇论文，由Yoshua Bengio领导完成发表在ICML2011上，引用量超1000+的论文，算是domain adaptation发表较早的论文。Abstract在线评论online reviews和推荐recommendations的指数增长使得情感分类成为学术和工业研究中一个有趣的话题。评审可以跨越许多不同的领域，因此很难为所有这些领域收集带注释的训练...

2019-04-17 15:33:32 1821

原创 DANN：Unsupervised Domain Adaptation by Backpropagation

本篇是迁移学习专栏介绍的第十三篇论文，发表在ICML15上。论文提出了用对抗的思想进行domain adaptation，该方法名叫DANN(或RevGrad)。核心的问题是同时学习分类器、特征提取器、以及领域判别器。通过最小化分类器误差，最大化判别器误差，使得学习到的特征表达具有跨领域不变性。Abstract高性能的深层体系结构是针对大量标记数据进行训练的。在缺少特定任务的标...

2019-04-17 14:10:50 17016 11

原创 Importance Weighted Adversarial Nets for Partial Domain Adaptation

本篇是迁移学习专栏介绍的第十二篇论文，被计算机视觉顶会CVPR 2018接收：《Importance Weighted Adversarial Nets for Partial Domain Adaptation》。文章作者团队来自澳大利亚卧龙岗大(University of Wollongong)Abstract本文提出了一种基于权重加权对抗网络的无监督域自适应方法，特别适用于目标域类数...

2019-04-16 23:39:45 2629 1

原创 Partial Transfer Learning with Selective Adversarial Networks

本篇是迁移学习专栏介绍的第十一篇论文，清华大学助理教授Mingsheng Long (龙明盛)发表在国际机器学习顶级会议CVPR2018。Abstract对抗性学习已经成功地嵌入到深度网络中，以学习可迁移的特征，从而减少源域和目标域之间的分布差异。现有的域对抗网络假设跨域完全共享标签空间。在大数据的存在下，将分类和表示模型从现有的大规模域迁移到未知的小规模域具有很强的动力。引入部分迁移学习...

2019-04-16 20:11:29 3908

原创 Octave Convolution[论文详解]

Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution[github]传统的卷积运算，要成为过去时了。Facebook和新加坡国立大学联手提出了新一代替代品：OctConv（OctaveConvolution），效果惊艳，用起来还非常方便。Oct...

2019-04-16 15:21:53 20302 20

原创 Open Set Domain Adaptation

本篇是迁移学习专栏介绍的第十篇论文，也算是本专栏专门讲Domain Adaptation的第一篇论文。这篇文章是接受于ICCV 2017，文章的setting是特别新颖的，获得了ICCV Marr Prize 提名。所以很值得一看。Abstract当训练和测试数据属于不同的领域时，对象分类器的精度会显著降低。因此，为了减少数据集之间的域转移，近年来提出了几种算法。然而，所有可用的域适应评估...

2019-04-16 14:09:13 4606 9

原创 Transfer Learning via Learning to Transfer

本篇是迁移学习专栏介绍的第九篇论文。最近有一篇叫做《Learning To Transfer》的文章火了，被ICML 2018接收。后来一篇《Transfer Learning via Learning to Transfer》被PMLR2018接受。Abstract在迁移学习中，要解决的两个主要问题是什么和如何迁移，因为在源域和目标域之间应用不同的迁移学习算法会导致不同的知识迁移，从而提...

2019-04-16 13:32:35 1511

原创 Geodesic flow kernel for unsupervised domain adaptation

本篇是迁移学习专栏介绍的第八篇论文，2012年发表在CVPR，GFK作为子空间变换方面是最为经典的迁移学习方法，它建立在2011年发表在ICCV上的另一篇开创性质的文章（SGF）。Abstract在视觉识别的实际应用中，许多因素，如姿态、光照或图像质量，都可能导致训练分类器的源域与应用分类器的目标域之间的严重不匹配。因此，分类器在目标域中的性能通常很差。Domain Adaption技术旨...

2019-04-12 17:19:28 4620 2

原创 Learning Transferable Features with Deep Adaptation Networks

本篇是迁移学习专栏介绍的第七篇论文，清华大学助理教授Mingsheng Long (龙明盛)发表在国际机器学习顶级会议JMLR 2015上的深度适配网络(Deep Adaptation Network, DAN)。前作DDC：Deep domain confusion: Maximizing for domain invarianceDAN是在DDC的基础上发展起来的，它很好地解决了DDC的两...

2019-04-12 15:11:26 10905 5

原创 Deep domain confusion: Maximizing for domain invariance

本篇是迁移学习专栏介绍的第六篇论文，来自来自加州大学伯克利分校的Eric Tzeng等人发表在arXiv 2014的DDC（Deep Domain Confusion）。DDC针对预训练的AlexNet（8层）网络，在第7层（也就是feature层，softmax的上一层）加入了MMD距离来减小source和target之间的差异。这个方法简称为DDC。Abstract最近的报告表明，在大...

2019-04-12 14:04:26 10419

原创 Domain Adaptive Neural Networks for Object Recognition

本篇是迁移学习专栏介绍的第五篇论文，PRICAI 2014的DaNN（Domain Adaptive Neural Network）。Abstract提出了一种简单的神经网络模型来处理目标识别中的Domain Adaptive问题。我们的模型将Maximum Mean Discrepancy(MMD)作为正则化方法引入监督学习中，以减少潜在空间中源域和目标域的分布不匹配。从实验中，我们证明...

2019-04-12 12:12:30 4519

原创 How transferable are features in deep neural networks?

本篇是迁移学习专栏介绍的第四篇论文，最初发表于NIPS 2014，本篇论文的作者是Jason Yosinski博士（当时是康奈尔大学的博士生），Uber AI联合创始人。同时三作是Yoshua Bengio，也是刚刚获得了图灵奖。Abstract许多以自然图像为训练对象的深度神经网络都表现出一个奇怪的共同现象：在第一层，它们学习到类似Gabor过滤器和色块的特征。这些第一层特性似乎不是特定...

2019-04-11 23:15:13 2219

原创 Transfer Feature Learning with Joint Distribution Adaptation

本篇是迁移学习专栏介绍的第三篇论文，JDA方法首次发表于2013年的ICCV，它的作者是清华大学的博士生（现为清华大学助理教授）龙明盛。本篇介绍的JDA相当于TCA的增强算法。前作：Domain Adaptation via Transfer Component Analysis。Abstract迁移学习是一种有效的计算机视觉技术，它利用源域中丰富的标记数据为目标域构建精确的分类器。然而，...

2019-04-11 19:41:02 4847

原创 Domain Adaptation via Transfer Component Analysis

本篇是迁移学习专栏介绍的第二篇论文，由CUHK的杨强教授于2011年发表在AAAI的提出的应用在Domain Adaption上的TCA。机器学习中有一类非常有效的方法叫做降维（dimensionality reduction），用简单的话来说就是，把原来很高维度的数据（比如数据有1000多列）用很少的一些代表性维度来表示（比如1000多维用100维来表示）而不丢失关键的数据信息。这些降维方法多种...

2019-04-11 16:23:42 8790 2

原创 A Survey on Transfer Learning

本篇是迁移学习专栏介绍的第一篇论文，由CUHK的杨强教授于2010年发表在IEEE的Transactions on knowledge and data engineering上关于迁移学习的综述性论文。Abstract在许多机器学习和数据挖掘算法中，一个主要的假设是训练和未来的数据必须在相同的特征空间中，并且具有相同的分布。然而，在许多实际应用程序中，这种假设可能不成立。例如，我们有时在...

2019-04-10 15:02:46 3143

原创 Kaiming He大神论文合集

Kaiming He2011-2016 Microsoft Research Asia (MSRA)2016- Research Scientist, Facebook AI Research (FAIR)Best Paper Award in CVPR 2009(Haze Removal), CVPR 2016(ResNet), ICCV 2017(Mask R-CNN) (Marr...

2019-04-09 23:09:53 3623

华为手机谷歌GMS终极工具（关联华为P系列Mate系列荣耀系列）.zip

setupCSR4.0.zip

HA-LLFTOOL.zip

空空如也