NEW_PAPER
关注
分享
扫一扫
gdtop818
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
AdaBound详解[首发]
AdaBound：ADAPTIVE GRADIENT METHODS WITH DYNAMIC BOUND OF LEARNING RATE[github][discussion] (ICLR2019)（消息来源量子位-中国学霸本科生提出AI新算法：速度比肩Adam，性能媲美SGD，ICLR领域主席赞不绝口）在本篇论文中，作者公布了一个名为AdaBound的神经网络优化算法，简单地说，这...原创 2019-02-27 17:06:12 · 5856 阅读 · 0 评论 -
[ICML19]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
个人觉得idea很不错，中心思想是直接对整体架构进行scale以达到减少参数的目的，也是Quoc V. Le刚发表在ICML19的文章，并且在Imagenet达到了最新的state-of-art级别的work。pytorch版本Abstract卷积神经网络(ConvNets)通常是在固定的资源预算下开发的，如果有更多的资源可用，则会进行扩展以获得更高的精度。在本文中，我们系统地研究了模型缩...原创 2019-06-09 16:31:14 · 8289 阅读 · 0 评论 -
[ICML19] Analogies Explained: Towards Understanding Word Embeddings
Abstract由神经网络方法生成的词嵌入，如word2vec (W2V)，其表现出看似线性的行为是众所周知的，例如，类比的嵌入，女人是皇后，正如男人是国王，大致描述了一个平行四边形。这个特性特别有趣，因为嵌入式没有经过培训来实现它。已经提出了几种解释，但每一种解释都引入了在实践中不成立的假设。我们推导了一个基于概率的释义定义，我们将其重新解释为单词转换，wx的数学描述是wy。从这些概念中，我...原创 2019-06-13 12:08:45 · 448 阅读 · 0 评论 -
[ICML19] Rates of Convergence for Sparse Variational Gaussian Process Regression
今年ICML的第二篇最佳论文是来自英国剑桥大学和机器学习平台Prowler.io的研究。之前已经有人开发出了一种高斯过程后验的极好变分近似。避免出现数据集大小为N，计算时间复杂度为O(N3)的情况，将计算成本降低到O(NM2)，其中M是一个远小于N的数。虽然计算成本对于N是线性的，但算法的真正复杂度取决于如何增加M以确保一定的近似质量。本文通过描述向后KL散度（相对熵）上界的行为来解决这个...原创 2019-06-13 11:50:18 · 783 阅读 · 0 评论 -
[ICML19] Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
谷歌等一篇名为《挑战无监督分离式表征的常见假设》的论文，表明 (没有归纳偏置的) 无监督方法学不到可靠的分离式表征 (Disentangled Representations) 。本篇是ICML2019的两篇best paper之一。Abstract分离式表征的无监督学习背后的关键思想是，真实世界的数据是由几个解释变量生成的，这些变量可以用无监督学习算法恢复。本文对这一领域的最新进展进行了...原创 2019-06-13 11:41:59 · 3057 阅读 · 0 评论 -
[ICLR19] IMPROVING MMD-GAN TRAINING WITH REPULSIVE LOSS FUNCTION
本篇是ICLR2019的oral paper。[github]ABSTRACT生成对抗性网络(GANs)被广泛用于学习数据采样过程，在有限的计算预算下，其性能可能在很大程度上取决于损失函数。本研究修正了用maximum mean discrepancy最大平均偏差(MMD)作为GAN损失函数的MMD-GAN，并提出了两个贡献。首先，我们认为现有的MMD损失函数可能会阻碍学习数据中的细节...原创 2019-05-12 11:11:12 · 2731 阅读 · 1 评论 -
[ICLR19] ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS
本篇是ICLR2019的两篇Best Paper之一。另一篇：THE LOTTERY TICKET HYPOTHESIS： FINDING SPARSE, TRAINABLE NEURAL NETWORKSABSTRACT自然语言是分层结构的：较小的单元(例如短语)嵌套在较大的单元(例如子句)中。当较大的组件结束时，嵌套在其中的所有较小的组件也必须关闭。虽然标准的LSTM体系结构允许不同的...原创 2019-05-11 18:08:34 · 1848 阅读 · 1 评论 -
[ICLR19] THE LOTTERY TICKET HYPOTHESIS： FINDING SPARSE, TRAINABLE NEURAL NETWORKS
@https://me.youkuaiyun.com/tongjilixue我觉得指出我译文一些重要部分出现错误，我会理解并更正，这种上来骂人的我是真不懂了，敢问你是看不懂中国字还是看不懂英文？难道我们自愿在优快云上面写笔记是为了给你挑语病的？你有不懂的可以在评论区问问题，我看到或者有其他大佬看到可以帮你解决，再说你这么傲娇，还上啥优快云，自己去Git上提Issue不香吗？有问题paper...原创 2019-05-11 15:47:41 · 4867 阅读 · 3 评论 -
Direct speech-to-speech translation with a sequence-to-sequence model
本篇详细介绍了Google Translate的新技术，从音频直接翻译音频。这个模型叫做S2ST(speech-to-speech translation)。原理是通过一个语音的声谱图映射到另一种语音的声谱图。Abstract我们提出了一种基于注意力的序列到序列神经网络，它可以直接将一种语言的语音转换成另一种语言的语音，而不依赖于中间文本表示。该网络经过端到端的训练，学习将语音谱图映射成另...原创 2019-04-17 18:20:17 · 3758 阅读 · 2 评论 -
Octave Convolution[论文详解]
Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution[github]传统的卷积运算，要成为过去时了。Facebook和新加坡国立大学联手提出了新一代替代品：OctConv（OctaveConvolution），效果惊艳，用起来还非常方便。Oct...原创 2019-04-16 15:21:53 · 20438 阅读 · 20 评论 -
RandWireNN: Exploring Randomly Wired Neural Networks for Image Recognition
在该研究中，来自 FAIR 的研究人员谢赛宁、Alexander Kirillov 、Ross Girshick 与何恺明通过随机神经网络连接的方式探索了比此前神经架构搜索更为广泛的连接形式，并实现了很好的效果。RandWireNNAbstract用于图像识别的神经网络经过广泛的手工设计，从简单的链状模型发展到具有多条路径的结构。ResNets[11]和DenseNets[16]的成功在很...原创 2019-04-09 21:26:18 · 2561 阅读 · 0 评论 -
Reducing BERT Pre-Training Time from 3 Days to 76 Minutes
本篇blog是UCberkely的尤洋等基于BERT模型提出的新的pre-training方法。Abstract大型batch的训练是加速分布式Distributed DNN网络的关键。然而，large-batch训练是很困难的，他产生了很大的泛化误差generalization gap。直接的优化经常会导致accuracy在测试集上的降低（generalization）.BERT[4]作...原创 2019-04-03 18:38:40 · 1330 阅读 · 0 评论 -
TensorMask: A Foundation for Dense Object Segmentation
TensorMask: A Foundation for Dense Object Segmentation这一次，Facebook的陈鑫磊、何恺明等人，又从全新的角度，再次解决了实例分割任务中的难题：他们提出一种通用的实例分割框架TensorMask，弥补了密集滑动窗口实例分割的短板。在COCO数据集上进行测试实例分割结果可以发现，TensorMask的效果可以比肩Mask R-CN...原创 2019-04-01 16:27:36 · 2516 阅读 · 0 评论 -
Zoom to Learn, Learn to Zoom
Abstract本文表明，将机器学习应用于数字变焦时，对真实、原始的传感器数据进行操作是有益的。现有的基于学习的超分辨率方法不使用真实的传感器数据，而是对经过处理的RGB图像进行操作。我们表明，这些方法丧失了对原始数据进行操作所能获得的细节和准确性，尤其是在放大远处物体时。使用真实的传感器数据进行训练的关键障碍是缺少ground-truth的高分辨率图像。我们展示了如何通过光学变焦获得这样的g...原创 2019-03-31 18:11:57 · 5248 阅读 · 3 评论 -
OpenAI开发AI版《文明》，一块CPU就能重现AI生存战争史[应用]
bash命令下，如果是WIn：windows使用bash指令# Recommended Setup:mkdir projektcd projektgit clone https://github.com/jsuarez5341/neural-mmo-clientcd neural-mmo-clientbash setup.shcd ..git clone https://g...原创 2019-03-07 17:16:14 · 511 阅读 · 0 评论 -
Mask Scoring R-CNN[详解]
Mask Scoring R-CNN：Path Aggregation Network for Instance Segmentation（CVPR2019 oral）(消息来源: 性能超越何恺明Mask R-CNN！华科硕士生开源图像分割新方法 | CVPR19 Oral)Mask R-CNN，一种简洁、灵活的实例分割框架，大神何恺明的“拿手作”之一。自2017年一出场就惊艳了四方研究者...原创 2019-03-06 19:12:05 · 27282 阅读 · 34 评论 -
PANet[详解]
一、Abstract摘要&Introduction介绍Abstract信息在神经网络中的传播方式非常重要。本文提出了一种基于提议的实例分割框架下的路径聚合网络Path Aggregation Network (PANet)，旨在促进信息的流动。具体地说，我们通过自底向上的路径增强，利用准确的低层定位信号增强整个特征层次，从而缩短了低层与顶层特征之间的信息路径。我们提出了自适应特征池...原创 2019-03-06 17:31:02 · 44089 阅读 · 9 评论 -
HRNet详解
HRNet：Deep High-Resolution Representation Learning for Human Pose Estimation[github]（CVPR2019）这是一篇state-of-the-art级别的论文19.9.8 update 本文老板的HRNet项目主页，以及已经应用并取得好成绩的应用方向Pose estimation Semantic seg...原创 2019-02-28 20:12:32 · 152970 阅读 · 33 评论 -
[CVPR19]MnasNet: Platform-Aware Neural Architecture Search for Mobile
本篇发表于CVPR2019，作者为Google的Quoc V Le。本篇使用的额scale方法应该是ICML2019发表EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks的姊妹篇。不仅如此，本篇提出的架构也是在移动端十分硬核的应用。Abstract为移动设备设计卷积神经网络(CNN)是一个挑战，因...原创 2019-06-09 17:38:51 · 3939 阅读 · 0 评论