深度学习
关注
分享
扫一扫
zhyuxie
这个作者很懒，什么都没留下…
展开
-
在NLP中广泛应用的transformer（Self-Attention）剖析笔记
在NLP中如日中天的transformer笔记参考文献自从谷歌在2017NIPS上发表paper Attention is All You Need 以来，最近很多NLP场景已经应用了transformer，包括最近很火的GPT／BERT，本文将以这篇paper为主并结合github上高star的实现源代码 transformer 一起梳理一下self-attention机制在trans...原创 2018-12-21 09:20:13 · 9102 阅读 · 2 评论 -
迁移学习概述（Transfer Learning）
迁移学习概述（Transfer Learning）迁移学习概述背景定义及分类关键点基于实例的迁移基于特征的迁移特征选择特征映射基于共享参数的迁移深度学习和迁移学习结合Pre-training+Fine-tuningSDA (Stacked Denoising Auto-encoder )DANN (Domain-Adversarial Neural Network)参考文献迁移学习概述背景...原创 2019-01-06 23:41:45 · 444023 阅读 · 16 评论