Meet and understand Attention
今天是2018年12月20号,距离小亮上次发文技术博客已经过去两个月了,这两个月小亮没有坚持写作,在这里深表歉意。今天就给大家带来福利,Attention这盘大盘鸡!!!今天这份Attention是小亮在组会上刚刚讲完的,个人认为是一份值得学习和思考的详细资料。 我是赵小亮,一枚NLP大道上的小白,今天我们一起来学Attention!用文字记载生活、用文字书写科研中的故事、用文字传播NLP领域的点点滴滴,你我共同成长!
AI大餐预告:本周小亮主要讲解Attention系列专题,大概有八大板块,从Attention Mechanism的起源、历史、变种、相关论文《Attention Is All You Need》以及实战,还有一些思考,带领大家一起吃Attention这顿大餐!
笔者信息:Next_Legend QQ:1219154092 机器学习 自然语言处理 深度学习 统计概率论
小亮的博客:https://legendtianjin.github.io/NextLegend.github.io/ ——2018.12.20于北洋
零、Attention系列专题介绍
首先,小亮要在这里感谢国内外所有写过Attention相关技术博文的同道中人,没有你们,小亮对Attention理解没有今天这样的深入,小亮会在本专题的最后诚挚感谢这些前辈!!!小亮这里用PPT的形式来和大家分享,因为我觉得哈:优快云的文字编辑很不厚道,总是各种Bug,作为国内一个大众化的技术交流平台,文字编辑器却显的那么Low,对程序员一点都不友好。所以小亮直接上PPT,(PPT完整下载链接可以联系本人哈!或者查看小亮私人博客)

这里是小亮的第一页PPT,是不是看上去不是一个纯工科男哈,没有错!!!小亮要做一名有温度的IT男,用文字击破冰冷的科研,好啦,废话不多说,请看第二张PPT,本专题的组织结构!

一、Attention Mechanism的发展历史
这一部分进入到Attention Mechanism的发展历史,历史性的故事,比较简单,小亮在这里用四张PPT带过,想着快速上点干货!!!




二、先来看一个例子:seq2seq中的attention机制
这一部分小亮带领大家走进一个机器翻译的例子,通过这个例子先直观感受一下attention的思想,这里听不懂没关系,后面的内容会再次加深对attention的核心理解!这个例子的资料是来自2018斯坦福大学的课程Natural Language Processing with Deep Learning CS224N/Ling284_Lecture 11: Paying attention to attention and Tips and Tricks for large MT PPT资料链接在小亮的私人博客



三、Attention的一个通用定义
这一部分就一张PPT,内容也是来自2018斯坦福大学NLP的课件,侧重于对attention的直观上的理解。go on!

4695



被折叠的 条评论
为什么被折叠?



