
NLP
夜空骑士
我是一名数据玩家,对数据行业的知识有着极大的学习热情,在数据分析、数据挖掘、大数据、人工智能等多个方面均有所涉猎,致力于将数据技术应用于各个行业领域,不断提升自我、完善自我、充实自我,并与数据爱好者共同分享、共同进步、共同成长!数据之路,前路漫漫,你我同在,互动前行!
展开
-
【NLP】从WE、ELMo、GPT到Bert模型—自然语言处理中的预训练技术发展史
Bert最近很火,应该是最近最火爆的AI进展,网上的评价很高,那么Bert值得这么高的评价吗?我个人判断是值得。那为什么会有这么高的评价呢?是因为它有重大的理论或者模型创新吗?其实并没有,从模型创新角度看一般,创新不算大。但是架不住效果太好了,基本刷新了很多NLP的任务的最好性能,有些任务还被刷爆了,这个才是关键。另外一点是Bert具备广泛的通用性,就是说绝大部分NLP任务都可以采用类似的两阶段模...原创 2020-02-21 21:23:33 · 1732 阅读 · 0 评论 -
【NLP】词向量:从word2vec、glove、ELMo到BERT详解!
目前,词向量(又叫词嵌入word embedding)已经成为NLP领域各种任务的必备一步,而且随着bert elmo,gpt等预训练模型的发展,词向量演变为知识表示方法,但其本质思想不变。学习各种词向量训练原理可以很好地掌握NLP各种方法。生成词向量的方法有很多种,本文重点介绍word2vec,glove和bert。各种词向量的特点:One-hot:维度灾难 and 语义鸿沟;...原创 2020-02-17 16:35:44 · 4032 阅读 · 0 评论