
自然语言处理
文章平均质量分 70
NLP总结
静静喜欢大白
专注于GNN在交叉领域前沿技术学习与分享、中科院博士一枚、喜欢运动、美食和乐高
展开
-
【tensor2tensor】
参考 https://blog.youkuaiyun.com/sinat_26811377/article/details/100772710 使用参考 https://blog.youkuaiyun.com/csa121/article/details/79605215 https://www.jianshu.com/p/38f39978e563 作者:张金超,腾讯微信模式识别中心高级研究员。 导语: Goog转载 2020-10-26 16:46:14 · 1118 阅读 · 0 评论 -
【Log-linear Models】
转载 https://blog.youkuaiyun.com/dark_scope/article/details/8833909 ============================================================== == all is转载 2020-10-09 16:36:39 · 1029 阅读 · 0 评论 -
【Word2Vec源码解析】
转载 https://blog.youkuaiyun.com/google19890102/article/details/51887344 在阅读本文之前,建议首先阅读“简原创 2020-09-11 09:57:59 · 668 阅读 · 0 评论 -
【白话图解Representation基础发展】
转载https://blog.youkuaiyun.com/ycheng_sjtu/article/details/48520293 深度学习(Deep Learning),原创 2020-09-10 16:13:20 · 894 阅读 · 0 评论 -
【word2vec前世今生(最全面)】
转载 https://blog.youkuaiyun.com/itplus/article/details/37969519 word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包,它简单、高效,因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节,因而在一定程度上原创 2020-09-10 15:53:01 · 466 阅读 · 0 评论 -
BERT训练问题(数据并行/模型并行)
最近在了解数据并行和模型并行相关的知识,主要从BERT模型入手学习(相关知识可以参考),其中AI硬(he)件(dan)厂商英伟达宣布,他们在NLP模型上取得了三大突破,为今后会话AI的落地应用铺平了道路。英伟达一举创造了2个壮举!训练出了世界上最大的语言模型——MegatronLM,包含83亿参数,比BERT大24倍,比GPT-2大5.6倍;还打破了实时对话AI的记录,仅耗时53分钟即可训练出行业标准BERT模型、2毫秒就能对答案做出推断! 英伟达用自己的硬件与并行计算软件相结合,在BERT模型的训练和推原创 2020-05-12 17:41:06 · 2904 阅读 · 0 评论