
预训练模型
文章平均质量分 83
深入讲解预训练模型的代码和原理,从而帮助新手更好的理解预训练模型。
herosunly
985院校硕士毕业,现担任算法工程师一职,获得优快云博客之星第一名,热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委,编写微软OpenAI考试认证指导手册。曾获得多项AI顶级比赛的Top名次,其中包括阿里云天池比赛第一名,科大讯飞分类挑战赛第一名,CCF信息分类比赛比赛第二名,开放原子分类比赛二等奖,CCF家族分类第四名,科大讯飞阿尔茨海默症预测挑战赛第四名,科大讯飞事件抽取挑战赛第七名。在技术创新领域拥有多项授权发明。曾辅导多位非科班出身的同学成功进入算法行业就业。希望和大家一起成长进步。
展开
-
Masked Autoencoders Are Scalable Vision Learners 论文研读
1. 标题2. 摘要3. 模型架构4. 结论# 1. 标题Masked Autoencoders Are Scalable Vision Learners指的是带掩码的自编码器是可扩展的视觉学习器。其中这里的Autoencoders指的是模型的输入和输出都是相同的,简单来说Autoencoder=encoder+decoder。作者其中包括了ResNet的第一作者何恺明大神。原创 2021-12-11 17:08:28 · 5152 阅读 · 2 评论 -
TensorFlow版BERT源码详解之self-attention
self-attetion是BERT中的最为核心的内容之一,虽然TensorFlow版的BERT中的self-attention的原理和论文中是一致的,但是实现代码却有所出入。为了帮助新手快速理解这部分内容,所以通过该篇博客逐行解释具体代码。文章目录1. 函数参数2. 维度变换过程2.1 单个注意力头2.2 多个注意力头3. 代码解析1. 函数参数def attention_layer(from_tensor, to_tensor,原创 2021-09-05 11:22:49 · 12683 阅读 · 15 评论