BERT基础教程：Transformer大模型实战
关注
分享
扫一扫
文章平均质量分 96
以《BERT基础教程：Transformer大模型实战(周参 译)》为基础，对Transformer以及其他系列BERT模型进行系统认知。
静静的喝酒
静静的生活就好
展开
-
深度学习笔记之BERT(五)TinyBERT
上一节介绍了DistilBERT模型，本节将继续介绍优化性更强的知识蒸馏BERT模型——TinyBERT模型。原创 2024-12-08 03:25:11 · 1867 阅读 · 0 评论 -
深度学习笔记之BERT(四)DistilBERT
本节将介绍一种参数、消耗计算资源少的BERT改进模型——DistilBERT模型。原创 2024-12-07 15:34:58 · 1337 阅读 · 0 评论 -
深度学习笔记之BERT(三)RoBERTa
本节将介绍一种基于BERT改进优化的预训练方法——RoBERTa原创 2024-11-27 00:41:07 · 1080 阅读 · 0 评论 -
深度学习笔记之BERT(二)BERT精简变体:ALBERT
上一节从Word2vec上下文信息的局限性角度出发，介绍了BERT是如何优化这一问题的，以及BERT的训练策略。本节将介绍BERT的一种精简变体：ALBERT。原创 2024-11-22 00:53:54 · 1027 阅读 · 0 评论 -
深度学习笔记之BERT(一)BERT的基本认识
从本节开始，将介绍BERT系列模型以及其常见的变种形式，主要以逻辑认识为主；并将过去的关于Transformer的相关内容结合起来，形成通顺逻辑即可原创 2024-10-31 17:23:06 · 725 阅读 · 0 评论