BERT系列预训练模型资料

最新推荐文章于 2025-01-07 17:33:46 发布
原创 最新推荐文章于 2025-01-07 17:33:46 发布 · 267 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#bert #深度学习 #人工智能

本文系列详细介绍了NLP领域的预训练语言模型，包括BERT、ERNIE、SpanBERT、RoBERTa、XL-Net、ALBERT、DistillBert、TINYBERT以及ELECTRA等，探讨了模型的优化方法和应用，是NLP算法面试的重要参考资料。

@创建于：20220521
@修改于：20220521

文章目录

NLP中的预训练语言模型（一）—— ERNIE们和BERT-wwm

NLP中的预训练语言模型（二）—— Facebook的SpanBERT和RoBERTa

XL-Net和Transformer-XL

NLP中的预训练语言模型（四）—— 小型化bert（DistillBert, ALBERT, TINYBERT）

NLP中的预训练语言模型（五）—— ELECTRA

NLP算法面试必备！PTMs：NLP预训练模型的全面总结

NLP-预训练模型：综述【基础：BERT】【预训练任务优化：ERNIE、SpanBERT】【训练方法优化：RoBERTa、T5】【模型结构优化：XLNet、ALBERT、ELECTRA】【模型轻量化】

NLP预训练模型1 – 综述

精选资源
基于bert系列预训练模型的财经新闻情感分类器
09-07
训练数据来自https://xueqiu.com，为中文。正样本（pos）：6873条，负样本（neg）：3591条；...使用albert_chinese_small只调节原始模型的一层，一层密集与后接的两层密集，epoch=30，lr=0.004，准确率92%；
精选资源
用于各类文本的BERT二次预训练.zip
01-07
这个压缩包“用于各类文本的BERT二次预训练.zip”包含了一个旨在对BERT进行二次预训练的项目，目的是进一步优化模型以适应各种文本类型的数据。 首先，我们来看看**一般的MLM任务**（Masked Language Modeling）。...
非常好的bert中文预训练资料
ningyanggege的博客
06-08 1013
https://github.com/CLUEbenchmark
BERT学习资料
Suan2014的博客
07-22 601
BERT大火时，一直忙于将产品落地，现在终于有时间详细系统地学习了。主要梳理一下学习顺序及清晰的解读文章。 阅读BERT论文之前，建议先学习Transfomer，对应论文为：Attention Is All You Need，另附一篇通俗易懂的解读文章：BERT大火却不懂Transformer？读这一篇就够了 肯定要读一下BERT的论文：BERT: Pre-training of Deep Bi...
关于BERT预训练模型，你想知道的都在这~
KaikebaAI的博客
01-13 4607
原创：晋百川 BERT模型自18年10月推出，到目前为止已经有3年多时间了。BERT问世即引起轰动，之后，各种改进版本的预训练模型（Pre-Training Model, PTM）与应用层出不穷。BERT及它的继任者们，确实也不负众望，在多种NLP数据集竞赛榜单，连续多年被各种新出现的预训练模型霸榜，有些榜单，个别模型已经把指标刷到超过人类。今天就带大家聊一下BERT并进行案例实战。 一、BERT介绍 BERT的架构图如图1所示，从架构图我们可以看到BERT分三个模块，分别是Embedding模块、Tra
bert预训练模型解读_Bert 预训练小结
weixin_42154650的博客
01-09 3426
最近正在预训练一个中文pytorch版本的bert，模型部分代码是基于huggingface发布的版本，预训练过程还是参考google的代码。阅读这篇文章之前，希望读者能对BERT有所了解，建议仔细阅读论文。值得吐槽的是huggingface之前发布的分支名叫pytorch-pretrain-bert，后来又加上了gpt2、XLNet一系列当红模型，结果索性改了个名字叫做pytorch-trans...
基于Pytorch+Bert的预训练模型
linxizi0622的博客
07-10 2861
基于Pytorch+Bert的预训练模型
BERT预训练模型系列总结
dzysunshine的博客
07-28 4037
预训练模型总结
BERT预训练语言模型
weixin_43689673的博客
07-05 1354
BERT预训练语言模型
week06_预训练语言模型—BERT
Captain823Jack的博客
01-07 2174
有了预训练就相当于模型在培养大学生做任务，不然模型初始化再做任务就像培养小学生当前数据层面的瓶颈是能用于预训练的语料快被用完了现在有一个重要方向是让机器自己来生成数据并做微调。
【大模型系列篇】预训练模型：BERT & GPT
木亦汐丫
08-27 1938
BERT 的目标是创建一种语言模型，可以理解句子中单词的上下文和含义，同时考虑到它前后出现的单词。BERT和GPT是两种基于Transformer架构的预训练模型，BERT侧重于理解句子中的上下文和含义，适合词语级别的任务；GPT的单向语言模型采用了经过修改后的Decoder模块, Decoder采用了look-ahead mask, 只能看到context before上文信息, 未来的信息都被mask掉了.缺点：模型过于庞大，参数量太多，需要的数据和算力要求过高，训练好的模型应用场景要求高。
Chinese-BERT-wwm：基于全字掩蔽的汉语BERT预训练模型
最新发布
07-09
为了推动中文信息处理研究的深入发展，我们发布了基于全词遮罩（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及一系列相关模型，包括BERT-wwm-ext、RoBERTa-wwm-ext、RoBERTa-wwm-ext-large、RBT3和RBTL3...
精选资源
使用bert预训练模型微调实现命名实体识别任务
03-11
通过定义实体类型、Label编码、加载预训练模型、文本分词等一系列步骤，可以构建出一个完整的NER系统。这种方法不仅简单高效，而且能够在各种应用场景中取得良好的效果。在未来的研究和发展中，结合更丰富的特征和更...
KeyBert关键词提取 ：原理、方法介绍、代码实践
热门推荐
chenhepg的博客
07-08 2万+
KeyBert的安装、使用、样例、模型加载 zhKeyBert的使用
bertopic TypeError: __init__() got an unexpected keyword argument ‘cachedir‘
chenhepg的博客
10-12 2347
bertopic==0.11.0 依赖的 joblib版本
neo4j在windows64位的安装：neo4j-community-3.2.0-windows 和 jdk-8u181-windows-x64.exe
chenhepg的博客
12-17 869
@创建于：20201217 @修改于：20201217 1、背景 安装知识图谱工具neo4j，着手知识图谱的研究。 2、neo4j 与 jre要匹配 neo4j与jdk版本 最后贴个网址，官方文档：https://neo4j.com/docs/operations-manual/3.5/installation/requirements/ 3、参考连接 （1）neo4j与jdk版本 （2）neo4j安装详细步骤（小白版） （3）JDK下载安装及环境变量配置的图文教程（详解） ...
知识图谱：学习资料（持续更新）
chenhepg的博客
05-27 635
创建日期：2020.5.27 修改日期：2020.5.27 1、农业知识图谱（Agriculture_KnowledgeGraph）项目环境构建 2、最全知识图谱综述: 概念以及构建技术 3、知识图谱(Knowledge Graph)之综述理解 4、知识图谱可视化展示 https://www.ownthink.com/ ...
Sentence-Transformer积累
chenhepg的博客
07-08 599
@创建于：20210708 @修改于：20210708 官网：SentenceTransformers Documentation Sentence-Transformer的使用及fine-tune教程 …一个博客：mathor的博客 https://mathor.blog.youkuaiyun.com/
word2vec原理 系统理论介绍、图解、代码实现
chenhepg的博客
06-21 322
创建于：20210621 修改于：20210621 文章目录1、系统介绍2、图解介绍3、代码实现 1、系统介绍 word2vec原理（一）： 词向量、CBOW与Skip-Gram模型基础 word2vec原理（二）：基于Hierarchical Softmax的模型 word2vec原理（三）： 基于Negative Sampling的模型 word2vec原理（四）：word2vec训练流程 word2vec原理（五）：skip-gram和CBOW模型代码实现【我认为仅供参考，我没有实际验证。】 Wor
基于全词掩蔽的中文BERT预训练模型系列
该系列模型包括 Chinese-BERT-wwm、BERT-wwm-ext、RoBERTa-wwm-ext、RoBERTa-wwm-ext-large、RBT3 和 RBTL3 等多个变体，构成了一个完整且高效的中文预训练模型生态体系。这些模型不仅在多项中文自然语言理解任务中...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值