如何将Ernie预训练模型转换为Pytorch版

已于 2022-08-17 21:16:12 修改
阅读量1k 收藏 6
点赞数
文章标签： pytorch 深度学习 python
于 2022-07-21 18:17:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhaoyongbiao/article/details/125918162
版权
本文介绍了一种将阿里巴巴ERNIE模型转化为PyTorch格式的方法，通过nghuyong/ERNIE-Pytorch工具实现，展示了如何加载预训练模型并进行基本的向量获取操作，适合Ernie使用者在PyTorch环境中应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

近期想用Ernie获取字向量，但用PaddlePaddle没整出来，然后发现这个好工具。

https://github.com/nghuyong/ERNIE-Pytorch

用这个工具可以将Ernie转换为Pytorch能够使用的版本，像Bert一样使用Ernie。

其关键代码如下：

extract_and_convert('./Ernie1.0/model/', './convert')
tokenizer = BertTokenizer.from_pretrained('./convert')
model = BertModel.from_pretrained('./convert')
input_ids = torch.tensor([tokenizer.encode("hello", add_special_tokens=True)])
with torch.no_grad():
     pooled_output = model(input_ids)[1]
     print(pooled_output.numpy())

zhaoyongbiao
关注
ERNIE转化为pytorch可用模型记录
初级菜鸟
12-13 3155
据说ERNIE 在中文NLP 任务中比Bert更为优秀，看论文感觉是在bert基础上做了一些训练的技巧. https://github.com/nghuyong/ERNIE-Pytorch转化模型代码项目 测试代码附上可直接执行的： #!/usr/bin/env python # encoding: utf-8 import torch from pytorch_transforme...
pytorch resnet50预训练模型_预训练模型-中文预训练模型
weixin_39609718的博客
11-30 588
中文预训练模型1 ERNIE1.1 ERNIE和BERT的不同ERNIE采用了不同的MASK策略：中文的例子：Learned by BERT ：哈 [mask] 滨是 [mask] 龙江的省会，[mask] 际冰 [mask] 文化名城。Learned by ERNIE：[mask] [mask] [mask] 是黑龙江的省会，国际 [mask] [mask] 文化名城。ERNIE 通过学习词与实...
基于pytorch的中文语言模型预训练模型源码
03-23
基于pytorch的中文语言模型预训练模型源码
ERNIE-Pytorch 使用教程
最新发布
gitblog_00552的博客
08-10 660
ERNIE-Pytorch 使用教程 ERNIE-PytorchERNIE Pytorch Version项目地址:https://gitcode.com/gh_mirrors/er/ERNIE-Pytorch 项目介绍 ERNIE-Pytorch 是一个将百度开发的 ERNIE 模型从 PaddlePaddle 框架转换到 PyTorch 框架的开源项目。ERNIE 模型是一种增强型语言表示模...
分享：ERNIE转化为Pytorch版的预训练模型
小皮肚鼓嘟嘟的博客
04-11 1715
来源：https://github.com/nghuyong/ERNIE-Pytorch 因为是在google drive上，不方便下载，分享如下： ERNIE转换到huggingface的格式： ERNIE 1.0 Base for Chinese(pre-train step max-seq-len-128) with params, config and vocabs 提取码：ugzs ...
【Pytorch基础教程36】基于Ernie预训练模型和Bert的新闻分类
发现问题，并解决问题，批判性思维
02-05 2303
大模型的痛点： - 仅考虑单一粒度语义建模，缺乏多粒度知识引入，语义理解能力受限； - 受限于 Transformer 结构的建模长度瓶颈，无法处理超长文本； - 聚焦语言等单一模态，缺乏工业真实应用场景针对多个模态如语言、视觉、听觉信息的联合建模能力。 Ernie 2.0是百度在Ernie 1.0基础之上的第二代预训练结构。 模型结构与Ernie 1.0还有 Bert保持一致，12层的transformer的encoder层。- 受Bert mask策略的启发，提出一种新的语言表示模型，称为ERNIE(
基于python的中文预训练生成模型代码实现
03-25
对于中文而言，预训练模型同样具有重要价值，例如ALBERT、Ernie、XLM-RoBERTa等，它们能够理解并生成高质量的中文文本。 二、Python环境搭建 实现基于Python的中文预训练模型，首先需要安装必要的库，包括但不限于...
使用Bert预训练模型进行中文文本分类（基于pytorch）
qq_44532527的博客
02-15 1万+
基于BERT预训练模型的中文文本分类任务的实现
Python基于预训练大模型ernie微调完成的阅读理解任务源代码+数据集
04-26
本项目可能使用了Hugging Face的Transformers库，这是一个强大的工具，提供了包括ERNIE在内的多种预训练模型的API，使得研究人员和开发者可以方便地进行模型的加载、微调和评估。 阅读理解任务的流程通常包括以下几...
ERNIE-Pytorch:ERNIE Pytorch版本
05-02
埃尼·皮托奇 该项目是转换到格式。 ERNIE基于Bert模型，在中文NLP任务上具有更好的性能。 如何使用 您可以通过三种方式使用这些强大的模型。 直接加载（推荐） 以ernie-1.0为例： from transformers import AutoTokenizer , AutoModel tokenizer = AutoTokenizer . from_pretrained ( "nghuyong/ernie-1.0" ) model = AutoModel . from_pretrained ( "nghuyong/ernie-1.0" ) 您可以在huggingface的模型中心中找到所有受支持的ERNIE模型： ://huggingface.co/nghuyong。 下载模型重量 模型 变压器中的标识符 描述 下载网址 ernie-1.0（中文） nghuyong
Bert-Chinese-Text-Classification-Pytorch:使用Bert，ERNIE，进行中文文本分类
05-11
Bert-Chinese-Text-Classification-Pytorch 中文文本分类，Bert，ERNIE，基于pytorch，开箱即用。 介绍 模型介绍、数据流动过程：还没写完，写好之后再贴博客地址。 工作忙，懒得写了，类似文章有很多。 机器：一块2080Ti ， 训练时间：30分钟。 环境 python 3.7 pytorch 1.1 tqdm sklearn tensorboardX pytorch_pretrained_bert(预训练代码也上传了, 不需要这个库了) 中文数据集 我从中抽取了20万条新闻标题，已上传至github，文本长度在20到30之间。一共10个类别，每类2万条。数据以字为单位输入模型。 类别：财经、房产、股票、教育、科技、社会、时政、体育、游戏、娱乐。 数据集划分： 数据集 数据量 训练集 18万 验证集 1万 测试集 1万 更换自己的数据集 按照
NLP实战：Pytorch实现6大经典深度学习中文短文本分类-bert+ERNIE+bert_CNN+bert_RNN+bert_RCNN+bert_DPCNN
小胡说人工智能的博客
07-09 8381
本文基于PyTorch框架，实现了6种经典的深度学习中文文本分类模型，这些模型包括基于Transformer模型的Bert和ERNIE，以及结合卷积神经网络、循环神经网络和深度金字塔卷积神经网络的bert_CNN、bert_RNN、bert_RCNN和bert_DPCNN，并对各模型进行了训练与结果比较。
超详细中文预训练模型ERNIE使用指南
热门推荐
Kaiyuan_sjtu的博客
07-31 3万+
写在前面 啊实习以后因为各种事就好久没写过博客了。最近在工作上处理的都是中文语料，也尝试了一些最近放出来的预训练模型（ERNIE，BERT-CHINESE，WWM-BERT-CHINESE），比对之后还是觉得百度的ERNIE效果会比较好，而且使用十分方便，所以今天就详细地记录一下。希望大家也都能在自己的项目上取得进展~ 1、A Glance at ERNIE 关于ERNIE模型本身的话这篇不会做...
Pytorch版本的Ernie Health+BiLSTM+CRF模型源码详解
敷衍zgf的博客
07-04 1372
Pytorch版本是实现Ernie Health + BiLSTM + CRF源码解析
情感分析Baseline快速实现
YuZhou的博客
01-19 1070
句子级情感分析（NLPCC14-SC,ChnSentiCorp）；目标级情感分析（SE-ABSA16_PHNS,SE-ABSA16_CAME）；以及观点抽取（COTE-BD，COTE-DP，COTE-MFW）。
基于BERT/ERNIE的中文命名实体识别的Pytorch实现
Zac_B的博客
08-23 5988
基于BERT的中文命名实体识别的Pytorch实现ERNIE-NER-pytorchTODO前言ImplementationExperimentDatasetResultConfigurationScript ERNIE-NER-pytorch   Github：https://github.com/ZacBi/BERT-NER-Pytorch   出现bug或者对code内容有疑问的可以提交到...
转战pytorch——XLNet初体验（5）
刘炫320的博客
11-15 4735
1. 前言 几个月不见，huggingface的transformer框架在代码层面也早就已经完成了大一统预训练模型，在前几个文章里介绍的很多代码都已经集成到框架之中了，而且通过层层继承和多态，使得你很难再一下就能看出其逻辑了。并且，连训练测试过程都开始朝着曾经keras的方向发展了，使用一个Trainer作为实验实例，只需要传递给其模型和数据集，它就可以自动完成模型的训练和保存。我似乎看到了Pytorch版的keras的影子。 鉴于之前的代码和模型都已经被transformer统一整理集成了，因此这里则介
PaddlePaddle与PyTorch的转换
shaojie_45的博客
04-07 1万+
PaddlePaddle与PyTorch的转换1 基本结构2 网络结构 PaddlePaddle 2.0和PyTorch风格还是非常像的。使用PaddlePaddle可以直接调用百度AI Studio里的一些资源（包括GPU、预训练权重之类的），而且说明文档、社区都是中文的，比较友好；而PyTorch在Github有更多的代码与资源，两者配合使用是比较香的。下面整理了一些PaddlePaddle以及PyTorch中对应的函数。 1 基本结构 PyTorch PaddlePaddle 说明 t
这可能是第一篇比较全的ERNIE踩坑笔记——Centos下玩转ERNIE
a1058420631的博客
05-15 4070
最近要做一个中文文本匹配的任务，看到百度刚刚发布了sota的模型（中文任务全面超越BERT：百度正式发布NLP预训练模型ERNIE），所以想拿来用一下，但是相对于大火的google发布的Bert，实践ERNIE模型的博客非常少，于是自己跑通模型后写了这篇博客记录一下遇到的坑，如果对小伙伴们有帮助那便是极好的。 因为论文是基于百度的开源框架paddlepaddle，可以说相比较深度学习大火的te...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值