基于Keras_bert模型的Bert使用与字词预测

已于 2022-07-26 17:21:53 修改
阅读量2.8k 收藏 16
点赞数 3
分类专栏： BERT文本分类 文章标签： keras bert 深度学习
于 2022-07-26 17:19:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44951759/article/details/125977177
版权

基于Keras_bert模型的Bert使用与字词预测

学习参考杨老师的博客，请支持原文

一、Keras_bert 基础知识

1.1、kert_bert库安装

Kert_bert库是基于Keras库对Bert进行封装的Python库，可以实现直接对官方预训练权重的调用训练

但是该库在安装使用方面对于版本的兼容性要求比较高，python版本、tensorfolw版本、Keras版本、Kert_bert版本的相互之间需要相互的兼容。

本人由于习惯于使用Python3.6版本，基本都是在3.6版本上，安装tensoflow与keras库。tensorflow与keras的对应关系：

在这里插入图片描述

tensorflow2.0以上会出现和keras版本问题,在安装Kert_bert库出现很多次的Keras和keras_bert模型不兼容问题,多次搜索调试后选择版本如下：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
BERT中文任务实战(文本分类、预测下一句)踩坑记录
whuty1304的博客
04-22 2万+
文章目录一、概述二、Bert简介2.1 简要说明2.2 fine-tune原理三、在项目数据集上fine-tune教程3.1整体流程3.2 自定义DataProcessor3.3 参数设置3.4 预测函数四、踩坑记录五、参考文献 一、概述 最近参与了两个项目开发，主要内容是基于NLP和深度学习的文本处理任务。其中有两个子模块用到文本分类和预测下一句模型，刚好前段时间自己折腾学习了一点BERT，就打...
用keras优雅的使用bert
格拉迪沃的博客
08-10 9829
用keras优雅的使用bert1.概述2.bert的文本分类3.bert做事件主体抽取 1.概述 如果一个比赛或者一个项目可以使用预训练模型，那么好了，bert预训练模型一定是你最好的选择。对于初入深度学习坑的朋友们直接上手tensorflow版的（fine tune）bert可能不太友好，keras会让你发现使用bert预训练模型就像搭乐高积木一样简单。本文主要介绍bert在文本分类和主体抽取中...
详细了解一下bert-base-chinese 模型
最新发布
dllupup的博客
04-14 458
详细了解bert-base-chinese模型
[深度学习] 自然语言处理--- 基于Keras Bert使用（上）
机器学习初学者必看，关注我，一起了解机器学习
04-15 4138
1. bert– keras keras_bert 是 CyberZHG 封装好了Keras版的Bert，可以直接调用官方发布的预训练权重。 github：https://github.com/CyberZHG/keras-bert 快速安装：pip install keras-bert bert4keras是封装好了Keras版的Bert，可以直接调用官方发布的预训练权重。（支持tf2） git...
BERT实战[1]：利用BERT对语句中[MASK]部分进行预测
Aman's Blog
11-12 9083
找了一下，网上关于利用 BERT 对[MASK]掉的词语的预测比较少，大概总结一下一个小的工作，也算是 BERT 的一个应用。 本文对给定中文文本的名词进行提取，对名词对之间的[MASK]部分（期望是动词），基于 keras_bert 进行预测。keras_bert 是 CyberZHG 大佬封装好了 Keras 版的 BERT，可以直接调用官方发布的预训练权重。 Contents1. 下载 BERT 预训练权重2. BERT 运用A. 文本内容B. 词对提取C. [MASK] 部分预测3. 结果 1. 下
【论文解读】（拼音+字形+字三种信息的中文BERT）ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information
iioSnail的博客
11-28 2201
目前中文BERT的做法和英文BERT一样，都是使用MLM任务和NSP任务进行训练的。但是，中文和英文不同，中文的拼音和字形也能为句子和词的语义提供信息。目前传统的做法忽略了这两个重要信息。所以作者就针对这一点，对BERT进行了改进，增加了这两种信息。
基于ner, albert，keras_bert，bert4keras，kashgari，fastbert，flask + uwsgi + keras的文本分类模型新版源码+说明.zip
02-17
基于ner, albert，keras_bert，bert4keras，kashgari，fastbert，flask + uwsgi + keras的文本分类模型新版源码+说明.zip 基于ner, albert，keras_bert，bert4keras，kashgari，fastbert，flask + uwsgi + keras的...
基于keras和keras_bert的中文命名实体识别，搭建的网络为bert+bilstm_crf.zip
04-03
压缩包子文件的文件名称“keras_bert_ner-1-master”表明这是一个关于使用Keras_BERT进行NER的代码仓库主分支。Keras_BERT是Keras接口下的BERT模型实现，它允许用户轻松地在Keras环境中使用预训练的BERT模型，包括...
Bert文本分类(基于keras-bert实现训练，保存，加载，预测单个文本）.zip
05-07
我们将通过Python编程语言，结合Keras-BERT接口，来实现BERT模型的训练、保存、加载以及对单个文本的预测。 1. **BERT模型介绍**： BERT模型的核心特点是使用Transformer架构，通过自注意力机制捕获上下文信息，...
课程设计基于Keras+BERT模型实现的古诗生成器源码(含项目说明+超详细注释).zip
10-16
课程设计基于Keras+BERT模型实现的古诗生成器源码(含项目说明+超详细注释).zip 一个基于Google开源的BERT模型编写的一个古诗生成器，主要包括如下功能： - 使用唐诗数据集训练模型。 - 使用训练好的模型，随机生成...
pytorch-bert 调用预训练模型或自训模型 进行预测（可批量）
王小二的博客
12-23 7114
#载入训练好的模型 import numpy as np import torch from transformers import BertTokenizer, BertConfig, BertForSequenceClassification #加载训练好的模型 model_name = 'bert-base-cased' MODEL_PATH = '你的模型路径' # tokenizer.encode_plus返回多句子在字典中的id，tokenizer.tokenize返回token # [C
BERT-keras：采用预先训练的权重的BERT的Keras实现
02-03
状态：存档（代码按原样提供，预计无更新） 伯特·凯拉斯 Google BERT（来自Transformers的双向编码器表示）的Keras实现和OpenAI的Transformer LM能够使用微调API加载预训练的模型。 更新：得益于 TPU支持进行推理和训练 如何使用它？ # this is a pseudo code you can read an actual working example in tutorial.ipynb or the colab notebook text_encoder = MyTextEncoder ( ** my_text_encoder_params ) # you create a text encoder (sentence piece and openai's bpe are included) lm_generator = lm_generator ( text_encoder , ** lm_generator_params ) # this is essentially your data reader (single sente
keras-spp 升级至tensorflow-gpu-2.3版本
01-07
spp是个非常好用的扩展层，但在github上下载的源码不适用tensorflow-gpu-2.0以上版本，此版本在原版基础上进行了修改，并进行了适当优化，能够适应最新版本的tensorflow。
tensorflow和keras对应版本
qq_41772084的博客
03-10 4078
tensorflow和keras对应版本
keras_bert包和transformers.BertTokenizer包中划分token的方式
tyler的博客
05-04 1006
代码参考keras-bert中的tokenizer def word_piece_tokenize(word, token_dict): if word in token_dict: return [word] tokens = [] start, stop = 0, 0 while start < len(word): stop = len(word) while stop > start: .
Keras BERT官网中文文档
笨鸟懒得飞
09-16 2832
Keras BERT官网中文文档 BERT的非官方实现，可以加载官方的预训练模型进行特征提取和预测。 安装 pip install keras-bert 使用 使用官方模型 分词 训练和使用 关于training和trainable 使用Warmup 关于输入 下载预训练模型 提取特征 模型存储与加载 使用任务嵌入 使用tf.keras External Links Kashgari是一个极简且强大的 NLP 框架，可用于文本分类和标注的学习，研究及部署上线 当Bert遇上Keras：这可能是Bert
keras-bert学习入门
weixin_46359803的博客
08-02 1042
keras-bert笔记
Keras Bert实践
热门推荐
rosefun96的博客
04-15 1万+
1. keras-bert包 安装 pip install keras-bert 示例： 训练模型： import keras from keras_bert import get_base_dict, get_model, compile_model, gen_batch_inputs # A toy input example sentence_pairs = [ [['all'...
使用keras-bert实现序列标注任务
之乎者也·的博客
01-07 1199
本文将会对三个实体识别的数据集进行测试，以下是三个数据集的简单介绍。人民日报命名实体识别数据集（example.train 28046条数据和example.test 4636条数据），共3种标签：地点（LOC）, 人名（PER）, 组织机构（ORG）时间识别数据集（time.train 1700条数据和time.test 300条数据），共1种标签：TIME。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

驭风少年君

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值