
小黑ner起飞探索笔记
爱喝喜茶爱吃烤冷面的小黑黑
这个作者很懒,什么都没留下…
展开
-
小黑一步步摸索NER:项目初步搭建(f1:70)
项目运行效果:训练:测试:代码:项目结构:1.config.pyclass Config(object): '''配置类''' def __init__(self): self.dataset = 'poety' self.label_file = './data/{}/example.train'.format(self.dataset) self.train_file = './data/{}/example.train原创 2022-03-04 15:22:51 · 1125 阅读 · 0 评论 -
小黑NER一步步摸索:seqeval包进行序列模型评测
from seqeval.metrics import f1_scorefrom seqeval.metrics import precision_scorefrom seqeval.metrics import accuracy_scorefrom seqeval.metrics import recall_scorefrom seqeval.metrics import classification_reporty_true = [['O', 'O', 'O', 'B-MISC', 'I-MI原创 2022-03-02 17:33:58 · 420 阅读 · 0 评论 -
小黑NER一步步摸索:NER中Bio编码预测
def check_bio(tags): """ 检测输入的tags是否是bia编码 如果不是bio编码 那么错误的类型: (1)编码不在BIO中 (2)第一个编码是I (3)当前编码不是B,前一个编码不是O """ for i,tag in enumerate(tags): if tag == 'O': continue tag_list = tag.split('-')原创 2022-03-02 13:59:28 · 808 阅读 · 0 评论 -
小黑NER探索:valid函数
from estimate import Precision,Recall,F1_scoreimport sysimport torchimport timefrom tqdm import tqdmfrom torch.utils.data import TensorDataset,DataLoadersys.path.append('..')from model.BERT_BiLSTM_CRF import BERT_BiLSTM_CRFfrom config import Config原创 2022-02-28 14:55:21 · 408 阅读 · 1 评论 -
小黑NER探索:Data处理与Dataset建立,model定义与导入
import torchimport osimport timeimport torch.nn as nnimport syssys.path.append('..')from tqdm import tqdmfrom model.BERT_BiLSTM_CRF import BERT_BiLSTM_CRFfrom main import validclass InputFeature(object): def __init__(self,input_id,label_id,inp原创 2022-02-28 14:06:48 · 304 阅读 · 0 评论 -
torchCRF的简单使用
案例简介模型输入:seq:[batch_size,len_seq,num_tags]seq_tag:[batch_size,len_seq]模型输出:likehood:tensor()案例代码import torchfrom TorchCRF import CRFfrom torch.utils.data import TensorDataset,DataLoaderfrom torch.optim import Adamimport matplotlib.pyplot as plt原创 2021-12-20 13:50:52 · 4142 阅读 · 3 评论