在准备好ChineseNER_input_data后，开始跑NER出现的问题

最新推荐文章于 2024-07-08 06:30:00 发布
最新推荐文章于 2024-07-08 06:30:00 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Angelet_Wang/article/details/81003002
在尝试运行ChineseNER项目并准备了输入数据后，遇到了训练过程中的AssertionError。问题出现在`loader.py`的第33行，原本的代码检查word长度是否大于等于2。通过注释掉该断言来解决此错误，之后程序得以继续运行。

第一次跑

C:\Users\Administrator\Desktop\ChineseNER>python main.py --train=True --clean=T

Building prefix dict from E:\python3\lib\site-packages\jieba\dict.txt ...
Loading model from cache C:\Users\ADMINI~1\AppData\Local\Temp\jieba.cache
Loading model cost 1.144 seconds.
Prefix dict has been built succesfully.
['O']
Traceback (most recent call last):
  File "main.py", line 225, in <module>
    if __name__ == "__main__":
  File "E:\python3\lib\site-packages\tensorflow\python\platform\app.py", line 48
    _sys.exit(main(_sys.argv[:1] + flags_passthrough))
  File "main.py", line 219, in main
    clean(FLAGS)
  File "main.py", line 106, in train
    # load data sets
  File "C:\Users\Administrator\Desktop\ChineseNER\loader.py", line 33, in load_s
    assert len(word) >= 2, print([word[0]])

AssertionError: None

改错：将loader.py", line 33,的

assert len(word) >= 2, print([word[0]]) 

注释掉

第二次跑

C:\Users\Administrator\Desktop\ChineseNER>python main.py --train=True --clean=T

Building prefix dict from E:\python3\lib\site-packages\jieba\dict.txt ...
Loading model from cache C:\Users\ADMINI~1\AppData\Local\Temp\jieba.cache
Loading model cost 1.261 seconds.
Prefix dict has been built succesfully.
Found 1418 unique words (165783 in total)
Loading pretrained embeddings from wiki_100.utf8...
Found 20 unique named entity tags
1 / 0 / 1 sentences in train / dev / test.
2018-07-11 15:55:36,811 - log\train.log - INFO - num_chars      :       1541
2018-07-11 15:55:36,812 - log\train.log - INFO - char_dim       :       100
2018-07-11 15:55:36,812 - log\train.log - INFO - num_tags       :       20
2018-07-11 15:55:36,813 - log\train.log - INFO - seg_dim        :       20
2018-07-11 15:55:36,816 - log\train.log - INFO - lstm_dim       :       100
2018-07-11 15:55:36,817 - log\train.log - INFO - batch_size     :       20
2018-07-11 15:55:36,817 - log\train.log - INFO - emb_file       :       wiki_100
2018-07-11 15:55:36,817 - log\train.log - INFO - clip           :       5
2018-07-11 15:55:36,817 - log\train.log - INFO - dropout_keep   :       0.5
2018-07-11 15:55:36,818 - log\train.log - INFO - optimizer      :       adam
2018-07-11 15:55:36,818 - log\train.log - INFO - lr             :       0.001
2018-07-11 15:55:36,821 - log\train.log - INFO - tag_schema     :       iobes
2018-07-11 15:55:36,821 - log\train.log - INFO - pre_emb        :       True
2018-07-11 15:55:36,821 - log\train.log - INFO - zeros          :       False
2018-07-11 15:55:36,821 - log\train.log - INFO - lower          :       True
2018-07-11 15:55:36.822838: W c:\tf_jenkins\home\workspace\release-win\m\windows
SSE instructions, but these are available on your machine and could speed up CPU
2018-07-11 15:55:36.822946: W c:\tf_jenkins\home\workspace\release-win\m\windows
SSE2 instructions, but these are available on your machine and could speed up CP
2018-07-11 15:55:36.823026: W c:\tf_jenkins\home\workspace\release-win\m\windows
SSE3 instructions, but these are available on your machine and could speed up CP
2018-07-11 15:55:36.823112: W c:\tf_jenkins\home\workspace\release-win\m\windows
最低0.47元/天 解锁文章

新学期VIP享超值加赠
Angelet_Wang
关注
自然语言处理之命名实体识别：Transformer在NER中的应用
zhubeibei168的博客
04-26 710
命名实体识别（Named Entity Recognition，NER）是NLP中的一个子任务，目标是从文本中识别出具有特定意义的实体，如人名、地名、组织名、时间、货币等。NER在信息抽取、问答系统、机器翻译、文本摘要等应用中扮演着关键角色，因为它能够帮助系统理解文本中的关键信息，从而提高处理效率和准确性。在自然语言处理（NLP）领域，Transformer模型的出现标志着一个新时代的开始。
GLM4大模型微调入门实战-命名实体识别（NER）任务
2401_85782600的博客
07-09 890
大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。在实际应用中，我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统NLP模型（比如Bert），来实现更高精度的NLP任务。
官网实例详解4.37（pretrained_word_embeddings.py）-keras学习笔记四
wyx100的专栏
06-29 2174
 Keras实例目录代码注释 代码执行 Keras详细介绍英文：https://keras.io/中文：http://keras-cn.readthedocs.io/en/latest/实例下载https://github.com/keras-team/kerashttps://github.com/keras-team/keras/tree/master/examples完整项目下载方便没积分童...
跑实验记录一
weixin_33918357的博客
04-17 500
1.使用tagger&wikipedia-pubmed-and-PMC-w2v词向量 Loading pretrained embeddings from ../.local/lib/python3.5/site-packages/neuroner/data/word_vectors/wikipedia-pubmed-and-PMC-w2v.txt... WARNING: 5443...
Python中的assert的作用
baidu_15113429的博客
01-15 2149
Python中的断言，在条件不能达到的时候报错误。 s="我" word=s.split() print(word) assert len(word) >= 2, print([word[0]]) 出现错误 "C:\Program Files\Anaconda3\python.exe" C:/Users/User/PycharmProjects/nlpdemo/bilstmcrf/l
Python常见知识点-个人总结
风轻云淡
07-29 334
1、如何查看当前路径，如何查看环境依赖路径，如何添加环境依赖路径？ #coding=utf-8 import os import sys print(sys.path) #打印环境依赖路径 print(os.getcwd()) #打印当前路径 sys.path.append(os.getcwd()) print(sys.path) ...
NLP 基于kashgari和BERT实现中文命名实体识别（NER）
gmHappy
10-30 4913
准备工作，先准备 python 环境，下载 BERT 语言模型 Python 3.6 环境 需要安装kashgari Backend pypi version desc TensorFlow 2.x pip install ‘kashgari>=2.0.0’ coming soon TensorFlow 1.14+ pip install ‘kashgari>=...
Qwen2大模型微调入门实战-命名实体识别（NER）任务
2401_85782600的博客
07-08 1022
大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。在实际应用中，我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统NLP模型（比如Bert），来实现更高精度的NLP任务。
wiki_100.utf8
07-11
自然语言处理中，wiki语料训练的100维的词向量，可用于神经网络训练。
KBQA-BERT-CRF:基于知识图谱的问答系统
03-11
KBQA-BERT 基于知识图谱的问答系统，BERT做命名实体识别和句子相似度 介绍 本项目主要由两个重要的点组成，一是基于BERT的命名实体识别，二是基于BERT的句子相似度计算，本项目将这两个模块进行融合，构建基于BERT的KBQA问答系统。详细介绍，请看我的博客： : 环境配置 Python版本为3.6 pytorch版本为1.1.0 windows10 数据在Data中，更多的数据在[**NLPCC2016**](http://tcci.ccf.org.cn/conference/2016/pages/page05_evadata.html) 和 [**NLPCC2017**](http://tcci.ccf.org.cn/conference/2017/taskdata.php)。 目录说明 Input/data/文件夹存放原始数据和处理好的数据 1-sp
mo初始化python失败影响_失败的预处理错误：尝试在十分钟内使用未初始化
weixin_28197941的博客
01-14 566
我正在处理TensorFlow tutorial，它使用一种“怪异”的格式来上传数据。我想对数据使用NumPy或pandas格式，以便将其与scikit学习结果进行比较。这里是TensorFlow教程(工作正常)中的代码：# Stuff from tensorflow tutorialimport tensorflow as tfsess = tf.InteractiveSession()x = ...
Tensorflow：实战Google深度学习框架（7.3.2节）
weixin_41829234的博客
04-17 265
代码错误提示： Traceback (most recent call last): File "D:\Anaconda3\Ana\envs\tensorflow-gpu\lib\site-packages\tensorflow\python\client\session.py", line 1350, in _do_call return fn(*args) File "D:...
TensorFlow 遇到的问题（二）
冰块药丸的博客
11-06 6077
tensorflow.python.framework.errors_impl.InvalidArgumentError: Cannot parse tensor from proto: dtype: DT_FLOAT
我的AI之路(44)--将tensorflow1.2版faster-rcnn模型freeze为pb模型的总结
XCCCCZ的博客
02-22 890
Faster-rcnn虽然是有点老了的网络，但是可以在有些硬件配置不高、计算资源有限的前端边缘板子上部署，而且也能满足一般的图像识别功能，所以有些项目还是需要用的。近来因项目需要实验研究了一下把faster-rcnn模型转换成pb文件，试图在安卓板子上部署后直接使用安卓调用，但是发现并不太可行，倒不是说pb文件生成不了，而是有几个严重问题，作为经验教训记录备忘，下面有说的不对的，或者...
Python测试函数出现错误问题解决：AssertionError: None != ‘Janis Joplin‘
心中若有桃花源，何处不是水云间！遇到阻碍自己的，那就干掉它！！！
03-09 3823
当使用Python测试函数时，可能会出现AsserttionError，即断言错误。 即出现AssertionError: None != 'Janis Joplin'，原因就是没有提供返回值。
Python学习：异常处理
南淮北安的博客
01-01 1439
1. 异常类型 AssertionError：断言语句失败 # AssertionError:断言语句失败，一般是在测试程序时置入检查点 my_list = ['love'] my_list.pop() assert len(my_list) &amp;amp;amp;amp;amp;amp;gt;0 Traceback (most recent call last): File &amp;amp;amp;amp;amp;quot;&amp;
python中zerodivisionerror是什么意思-Python异常处理实例讲解
weixin_37988176的博客
10-30 8204
目录：一、什么是异常？二、异常的总结三、课时32课后习题及答案*******************一、什么是异常？*******************程序出现逻辑错误或者用户输入不合法都会引起异常，但这些异常并不是致命的，不会导致程序崩溃死掉。可以利用Python提供的异常处理机制，在异常出现的时候及时捕获，并从内部消化掉。那么什么是异常呢？举个例子：file_name = input(&qu...
写tf和pytorch遇到的一些错误以及解决办法(如果当时解决了的话)
大黄老鼠的小本本
07-17 9656
Traceback (most recent call last): File "/root/userfolder/code/cc/CodeCompletion/CodeCompletionGNN.py", line 569, in <module> GnnTrainer(config).start() File "/root/userfolder/code/cc/CodeCompletion/CodeCompletionGNN.py", line 346, in start
BERT-BiLSTM-CRF-NER
最新发布
03-18
<think>好的，用户想了解如何用BERT-BiLSTM-CRF模型实现命名实体识别。首先，我需要整理这个模型的组成部分和它们各自的作用。 首先，BERT作为预训练模型，能生成上下文相关的词向量，这比传统的Word2Vec或GloVe更好。接下来是BiLSTM层，它能捕捉文本的前后信息，处理序列依赖的问题。然后是CRF层，用于考虑标签之间的转移规则，比如“B-PER”后面应该是“I-PER”而不是“O”标签。 接下来，我需要考虑具体的实现步骤。用户可能需要知道数据准备、模型构建、训练和评估这些关键步骤。数据方面，应该使用标准的NER数据集，如CoNLL-2003或中文的MSRA。预处理部分需要处理文本和标签的对齐，特别是BERT的分词器可能会把单词分成子词，需要调整标签。例如，“London”可能被分成“Lon”和“##don”，对应的标签需要是“B-LOC”和“I-LOC”。 然后是模型结构。根据引用中的资料，模型需要先加载BERT，然后接BiLSTM，最后是CRF。在PyTorch中，可以用Hugging Face的transformers库来加载BERT模型。BiLSTM层需要注意输入输出的维度，CRF层可能需要使用现有的实现，比如pytorch-crf库。 训练过程中，需要定义损失函数和优化器。CRF的损失计算涉及转移矩阵和发射分数，所以需要专门的损失函数。评估指标通常用F1值，特别是对实体级别的准确率。 可能遇到的问题包括OOM（内存不足），这时候需要减小批次大小或者使用梯度累积。标签对齐也是一个常见问题，特别是在处理子词时，需要确保每个子词都有正确的标签。此外，学习率的设置可能需要调整，因为BERT部分通常需要较小的学习率，而顶层层可以用较大的。 用户可能还想知道如何优化模型，比如使用不同的预训练模型，调整BiLSTM的层数或隐藏单元数，或者加入Dropout防止过拟合。另外，如何部署模型或进行推理也是后续可能的问题。 需要确保回答中提到的代码示例正确，比如引用中的关键代码，例如构建BERT模型、添加BiLSTM层和CRF层。同时，要提醒用户安装必要的库，如transformers、torch和pytorch-crf。 最后，生成相关问题时，要考虑用户可能进一步的疑问，比如如何提升模型效果、处理中文数据、标签冲突或优化推理速度等。这些问题可以帮助用户深入理解模型的不同方面。</think>### 逐步说明：使用 BERT-BiLSTM-CRF 实现 NER #### 1. **核心组件作用** - **BERT**：生成上下文相关的词向量，替代传统静态词嵌入[^3] - **BiLSTM**：捕捉双向序列依赖，学习上下文特征 - **CRF**：建模标签转移约束（如"B-PER"后应为"I-PER"而非"O"） #### 2. **实现步骤** ##### 2.1 数据准备 - 使用标准数据集（如CoNLL-2003/MSRA） - 预处理格式示例： ```text 华 B-ORG 为 I-ORG 总 O 部 O 位 B-LOC 于 I-LOC 深 B-LOC 圳 I-LOC ``` ##### 2.2 模型构建（PyTorch示例） ```python import torch from transformers import BertModel from torch import nn from torchcrf import CRF class BertBiLSTMCRF(nn.Module): def __init__(self, bert_path, num_labels, lstm_hidden_size=256): super().__init__() self.bert = BertModel.from_pretrained(bert_path) self.bilstm = nn.LSTM( input_size=self.bert.config.hidden_size, hidden_size=lstm_hidden_size, bidirectional=True, batch_first=True ) self.classifier = nn.Linear(2*lstm_hidden_size, num_labels) self.crf = CRF(num_labels, batch_first=True) def forward(self, input_ids, attention_mask, labels=None): # BERT编码 outputs = self.bert(input_ids, attention_mask=attention_mask) sequence_output = outputs.last_hidden_state # BiLSTM特征提取 lstm_out, _ = self.bilstm(sequence_output) # 标签预测 emissions = self.classifier(lstm_out) # CRF解码 if labels is not None: loss = -self.crf(emissions, labels, mask=attention_mask.bool()) return loss else: return self.crf.decode(emissions, mask=attention_mask.bool()) ``` ##### 2.3 关键实现细节 - **BERT输出处理**：取最后一层隐藏状态`last_hidden_state` - **标签对齐**：BERT的WordPiece分词可能导致token与标签长度不一致，需特殊处理[^3] - **CRF约束**：定义合法标签转移矩阵（如禁止"O"→"I-PER"） #### 3. 训练与评估 ```python from transformers import BertTokenizerFast from torch.utils.data import DataLoader # 数据加载示例 tokenizer = BertTokenizerFast.from_pretrained("bert-base-chinese") dataset = NERDataset(texts, labels, tokenizer, max_len=128) dataloader = DataLoader(dataset, batch_size=32, shuffle=True) # 训练循环 optimizer = torch.optim.AdamW(model.parameters(), lr=5e-5) for epoch in range(10): for batch in dataloader: loss = model(**batch) loss.backward() optimizer.step() optimizer.zero_grad() ``` #### 4. 常见问题解决 - **显存不足**：减小`batch_size`或使用梯度累积 - **标签冲突**：检查CRF转移矩阵约束规则 - **中文NER优化**：使用`bert-base-chinese`预训练模型 ###
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值