seqeval详解

最新推荐文章于 2026-01-01 00:31:27 发布
原创 最新推荐文章于 2026-01-01 00:31:27 发布 · 970 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

部署运行你感兴趣的模型镜像

简介

seqeval 是一个用于评估序列标注任务（如命名实体识别 NER）的 Python 库。它提供了一种方便的方式来计算各种评价指标，如准确率（Precision）、召回率（Recall）、F1 分数等。seqeval 支持多种标签格式，并且可以处理多标签的情况。

其他知识点补充
  • IOB1
  • IOB2
  • IOE1
  • IOE2
  • IOBES
  • BILOU

以上几个是字体的标注格式，主要是给机器使用的，便于机器识别，这是一种规范。

IOB2：
  • I表示实体内部,O表示实体外部,B表示实体开始
  • B/I-XXX,XXX表示具体的类别
IOBES
  • I表示实体内部,O表示实体外部,B表示实体开始,E表示实体结束,S表示一个词单独形成一个命名实体
  • 有时也会使用M代替I，但本质是同一含义
    例子：
标记说明
B-Person人名开始
I-Person人名中间
B-Organization组织名开始
I-Organization组织名中间
O非命名实体

安装 seqeval

首先，您需要安装 seqeval 库。可以通过 pip 命令轻松安装：

pip install seqeval

基本用法

1. 导入库
from seqeval.metrics import precision_score, recall_score, f1_score, classification_report
2. 准备数据

假设您有两个列表，一个包含真实标签（ground truth），另一个包含模型预测的标签。

true_labels = [
    ['O', 'O', 'O', 'B-MISC', 'I-MISC', 'I-MISC', 'O'],
    ['B-PER', 'I-PER', 'O']
]

pred_labels = [
    ['O', 'O', 'B-MISC', 'I-MISC', 'I-MISC', 'I-MISC', 'O'],
    ['B-PER', 'I-PER', 'O']
]
3. 计算评价指标

精确率（Precision）

accuracy = accuracy_score(true_labels, pred_labels)
print(f'accuracy: {accuracy:.2f}')

precision = precision_score(true_labels, pred_labels)
print(f'Precision: {precision:.2f}')

召回率（Recall）

recall = recall_score(true_labels, pred_labels)
print(f'Recall: {recall:.2f}')

计算 F1 分数，也称为平衡 F 分数或 F 测量值。

f1 = f1_score(true_labels, pred_labels)
print(f'F1 Score: {f1:.2f}')

分类报告
classification_report 提供了更详细的报告，包括每个类别的精确率、召回率和 F1 分数。

report = classification_report(true_labels, pred_labels)
print(report)

输出示例
假设您运行了上述代码，输出可能如下所示：

Precision: 0.80
Recall: 0.80
F1 Score: 0.80
             precision    recall  f1-score   support

        B-MISC       1.00      1.00      1.00         1
        I-MISC       0.75      1.00      0.86         3
        B-PER       1.00      1.00      1.00         1
        I-PER       1.00      1.00      1.00         1
           O       1.00      1.00      1.00         3

    micro avg       0.80      0.80      0.80        10
    macro avg       0.95      1.00      0.95        10
 weighted avg       0.90      1.00      0.94        10

处理多标签情况
seqeval 也支持多标签的情况。假设每个 token 可以有多个标签：

true_labels = [
    ['O', 'O', 'O', ('B-MISC', 'B-PER'), 'I-MISC', 'I-MISC', 'O'],
    ['B-PER', 'I-PER', 'O']
]

pred_labels = [
    ['O', 'O', 'B-MISC', ('I-MISC', 'B-PER'), 'I-MISC', 'I-MISC', 'O'],
    ['B-PER', 'I-PER', 'O']
]

report = classification_report(true_labels, pred_labels)
print(report)

自定义标签格式
seqeval 默认使用 BIO 标签格式（B- 表示开始，I- 表示内部，O 表示非实体）。如果您使用的是其他标签格式，可以通过 suffix 参数进行配置。

from seqeval.scheme import IOB2

true_labels = [
    ['O', 'O', 'O', 'MISC', 'MISC', 'MISC', 'O'],
    ['PER', 'PER', 'O']
]

pred_labels = [
    ['O', 'O', 'MISC', 'MISC', 'MISC', 'MISC', 'O'],
    ['PER', 'PER', 'O']
]

report = classification_report(true_labels, pred_labels, scheme=IOB2)
print(report)

其他功能
seqeval 还提供了一些其他功能，例如：

  • accuracy_score：计算准确率。
  • performance_measure：返回一个字典，包含 TP（真阳性）、FP（假阳性）、FN（假阴性）和 TN（真阴性）的数量。

算法讲解

上面介绍了使用api获取准确率等数据，那么它算法是怎么实现的了

算法介绍：
  • 准确率: accuracy = 预测对的元素个数/总的元素个数
  • 查准率：precision = 预测正确的实体个数 / 预测的实体总个数
  • 召回率：recall = 预测正确的实体个数 / 标注的实体总个数
  • F1值：F1 = 2 *准确率 * 召回率 / (准确率 + 召回率)

预测对的元素个数、总的元素个数、预测正确的实体个数、预测的实体总个数，这些数值是如何获取的了
例子：

y_true = [‘O’, ‘O’, ‘O’, ‘B-MISC’, ‘I-MISC’, ‘I-MISC’, ‘O’, ‘B-PER’, ‘I-PER’] 真实结果
y_pred = [‘O’, ‘O’, ‘B-MISC’, ‘I-MISC’, ‘B-MISC’, ‘I-MISC’, ‘O’, ‘B-PER’, ‘I-PER’] 预测结果

y_true和y_pred列表中都是有9个元素，其中预测对的元素个数为6个，那么准确率为2/3。标注的实体总个数为2个（MISC，PER），预测的实体总个数为3个(‘I-MISC’, ‘B-PER’, ‘I-PER)，预测正确的实体个数为1个（‘B-PER’, ‘I-PER），那么precision=1/3, recall=1/2, F1=0.4。

总结
seqeval 是一个非常实用的库，特别适合评估序列标注任务的性能。通过简单的 API，您可以轻松计算各种评价指标，并生成详细的分类报告。希望这些信息对您有所帮助！如果有任何具体问题或需要进一步的帮助，请随时提问。

您可能感兴趣的与本文相关的镜像

Python3.10

Python3.10

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

【NLP】序列标注评估工具seqeval使用
让算法融入生活，改变生活！
04-07 1485
背景 我们知道在分类任务中，评估模型效果的对象是以样本为单位的，一条样本要么预测错误，要么预测正确，然后就可以使用混淆矩阵，精确率，召回率，F1值计算公式计算相关类别预测情况或者整体的预测情况。 但是对于序列标注任务就不一样了。当然也有研究人员针以每个字符预测的类别为一个样本按照分类任务进行评估。但是，序列标注中，以命名实体识别中的姓名为例，一个姓名实体可能由两个汉字、三个、四个汉字组成。在序列标注算法中，一般会有如下序列标注列表： ['O', 'O', 'B-MISC', 'I-MISC', 'B-MIS
seqeval
qq_38022326的博客
02-01 388
介绍seqeval。
终极指南：如何快速掌握seqeval序列标注评估框架
gitblog_00486的博客
01-01 414
想要在自然语言处理项目中准确评估命名实体识别、词性标注等序列标注模型的性能吗？🚀 seqeval就是你的完美解决方案！这个强大的Python框架专门用于序列标注任务的评估，让你能够轻松获得精准的评估结果。 seqeval是一个经过充分测试的Python序列标注评估框架，支持命名实体识别、词性标注、语义角色标注等多种chunking任务。它兼容Perl脚本conlleval，在自然语言处理领域被
终极指南：如何用seqeval快速评估NER模型的5个实用技巧
最新发布
gitblog_01134的博客
01-01 418
seqeval是一个专门用于序列标注评估的Python框架，特别适用于命名实体识别(NER)、词性标注等任务的性能评估。如果你正在开发或优化NER模型，掌握seqeval的使用技巧将大大提升你的工作效率！🚀 ## 🔍 技巧1：快速安装与基础配置 seqeval的安装非常简单，只需一行命令： ```bash pip install seqeval ``` 这个框架兼容多种标注方案，包括I
Python 3.10版本可用的seqeval-1.2.1版本源码
01-13
Python 3.10版本可用的seqeval-1.2.1版本源码，用于解决“关于Python 3.10在使用百度飞桨 NLP 时 报错 ModuleNotFoundError: No module named 'seqeval' ”
Seqeval：精准评估序列标注模型的利器
gitblog_00038的博客
04-10 1104
是一个Python库，专门用于准确、高效地评估序列标注任务（如命名实体识别、情感分析等）的模型性能。该项目源自[Chakki Works](https://chakkiworks.com/)，并被广泛应用于自然语言处理（NLP）研究和开发中。 ## 技术分析 Seqeval的核心是它提供的精确匹配算法，其主要功能是对预测标签序列与真实标签序列进行比较。传统的精度、召回率和F1分数在处理连续性时...
seqeval 框架教程
gitblog_00241的博客
08-13 514
**seqeval** 是一个用于序列标注任务（如命名实体识别、词性标注、语义角色标注等）评估的 Python 框架。它参照了 CoNLL-2000 共享任务的数据处理标准进行测试，并支持 IOB1 格式。该项目旨在提供一种简单而精确的方式来衡量 NLP 序列标注系统的性能。 ## 2. 项目快速启动 要安装 **seqeval**，你可以使用 `pip` 包管理器： ```bash pip...
NLP（二十三）序列标注算法评估模块seqeval的使用
山阴少年
03-10 7102
  在NLP中，序列标注算法是常见的深度学习模型，但是，对于序列标注算法的评估，我们真的熟悉吗？   在本文中，笔者将会序列标注算法的模型效果评估方法和seqeval的使用。 序列标注算法的模型效果评估   在序列标注算法中，一般我们会形成如下的序列列表，如下： ['O', 'O', 'B-MISC', 'I-MISC', 'B-MISC', 'I-MISC', 'O', 'B-PER', 'I-...
AI原生应用进阶：多语言实体识别实现方案详解
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
04-27 695
随着跨境电商、国际新闻、多语言客服等场景的爆发，AI应用需要“听懂”英语、中文、西班牙语、阿拉伯语等多种语言中的关键信息（如人名、机构名、地点）。本文聚焦“多语言实体识别”这一核心技术，覆盖从基础概念到实战落地的全流程，帮助开发者掌握多语言NER的实现方法，解决多语言数据中的实体抽取难题。本文将按照“场景引入→核心概念→技术原理→实战代码→应用场景→未来趋势”的逻辑展开，用“故事+比喻+代码”三重方式，确保技术细节可理解、可复现。
自然语言处理之命名实体识别：Bi-LSTM-CRF技术详解与实践
zhubeibei168的博客
04-17 910
命名实体识别（NER）是NLP中的一个子任务，旨在识别文本中具有特定意义的实体，如人名、地名、组织名等。NER是信息抽取、问答系统、机器翻译等任务的基础。双向长短期记忆网络（Bi-LSTM）是LSTM（Long Short-Term Memory）网络的一种扩展形式，旨在处理序列数据时能够同时利用过去和未来的上下文信息。LSTM网络通过引入记忆单元和门控机制解决了传统RNN（Recurrent Neural Network）在处理长序列时的梯度消失或梯度爆炸问题，使得网络能够学习到长期依赖关系。
PaddleOCR---基于飞浆的OCR识别佼佼框架使用详解
图灵追幕者博客录
05-25 1972
基于paddlepaddle的光学字符识别paddleocr.
Transformer实战（19）——微调Transformer语言模型进行词元分类
盼小辉丶的博客
09-20 2409
在本节中，我们将学习如何对语言模型进行微调，以适应词元分类任务。我们将探索命名实体识别 (NER)、词性标注 (POS) 和问答 (QA) 等任务，并了解如何针对这些任务微调特定的语言模型。我们将重点介绍 BERT 模型，学习如何微调 BERT 应用于 POS、NER 和 QA 任务，并熟悉这些任务的实现细节，包括所用数据集及执行过程。通过本节的学习，将能够使用 transformers 库执行各种词元分类任务。
NLP（四十）利用seqeval模块获取序列实体识别结果
山阴少年
03-05 1366
  在文章NLP（二十三）序列标注算法评估模块seqeval的使用中，笔者首次介绍了seqeval模块，它可以帮助我们很好地完成序列标注算法的模型效果评估，并且能在Keras模型训练过程中引入。   其实，在seqeval模块中还有一个get_entities函数，它能帮助我们迅速地从一个标注序列中获取完整实体，支持常规的BIO、BMESO等标注方式。让我们来看下该函数的源代码： def get_entities(seq, suffix=False): """Gets entities from s
seqeval序列标记评估模块
weixin_44815943的博客
01-22 1401
使用方法 序列标注任务是NLP中的常见任务，评估序列标注模型的效果也成为必不可缺的流程，seqeval模块可以像sklearn.metrics模块那样，便捷的计算准确率、查准率、召回率、f1值及分类报告。通过pip install seqeval安装，使用案例如下所示： from seqeval.metrics import accuracy_score, precision_score, recall_score, f1_score from seqeval.metrics import classifi
序列标注算法评估模块seqeval的使用
Obolicaca的博客
03-22 446
NLP（二十三）序列标注算法评估模块seqeval的使用 - 山阴少年 - 博客园
序列标注模型结果评估模块seqeval学习使用
Together_CZ的博客
07-13 4313
诸如词性标注、命名实体识别等NLP任务都是属于序列标注类型的任务的，本质属于分类任务，对于序列标注类型的模型的结果评估也有对应的模块实现，这里主要是简单进行使用说明。 模块名叫 seqeval，GitHub地址在这里。 seqeval模块支持的标注格式如下所示： IOB1 IOB2 IOE1 IOE2 IOBES 提供的评估指标方法如下所示： metrics description accuracy_score(y_true, y_pred) ...
[pytorch]序列标注算法评估模块 seqeval 的使用
枪枪枪的博客
11-24 987
参考资料： 序列标注算法评估模块 seqeval 的使用 https://mp.weixin.qq.com/s/PUwGp4fTJj1d38_ZasjBPQ 准确率: accuracy = 预测对的元素个数/总的元素个数 查准率：precision = 预测正确的实体个数 / 预测的实体总个数 召回率：recall = 预测正确的实体个数 / 标注的实体总个数 F1值：F1 = 2 *准确率 * 召回率 / (准确率 + 召回率) pip install seqeval 这个包将accuracy、pr
Python seqeval包安装报错：
weixin_48846747的博客
06-03 1203
Python seqeval包安装报错：
Anaconda 安装seqeval 总结
qq_60074111的博客
04-01 1234
原文链接：https://blog.youkuaiyun.com/qq_25391785/article/details/124323137。有一些模块是无法使用conda install方式安装上，如jieba、seqeval、datasets、paddlefsl等。安装 seqeval命令（亲测有效）（会自动也安装setuptools_scm）这时就需要首先寻找模块，再安装。安装 jieba 命令。datasets命令。
使用bert和trainer进行NER微调
02-22
<think>好的，我现在需要帮用户介绍如何使用BERT和Trainer进行NER微调。首先，我得回忆一下NER（命名实体识别）的基本概念，以及BERT在其中的应用。NER属于序列标注任务，通常需要为每个token分配标签，比如人名、地名等。BERT作为预训练模型，通过微调可以在特定数据集上适应这类任务。 接下来要考虑的是用户可能的背景。他们可能已经对BERT和深度学习有一定了解，但需要具体的操作步骤。用户提到了使用Trainer，可能指的是Hugging Face的Transformers库中的Trainer类，这样可以简化训练过程，不需要手动写训练循环。 首先，我应该介绍需要的工具和库，比如Transformers、Datasets、以及可能的评估指标如seqeval。然后，数据预处理部分，需要将数据转换成BERT接受的格式，比如添加特殊标记、分词、对齐标签等。这里需要注意BERT的分词器可能会将单词分成子词，因此标签也需要相应调整，比如使用“B-PER”、“I-PER”等，并在分词后对标签进行扩展。 然后是模型加载，用户需要从预训练的BERT模型基础上添加一个分类层，用于预测每个token的实体标签。这里要提到AutoModelForTokenClassification类，并说明如何设置标签数量。 接下来是训练参数设置，比如学习率、批次大小、训练轮数等。使用Trainer类时，需要定义TrainingArguments，并传入模型、数据集、评估函数等。可能需要自定义数据整理函数，因为不同样本的长度可能不同，需要动态填充。 评估部分，用户可能希望了解如何计算精确率、召回率、F1值，这里可以引入compute_metrics函数，使用seqeval库来处理评估，因为传统的accuracy可能不太适合NER任务，需要考虑实体级别的匹配。 最后是训练和保存模型，以及可能的推理示例，展示如何使用微调后的模型进行预测。 需要提醒用户注意的地方包括标签与分词的对齐，评估指标的选择，以及超参数的调整。可能还需要提到使用GPU加速训练，以及处理数据时的常见问题，比如标签溢出或长度限制。 现在检查是否有遗漏的步骤：数据加载、预处理、模型设置、训练配置、评估、保存和推理示例。可能用户还需要知道如何准备自己的数据集，比如CoNLL-2003的格式，或者如何处理自定义数据。此外，可能需要解释为什么选择BERT而不是其他模型，比如其双向上下文理解能力适合NER任务。 需要确保代码示例正确，比如Tokenizer的使用，标签扩展的方式，以及处理数据时的注意事项。例如，当分词后产生多个子词，只有第一个子词保留原标签，其余可能标记为-100，以便在计算损失时被忽略。 总结起来，回答的结构应该是步骤化的，先介绍必要概念，然后逐步展开代码实现，强调关键点，并提供示例代码和解释。同时，要指出常见陷阱和解决方法，帮助用户顺利微调模型。</think>以下是使用BERT和Hugging Face的`Trainer`类进行命名实体识别（NER）微调的步骤详解： --- ### **1. 环境准备** 安装必要的库： ```bash pip install transformers datasets seqeval torch ``` --- ### **2. 数据准备** #### **数据格式** - 数据应为 `token` 和 `label` 的序列，格式如下： ```python {"tokens": ["John", "lives", "in", "New", "York"], "labels": [1, 0, 0, 2, 2]} # 1=B-PER, 2=B-LOC ``` - 常用数据集（如CoNLL-2003）可通过`datasets`库直接加载： ```python from datasets import load_dataset dataset = load_dataset("conll2003") ``` --- ### **3. 数据预处理** #### **关键步骤：** 1. **分词与标签对齐** BERT的分词器会将单词拆分为子词（如"York"→["York"]），需扩展标签使其与子词对齐： ```python from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("bert-base-cased") def tokenize_and_align_labels(examples): tokenized_inputs = tokenizer(examples["tokens"], truncation=True, is_split_into_words=True) labels = [] for i, label in enumerate(examples["ner_tags"]): word_ids = tokenized_inputs.word_ids(batch_index=i) previous_word_idx = None label_ids = [] for word_idx in word_ids: if word_idx is None: # 特殊标记（[CLS], [SEP]） label_ids.append(-100) elif word_idx != previous_word_idx: # 新单词的第一个子词 label_ids.append(label[word_idx]) else: # 同一单词的后续子词 label_ids.append(-100) # 忽略损失计算 previous_word_idx = word_idx labels.append(label_ids) tokenized_inputs["labels"] = labels return tokenized_inputs tokenized_dataset = dataset.map(tokenize_and_align_labels, batched=True) ``` 2. **数据格式转换** 使用`DataCollatorForTokenClassification`动态填充批次： ```python from transformers import DataCollatorForTokenClassification data_collator = DataCollatorForTokenClassification(tokenizer) ``` --- ### **4. 模型加载** 加载预训练BERT并添加分类头： ```python from transformers import AutoModelForTokenClassification model = AutoModelForTokenClassification.from_pretrained( "bert-base-cased", num_labels=len(label_list), # 标签类别数（如B-PER, I-PER, O等） id2label={i: label for i, label in enumerate(label_list)}, label2id={label: i for i, label in enumerate(label_list)} ) ``` --- ### **5. 训练配置** #### **定义训练参数** ```python from transformers import TrainingArguments training_args = TrainingArguments( output_dir="./results", evaluation_strategy="epoch", learning_rate=2e-5, per_device_train_batch_size=16, per_device_eval_batch_size=16, num_train_epochs=3, weight_decay=0.01, logging_dir="./logs", ) ``` #### **评估指标** 使用`seqeval`计算实体级别的F1： ```python import numpy as np from datasets import load_metric metric = load_metric("seqeval") def compute_metrics(p): predictions, labels = p.predictions, p.label_ids predictions = np.argmax(predictions, axis=2) true_labels = [[label_list[l] for l in label if l != -100] for label in labels] true_predictions = [ [label_list[p] for (p, l) in zip(prediction, label) if l != -100] for prediction, label in zip(predictions, labels) ] results = metric.compute(predictions=true_predictions, references=true_labels) return { "precision": results["overall_precision"], "recall": results["overall_recall"], "f1": results["overall_f1"], } ``` --- ### **6. 训练模型** 使用`Trainer`启动训练： ```python from transformers import Trainer trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_dataset["train"], eval_dataset=tokenized_dataset["validation"], data_collator=data_collator, compute_metrics=compute_metrics, tokenizer=tokenizer, ) trainer.train() ``` --- ### **7. 模型保存与推理** #### **保存模型** ```python model.save_pretrained("./ner_model") tokenizer.save_pretrained("./ner_model") ``` #### **推理示例** ```python from transformers import pipeline ner_pipeline = pipeline("ner", model=model, tokenizer=tokenizer) text = "John lives in New York." results = ner_pipeline(text) print(results) # 输出示例：[{"entity": "B-PER", "word": "John"}, {"entity": "B-LOC", "word": "New York"}] ``` --- ### **关键注意事项** 1. **标签对齐**：确保子词的标签正确扩展，避免标签错位。 2. **评估指标**：NER注重实体完整性，需使用`seqeval`而非简单准确率。 3. **超参数调优**：可调整学习率、批次大小等提升效果。 4. **GPU加速**：使用`device="cuda"`加速训练。 通过以上步骤，可快速微调BERT模型适应特定领域的NER任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值