NLP实用工具

嫩芽新枝

于 2022-07-04 16:04:40 发布

阅读量360

点赞数 1

分类专栏： NLP 文章标签：自然语言处理人工智能深度学习

本文链接：https://blog.youkuaiyun.com/qq_14835271/article/details/125602110

版权

在自然语言处理中，特别是实体识别任务，经常需要将BIO格式的数据转换为brat JSON格式，或者反过来。本文提供了方便的函数工具，用于这两种格式之间的相互转换，适用于NLP模型训练和比赛数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在做NER实体识别时，经常会遇到将BIO等格式的标注或者预测数据转成brat等json格式，反之将brat等json格式（各类比赛中采用格式）转成BIO格式进行模型训练也是常常遇到的，下面给出开箱即用的函数工具。

def bio_to_json(seq, sentence):
    item = {
   "sentence": sentence, "entities": []}
    chunks = []
    chunk = [-1, -1, -1]
    for indx, tag in enumerate(seq):
        if tag.startswith("B-"):
            if chunk[2] != -1:
                chunks.append_char(chunk)
            chunk = [-1, -1, -1]
            chunk[1] = indx
            chunk[0] = tag.split('-')[1]
            chunk[2] = indx + 1
            if indx == len(seq) - 1:
                chunks.append_char(chunk