NLP对数据集进行（词性标注）：将所有的词性进行汇总并且编号；将所有的英文词对应的词性转换成编号，得到list

原创

于 2022-05-08 20:43:48 发布 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理 #人工智能 #nlp

我最近在做一个自然语言处理的作业，词性标注

首先对词性标注的数据集进行处理

直接上代码，我再解释一下

# -*- coding: utf-8 -*-

import nltk

def trans_chaToNum(tagged):
    pred = []
    for tag in tagged:
        result = tag[1]
        pred.append(result)

    # 2.把字符编号，不同的字符对应不同的编号
    mylist = set(pred)
    mylist = list(mylist)
    Pred = {}
    for i in range(len(mylist)):
        Pred[mylist[i]] = i
    # 3.把刚刚那个形式里面的字符都替换成 编号
    trans_pred = []
    for i in pred:
        trans_pred.append(Pred[i])
    return Pred, trans_pred


if __name__ == '__main__':

    A = open('D:/pythonProject/CwsPosNerCNNRNNLSTM-master/CwsPosNerCNNRNNLSTM-master/traindata.txt', "r",
             encoding='utf-8').readlines()

    tagged_sent = []  # [('to', 'TO'), ('hold', 'VB'), ('on', 'RP'), ('to', 'TO'), ('its', 'PRP$'), ('paper', 'NN'), ('.', '.')]
    for a in A:
        sent = a.split()  # ['./.']
        for item in sent:
            pair = nltk.str2tuple(item)  # ('.', '.')
            tagged_sent.append(pair)