nlp文本常见预处理方法

NLP文本预处理关键技术

最新推荐文章于 2025-06-26 17:11:21 发布

zchenack

最新推荐文章于 2025-06-26 17:11:21 发布

阅读量3.9k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：自然语言处理

本文链接：https://blog.youkuaiyun.com/hustchenze/article/details/82981139

本文介绍了自然语言处理中常见的文本预处理步骤，包括去除标点符号、圆角转半角、判断字符是否为Unicode中文、英文或数字编码，以及识别常用标点。

1. 去除标点

    def removeBianDian(self,word):
        if isinstance(word,str):
            word = word.decode("utf8")
        string = re.sub("[\.\!\/_,$%^*(+\"\']+|[+——！，。?？、~@·#￥%……&*（：）\)-]+".decode("utf8"), "".decode("utf8"),word) 
        return string

2. 圆角转半角

    def strQ2B(self,ustring):
        """全角转半角"""
        if isinstance(ustring,str):
            ustring = ustring.decode("utf8")
        rstring = ""
        for uchar in ustring:
            inside_code=ord(uchar)
            if inside_code == 12288:                                  
                inside_code = 32 
            elif (inside_code >= 65281 and inside_code <= 65374):
                inside_code -= 65248
            rstring += unichr(inside_code)
        return rstring