nlp 中文数据预处理

AndyViky

于 2019-12-01 15:13:23 发布

阅读量1.6k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：知识梳理 AI 文章标签： nlp machine learning 预处理

本文链接：https://blog.youkuaiyun.com/AndyViky/article/details/103335365

这篇博文深入探讨了中文数据预处理的各个环节，包括数据加载、去除空行、数字、标点、英文字符，以及中文分词和停用词过滤。通过实例代码展示每个步骤的操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

nlp 中文数据预处理

此博文详细介绍中文数据预处理的过程并配上一定量的代码作为实例

数据加载（默认csv格式）

import pandas as pd
datas = pd.read_csv("./test.csv", header=0, index_col=0) # DataFrame
n_datas = data.to_numpy() # ndarray 转成numpy更好处理（个人喜好）

去除空行

def delete_blank_lines(sentences):
    return [s for s in sentences if s.split()]

no_line_datas = delete_blank_lines(n_datas)

去除数字

DIGIT_RE = re.compile(r'\d+')
no_digit_datas = DIGIT_RE.sub('', no_line_datas)
def delete_digit(sentences):
    return [DIGIT_RE.sub('', s) for s in sentences]

判断句子形式（简单句或者复杂句）

STOPS = ['。', '.', '?', '？', '!', '！']  # 中英文句末字符
def is_sample_sentence(sentence):
    count = 0
    for word in sentence:
        if word in STOPS:
            count += 1
            if count > 1:
                return False