Python语料预处理操作，并保存中间结果

最新推荐文章于 2024-03-08 14:56:37 发布

原创最新推荐文章于 2024-03-08 14:56:37 发布 · 604 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#语料预处理

多味的LeetCode 同时被 2 个专栏收录

211 篇文章

订阅专栏

Python编程基础

103 篇文章

订阅专栏

本文介绍了一种使用正则表达式进行文本预处理的方法，通过去除标点符号并将文本分割成句子，然后进一步清理数据，移除长度过短的句子，为后续的自然语言处理任务准备干净的数据。

部署运行你感兴趣的模型镜像

doc1.txt

原始语料：

在这里插入图片描述

doc2.txt

预处理后：

在这里插入图片描述

doc3.txt

结果为：

在这里插入图片描述

代码为：

import re
def yuchuli():

    filename = './中间结果/doc1.txt'
    f = open(filename, 'r', encoding='utf-8')
    context = f.read()

    pattern = ",|\\.|\\?|!|:|;|~|，|：|。|！|；|？| "
    sentence = [i.replace('\n', '##').strip() for i in re.split(pattern, context)]

    g = open('./中间结果/doc2.txt', 'w', encoding='utf-8')

    for word in sentence:
        a = str(word)
        a = a.replace('##', '\r\n')
        print(a, file=g)

    f.close()
    g.close()

    k = open('./中间结果/doc2.txt', 'r', encoding='utf-8')
    out = open('./中间结果/doc3.txt', 'w', encoding='utf-8')

    for eachline in k.readlines():
        if len(eachline) > 5:
            out.writelines(eachline)
    k.close()
    out.close()
    

yuchuli()