python 实现删除文本中，行长度小于某个值的行

原创于 2023-06-30 15:28:08 发布 · 508 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

该Python代码示例展示了如何遍历指定路径下的文件，读取内容，过滤掉长度小于10个字符的行，并将剩余的行合并成一个新的文本文件。此过程用于清理由爬虫抓取的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

例如我们有这样的文本（举例自己造，原本是爬虫时中的json是只有一行，爬出来里面夹杂了一些只有几个字符的行），想要删除那些短行！


import os
path = r'E:\m'
def Cleaning_txt(path):
    rootdir = path
    for root, dirnames, filenames in os.walk(rootdir):
        j = 1
        for name in sorted(filenames):
            path_ = os.path.join(root, name)  ###获得文件地址
            with open(path_, 'r', encoding='utf-8-sig') as file:
                datan = []###造一个空列表来放长度大于10的字符串
                data = file.read()
                data1 = data.splitlines()
                for line in data1:
                    if len(line)>10:###设定大于10的取出保存
                        datan.append(line)

                sep = '\n'
                strdata=sep.join(datan)######字符串用换行符拼接
                print(strdata)
                f = open(r'E:n\a.txt', 'a', encoding='utf-8-sig')
                f.write(strdata)
                f.close()
                j += 1


Cleaning_txt(path)

sep = ''里为空

就变成了一整行