pandas数据处理--将txt中的数据进行去重统计数量

最新推荐文章于 2024-11-17 21:14:36 发布

乱写乱画

最新推荐文章于 2024-11-17 21:14:36 发布

阅读量1.2k

点赞数

分类专栏： Python pandas data_science

本文链接：https://blog.youkuaiyun.com/qq_41802773/article/details/107919905

版权

本文介绍了如何使用Python的Pandas库处理TXT文件，详细讲解了数据去重的方法，并展示了统计各不重复项数量的步骤，帮助读者掌握数据清洗与分析的基本技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import pandas as pd
import numpy as np
from openpyxl import load_workbook
import os
import re

class doWork:
    def __init__(self):
        self.txt_file_dir = "txt_file"
        self.excel_name1 = r"template.xlsx" # 模板文件
        self.excel_name2 = r"statistics.xlsx" # 统计文件
    
    def get_dir(self): 
        #获取文件路径及文件名
        for root,dirs,files in os.walk(self.txt_file_dir, followlinks=False): #遍历path,进入每个目录都调用visit函数，，有3个参数，root表示目录路径，dirs表示当前目录的目录名，files代表当前目录的文件名
            for filename in files:
                file_path = os.path.join(root, filename)
                flag = re.search("\.txt", file_path)
                if flag:
                    yield  file_path
                else:
                    continue
       
    def read_txt(self):
        # 读txt 输出: {filename:content}
        for txt_name in self.get_dir():
            with open(txt_nam