python遍历文件夹中带指定后缀的文件并做数据拼接

python批量提取子文件夹下指定名称的文件 python批量提取子文件夹下指定名称的文件 最近使用数据集时遇到一个问题,需要把每个文件夹下第10张图片复制出来放到一个指定的文件夹里,手动复制太麻烦,所以找了点代码自己改了改。 目录 要提取每个子文件夹下名称后缀为_10.jpg的文件到一个新的文件夹中。 代码 import os import re import xlwt # 递归复制文件夹内的文件 def copyFiles(sourceDir, targetDir): for file in os.listdir(sourceDir): 阅读详情

1、背景

不知道小伙伴们平时有没有这样的困惑,去平台上面疯狂的导数,然后复制粘贴,做加工处理,做个表格,交给领导看,稍微不注意,还出错,被领导一顿批,下面我介绍一种简单的应用场景,使用代码来批量实现。
具体的情况如下:
(1)在某个文件夹下面,我们想把以xlsx为后缀的文件筛选出来
(2)获取下划线后面的订单id
(3)将xlsx为后缀的文件内容做纵向拼接
文件夹的内容如下:
在这里插入图片描述
订单表20191010的数据如下:
在这里插入图片描述
订单表20191011的数据如下:
在这里插入图片描述
想要变成的样式如下:
在这里插入图片描述

2、分析

简单过一下思路:
(1)首先观察一下文件夹中的文件命名规则,筛选出xlsx后缀的文件;
(2)使用正则找到订单id;
(3)将订单id数据填充到订单表中(纵向填充,范围与行数一致);
(4)将所有订单表数据拼接到一起,并将汇总数据写入到指定文件中(Python会自动根据列名进行拼接数据);

3、代码实现

import os
import re
import pandas as pd

file_path = "D:\\test"  # 文件夹路径
file_list = os.listdir(file_path)  # 获取文件夹下所有文件的名称,包括后缀
# print(file_list)  # 结果是个list,且list中的每个元素是字符串类型

result_df = pd.DataFrame()

# 通过循环拼接每一个xlsx文件的数据
for file in file_list:
    if file.endswith(".xlsx"):  # 筛选出xlsx后缀的文件
        path = os.path.join(file_path, file)  # 通过join得到文件的绝对路径
        order_id = re.findall(r"\d+\d*", file)  # 通过正则获取订单id,返回的是一个list
        
        read_data_1 = pd.read_excel(path, skiprows= 1) # 忽略第1行的数据,直接从第二行开始读取  
        
        # 构造并在指定位置插入订单id列,使用insert函数(这里加在了第1列)
        length = len(read_data_1)
        order_id_col = order_id * length   
        read_data_1.insert(0, "订单id", order_id_col)  # 0 代表位置,首列
        
        # 纵向拼接,python会自动根据列名纵向拼接数据
        result_df = pd.concat([result_df, read_data_1], axis = 0, sort = False)
		
result_df.to_excel("D:\\test\\test.xlsx")  # 将拼接的数据存储到指定文件中

【python】遍历文件目录、批量处理同类文件 【python】遍历文件目录、批量处理同类文件 目录操作 1、获取当前目录 import os curr_path=os.path.dirname(__file__) #返回当前文件所在的目录,即当前运行的脚本所在父目录 print curr_path -----运行示例------ (1)使用os.path.dirname(__file__)时,是针对运行时对所给程序脚本的路径来获取父目录的... 阅读详情

相关推荐

Python遍历指定文件和文件夹的方法

Python提供了丰富的库和函数,使得文件和文件夹的遍历变得相对简单。本文将介绍如何使用Python遍历指定的文件和文件夹,并提供相应的源代码示例。通过以上方法,你可以方便地在Python程序中遍历指定的文件和文件夹,进行相应的操作和处理。函数可以遍历指定文件夹及其子文件夹中的所有文件和文件夹。Python中的os模块提供了一些函数用于对操作系统进行操作,其中包括文件和文件夹的遍历。函数接受一个文件路径模式作为参数,返回匹配该模式的所有文件路径列表。函数来遍历文件夹及其子文件夹中的所有文件和文件夹。

YOLOv6666的博客 258

chatgpt赋能python:Python怎么关联文件实现文件读取和写入操作?

Python是一种功能强大且易于学习的编程语言,适用于各种应用场合。文件读取和写入操作是Python编程中至关重要的基础技能,通过关联文件实现文件读取和写入操作可以实现对数据的处理和保存,灵活应用于开发各种应用和领域。本文由chatgpt生成,文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型,只是展现它原本的实力。对于颠覆工作方式的ChatGPT,应该选择拥抱而不是抗拒,未来属于“会用”AI的人。

liangzijiaa的博客 263

机器人导航学习历程(四)local planner

local planner   我们先来回顾一下Navigation的框架,可以看出位于红框中的local_planner是move_base节点的一部分,输入包括来自global_planner的全局的规划路径、里程计信息以及local_costmap的信息,输出是速度控制指令,作为控制器的输入。 base_local_planner   局部规划一般是用base_local_planner包...

yuniruchujian的博客 4413

python遍历单层文件夹的所有文件、遍历包含自文件夹下的所有文件、文件后缀筛选

只是随笔备忘单层文件夹def fun(path): #单层文件夹 for filename in os.listdir(path): if not os.path.isdir(os.path.join(path,filename)):#去掉的话会有文件夹的目录被打印 print (os.path.join(path,filena...

natural_Caduceus 4351

yolo自动化项目实例解析(九) 导航

比如我们经常使用的导航,说白了就是寻找两点之间最近的路径,也就是所谓的寻路,我们需要想办法让程序知道他要去哪里,路径包含(起点、轨迹、路径)

默子昂 1998

从INCA到Excel:手把手教你移植汽车标定数据的查表插值算法(附源码)

本文详细介绍了如何将汽车标定数据从INCA平台移植到Excel,实现查表插值算法的完整迁移。通过解析INCA MAP数据结构,设计Excel环境下的双线性插值算法,并提供VBA和C#两种实现方案,帮助工程师高效处理标定数据。文章包含实用代码示例和性能优化技巧,适用于ECU开发与标定场景。

weixin_29313239的博客 412

【Python】使用python遍历文件夹,实现查找指定文件夹下所有相同名称的文件、所有相同后缀名的文件(两种解法)

使用python遍历文件夹,实现查找指定文件夹下所有相同名称的文件、所有相同后缀名的文件

将冲破艾迪i的博客 9488

COMSOL电弧放电仿真:四场耦合与磁流体建模实战指南

多物理场耦合仿真是现代工程中模拟复杂物理过程的重要手段。电弧本质上是电场、磁场、流场与温度场四场相互耦合的非线性系统,其行为由磁流体力学(MHD)方程描述。通过COMSOL等工具构建电弧模型,可准确预测温度分布、流场结构和电极烧蚀,为开关电器设计、等离子体应用等提供数据支撑。在高压电器开断、电弧切割、激光打孔等工程问题中,高效求解MHD耦合模型是关键。然而,电弧仿真涉及物性参数强非线性、边界条件设置、求解器配置以及移动网格处理等挑战。以二维轴对称电弧模型为例,系统梳理磁流体方程落地、多物理场耦合节点配置、收

weixin_30047059的博客 136

Python 实例|遍历目录及其子目录下的指定后缀文件

文件所在路径和文件名的迭代器。

长行 465

State of GPT (ChatGPT 原理及现状介绍)

要用 RLHF 的一个简单的原因就是 RLHF 模型效果更好,下面的图来源于 InstructGPT 论文,PPO (RLHF 算法) 后的模型生成的答案更被人类喜欢。karpathy 认为 RLHF 有用的原因是判别比生成更容易,让标注员去写一些 SFT 的 QA 数据对是比较难的,如果有一个 SFT 模型生成一些数据让标注员判断哪个更好就简单很多。,GPT4 最强,前三个都是 RLHF 模型,其他模型都是 SFT 模型。伯克利做的模型评测榜单。

kebijuelun的博客 3582

AST实战:解密Akamai混淆JS代码的完整流程

本文详细解析了如何使用AST技术解密Akamai混淆的JS代码,包括定位关键代码、AST解混淆实战步骤及常见问题解决方案。通过实际案例演示了从混淆代码到清晰逻辑的完整处理流程,并提供了工具推荐和法律合规建议,帮助开发者有效应对反爬虫技术。

weixin_33725722的博客 325

Python3:遍历文件夹中文件并修改后缀名

公司对安全要求很高,不允许邮件发送代码后缀文件,但是需要用到一些python库,而PC又无法访问外网,不能先把python库文件转换为“.txt”格式的发送了,才有了下面的轮子: #!/usr/bin/env python # -*- coding=utf-8 -*- # coding: utf-8 import os import shutil def show_files(path...

放开那只大熊猫 1392

深入GSConv代码:逐行解析这个混合了标准卷积与深度可分离卷积的‘新算子’

本文深入解析GSConv代码,详细介绍了这个混合标准卷积与深度可分离卷积的‘新算子’的设计哲学与实现框架。通过PyTorch代码逐行分析,揭示GSConv如何在轻量级卷积神经网络中平衡计算效率与特征表达能力,特别适用于Slim-Neck架构,显著降低计算量同时保持高精度。

weixin_29860267的博客 323

Python文件路径操作汇总,获取文件夹下的所有文件路径

在Python编程过程中,我们常常有这样的需求,需要获取某一个文件目录下的所有文件,或获取文件目录下的所有指定后缀名的文件,亦或要求获取该文件所在的文件夹,还有可能需要替换文件名,删除文件夹。针对这些问题,本文系统总结了这些方法,以供大家参考。

Python栈 1万+

基于STM32L4XX、HAL库的TESEO-LIV4FTR定位模块驱动程序设计

支持多星座系统:GPS、GLONASS、Galileo和北斗。支持NMEA 0183协议和ST专有协议。高灵敏度:-167dBm跟踪灵敏度。低功耗设计,适合物联网和便携设备。内置LNA和SAW滤波器。

zhusl6688的博客 238

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Python读取指定目录下的指定后缀文件名列表(批量读取)

一、获取指定目录下、指定后缀的文件名列表 """ 函数说明:获取指定目录下的、指定后缀的文件 例如:.xlsx、.json Parameters: path - 目录所在的路径 例如 path='D:\Python Example\Tianyancha\Data' suffix - 后缀,例如'.xlsx' Returns: input_template...

heda3的博客 1万+

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Python知识点——遍历文件、excel操作、数据合并操作

目录目标问题原始数据最终输出代码内容知识点储备遍历文件概述参数实例注意:excel操作excel读操作注意:代码示例excel 写操作数据处理处理末尾的换行符文件名去重 目标问题 本文中主要是将相同后缀的多个文件合并到excel中,通过此思路可以解决: 完成不同类型的文件向excel的操作。 完成不同sheet的excel操作。 原始数据 1. 文件夹内容 2. 单个文件内容,以14.G11...

Geoffrey_Zflyee的博客 6万+

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Python怎样用Pandas遍历目标文件夹下所有后缀,格式相同的表格数据并按指定条件筛选汇总到一个新的表格

本人是初入Python界的小白,可以说是白中白。因工作需要,批量对数据处理,Get到Python这项小技能格外重要。因避免涉及公司和个人隐私,故举个与本人无关的工作示例和代码,供大家参考,希望大家能交流互相学习。这是我第一篇优快云博客。学习Python的大佬们都知道有2句非常有名的话语,1中1英。以后除了前言,我的博客只会出现这2句话,以‘英’开始,以‘中’结束。 Talk is cheap,show me your code. However,为了让大家更简单易懂代码结构和运行,还是上几张图解释一下。

qq_43129188的博客 1253

python遍历文件夹那些事!

基础需求用 os 模块,兼容所有环境;筛选需求用 glob 模块,模式匹配高效;现代开发用 pathlib 模块,代码优雅简洁。根据 Python 版本、是否需要递归、是否需要筛选文件,选择对应的方式即可 —— 实际开发中,os.walk()(兼容旧环境)和 pathlib.Path.rglob()(Python 3+)是最常用的组合,基本能覆盖所有文件夹遍历场景。

I Promise的博客 1015

python复制特定后缀的文件到指定目录

python复制特定后缀的文件到指定目录 功能:复制目录1125下指定的子目录([“17233”,“17390”])下的ch00ds.nrrd文件,并新建指定子目录文件夹,将其重命名为ch00ds.mean.nrrd后保存 #!/usr/bin/env python3 #编码类型 #-*- coding: UTF-8 -*- #导入包 import os import shutil #srcpath = r"e:/2020/zzzz/" srcpath='X:/ch2/1125'#需要K拷贝的目录 #t

weixin_45850145的博客 424

python获取文件夹下所有图片目录

在python中,笔者认为两块内容很重要,一块是os模块(有些内容挺复杂的),另一部分是正则(基础内容多看看就会了,但是真的去写相关的内容,发现还是有点吃力,比如自己写一个提取网址的)

knighthood2001 9377

Python读取指定文件夹下指定类型数据的文件名并保存到TXT文件中

一、读取路径到指定TXT文件 有31个DEM文件夹,每个文件夹下有3个文件:ASTGTM2_N34E115_dem.tif,ASTGTM2_N34E115_num.tif,README.tif。想读取每个DEM文件夹下的ASTGTM2_N34E115_dem.tif文件。 代码如下: import os # 查询符合条件的文件 f = open(r'D:\ProfessionalProfile\VectorRelevant\GDEMV2_30m_shandong\pathDEM.txt','w

weixin_40501429的博客 1321

python复制图片到另一个文件夹_python按文件名匹配文件,并复制到新文件夹中

工作要处理省文件夹中的数据(带经纬度日期时间),得到带后缀的新的省文件数据。由于某种原因,把很多处理好的数据放到了同一个文件夹里,小伙伴让我按省的原始数据,把生成到文件按省分开。这个工作量呀,这个出错率呀,,所以我决定自己写几行代码,解放我的卡姿兰大眼睛。目的,省文件夹中的文件名字与要整理到文件匹配,匹配成功的结果放到新的文件夹里。第一步,遍历某省文件夹a,提取文件名字(不要后缀);第二...

weixin_36036343的博客 1144

Python——文件路径操作,获取文件夹下的所有文件路径

-结果--'C:\\\\Users\\\\Smile\\\\Desktop\\\\周汇报'7、移除文件夹1.如果使用os.remove(path),此时的文件夹必须是空文件夹,否则会报错。2.如果是非空文件夹,使用shutil.rmtree(path)即可成功删除。对于文件路径的操作主要有:文件路径获取、后缀名获取、获取指定后缀名文件、删除/移动文件、替换文件名、获取文件所在的文件夹、移除文件夹。好了,各位小伙伴,以上就是我们今天这节课学习的内容,请大家有问题及时在评论区留言、讨论。

m0_75193441的博客 3280

Python 读取多个 TXT 文件并提取指定列写入 Excel

本文介绍了批量读取TXT文件并提取指定列数据写入Excel的方法。使用pandas和openpyxl库,支持两种输出方式:合并所有数据到单个Sheet或按文件分Sheet存储。关键步骤包括:安装依赖库、确认TXT文件分隔符、提取指定列数据并处理编码问题。提供了完整代码实现,涵盖参数配置、错误处理和常见问题解决方案(如乱码、列索引越界等)。还介绍了扩展功能如子文件夹遍历、数据去重等优化措施,适用于各种结构化TXT文件的列提取需求。

Datafox(数据狐199-7010-8018) 1107
上一篇: 统计学基础-周计划1
下一篇: python遍历sheet并将处理结果存储到当前工作表中
python_new
博客等级 码龄9年 50粉丝 24原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值