pandas遍历文件夹提取单个文件中的部分列集合

最新推荐文章于 2023-11-25 10:17:48 发布
原创 最新推荐文章于 2023-11-25 10:17:48 发布 · 4.6k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 

import pandas as pd
import numpy as np
import os

InputDir = r'D:\workfile\juanworkfile\R\P'

rootdir = InputDir

sududfInitialWithHeight=pd.read_csv(r'D:\workfile\juanworkfile\R\P\Z_RADA_I_57793_20130628000000_P_WPRD_LC_ROBS.TXT',skiprows=3,header=None,nrows=99,sep=' ').iloc[:,0]
for parent,dirnames,filenames in os.walk(rootdir):

     for filename in filenames:

        df=pd.read_csv(os.path.join(parent,
最低0.47元/天 解锁文章

200万优质内容无限畅学
Pandas遍历一个文件夹里所有excel，同时遍历每个表，其中有个excel处理过程不一样，其他excel处理过程一样，同时对excel里的数据筛选，去除某些符号后的值，填充空值，最后汇总一张表
weixin_44137494的博客
03-27 461
此次代码操作过程中实现了以下功能，遍历文件下所有表，同时遍历表里所有表格，当表为DDD.excel时，处理方法为一种，调用一种函数，当不为它时，用另一种方法处理，处理过程包括对删除列，删除某列为空的行，对某些列的值进行选择，只要逗号后部分的，只要括号里的，删除括号里的内容，对某列空值填充，替换某些列的部分值。总共2个版本，一个函数版的，一个不是函数版的,但是感觉我函数版的写出来更长，还没普通版的好看，可能写太烂了，要是大家能优化一下最好。
pandas 提取某几列_Pandas使用笔记随笔
weixin_39783360的博客
12-05 1650
'''pandas使用规则''' import pandas as pd import numpy as np '''series''' #有两个参数index与values，如果不定义index的话默认从0开始 s1=pd.Series([1,3,5,7,9],index=('a','b','c','d','e')) #给series新增元素 s1['f']=11 print(s1) #%% ...
Python pandas遍历读取文件夹、子文件下所有的excel文件
爱吃干脆面的小潘
03-23 2万+
目录遍历读取代码os.walk()文件目录遍历器 遍历读取代码 前几天收到一个excel拼接预处理的工作，一开始想着拼接能有多难，结果拿到源文件是真崩溃。一个大文件夹杂七杂八揣着若干个小文件夹，excel文件散落各处，而且各个excel文件sheet页的个数和名称也乱七八糟，没有任何规律可循。各个excel表格上充斥着各种人工痕迹，东一榔头西一棒子就是一个先前业务人员插的透视表。总之，是一个非常脏的数据集。 那就暴力遍历法，挨个读吧，先把数据读出来，后续清洗的问题也注定是灾难。 所以接下来的这段代码实现的效
pandas取出某些列
Kp0fS的草稿纸
10-26 854
Python 将文件夹中的图片按一定数量分组批量复制到新的文件夹
wj1298250240的博客
11-02 2267
Python 将文件夹中的图片按一定数量分组批量复制到新的文件夹 为应对，百度网盘每次上传文件不能超过300个，小文件，可用此程序实现分组 #!/usr/bin/env python # encoding: utf-8 import os, glob from shutil import copy def copyFile(file_path, save_dir, count, dir_name): #i是用来计算文件的数量，k是用来计算新建文件夹的数量 i = 0
pandas提取100多个表格部分数据汇总到一个表格里
12-28
此代码片段展示了如何利用循环迭代器访问每个 Excel 文件，通过调用 `read_excel()` 方法只选取感兴趣的列，并将这些部分的数据框追加到总集合里去。最后一步则是运用 `concat()` 函数把这些独立的小型数据帧纵向...
请使用pandas编写代码，功能为从指定文件夹路径批量选择后缀为docx的文件，docx文件中有文字信息、包含合并多行和合并多列的表格以及图片内容，请将docx文件表格内各单元格内的文字信息提取出来并去除重复，然后保存至一个xlsx文件。需要注意的是我希望不处理docx表格中的图片，仅提取文字信息
03-10
好的，我现在需要解决用户的问题，即使用pandas编写代码，从指定文件夹中... """提取单个docx文件所有表格文本""" doc = Document(docx_path) texts = [] for table in doc.tables: for row in table.rows: for...
import os from docx import Document import pandas as pd def extract_table_texts(docx_path, max_rows=30): """提取单个docx文件所有表格的前max_rows行文本""" doc = Document(docx_path) file_texts = [] # 存储当前文件所有表格的前30行文本 for table in doc.tables: table_texts = [] # 遍历表格的每一行，最多取max_rows行 for row_idx, row in enumerate(table.rows): if row_idx >= max_rows: break # 超过30行时停止 row_text = [] for cell in row.cells: text = cell.text.strip() if text: row_text.append(text) # 合并当前行的单元格文本（用逗号分隔） table_texts.append(", ".join(row_text)) # 合并当前表格的文本（用分号分隔不同行） file_texts.append("; ".join(table_texts)) # 合并所有表格的文本（用换行符分隔不同表格） return "\n".join(file_texts) def process_folder(folder_path, output_file="output.xlsx"): """处理文件夹中所有docx文件，每个文件占Excel一行""" data = [] # 遍历文件夹 for filename in os.listdir(folder_path): if filename.lower().endswith(".docx"): file_path = os.path.join(folder_path, filename) try: # 提取文本并添加到数据列表 combined_text = extract_table_texts(file_path) data.append({"文件名": filename, "表格内容（前30行）": combined_text}) except Exception as e: print(f"处理文件 {filename} 时出错: {str(e)}") # 创建DataFrame df = pd.DataFrame(data) # 保存结果（无需去重） df.to_excel(output_file, index=False) return df # 使用示例 if __name__ == "__main__": input_folder = "/path/to/your/documents" # 替换为实际路径 output_file = "extracted_texts.xlsx" result_df = process_folder(input_folder, output_file) print(f"完成！共处理 {len(result_df)} 个文件，已保存至 {output_file}")请改进代码，仅提取docx表格前42行，并且在xlsx中将基数行作一列排列，偶数行作一列排列
03-14
"""提取单个docx文件所有表格的前max_rows行，并分离基数/偶数行""" doc = Document(docx_path) all_odd_tables = [] # 所有表格的基数行集合 all_even_tables = [] # 所有表格的偶数行集合 for table in doc...
从excel表CNI_Hexacorallia中LOCUS_1列的第一行开始，以它其中的数据为文件名，在files_with_segment34_content这个文件夹中查找出相对应的st文件，读取这个st文件，统计文件中包含segment字符的行数记为n1,在表格LOCUS_1列后生成列头Segment Count并将n1填入该列中，再从这个被找到的st文件的第二行开始遍历（记为遍历1），（第一种情况）如果遍历到包含字符H的行，则在Segment Count列后生成列头Segmentn2、列头bp值n2、列头segmentn2_1_range、列头segmentn2_1_序列、列头Hn3_range、列头Hn3_序列、列头segmentn2_2_range、列头segmentn2_2_序列、列头segmentn2(bp)、列头segmentn2+loop(bp),（将新生成的这些列依次记为a1,a2....至a10列）其中n2等于读取的所在行中字符segment的数字部分，例如读取到的行包含字符segment13，则n2=13；其中n3等于读取的所在行中字符H的数字部分，例如读取到的行包含字符H13，则n3=13；同时再将这一行中包含字符bp的数字部分记为b1（例如这一行中包含字符5bp,则b1=5），将这一行第8列的字符串记为b2，将这一行第9列的字符串记为b3,将这一行第2列的字符串记为b4，将这一行第3列的字符串记为b5，将这一行第10列的字符串记为b6，将这一行第11列的字符串记为b7，将这一行第8列的第一个数和最后一个数分别记为c1、c2以及第10列的第一个数和最后一个数分别记为c3、c4，则b8=(c2-c1+1)+(c4-c3+1),b9=c4-c1+1;再将（n2以及b1至b9）依次填入刚才生成的a1至a10列中。（第二种情况）如果遍历到未包含字符H的行，则在segmentn2+loop(bp)列后生成7个新列头，它们的列名依次为Segmentn4、bp值n4、segmentn4_1_range、segmentn4_1_序列、segmentn4_2_range、segmentn4_2_序、segmentn4(bp)，其中n4等于读取的所在行中字符segment的数字部分，例如读取到的行包含字符segment13，则n4=13；同时再将这一行中包含字符bp的数字部分记为d1（例如这一行中包含字符5bp,则d1=5）,将这一行第3列的字符串记为d2，将这一行第4列的字符串记为d3，将这一行第5列的字符串记为d4，将这一行第6列的字符串记为d5，将这一行第3列的第一个数和最后一个数分别记为c1、c2以及第5列的第一个数和最后一个数分别记为c3、c4，则d6=(c2-c1+1)+(c4-c3+1),最后将n4以及d1至d6依次填入刚才新生成的7列中。直至遍历1遍历到这个st文件的最后一行，再从表中LOCUS_1列的第二行开始直至最后一行，最后整合成一个新的表输出，请给出可执行的python代码。
最新发布
06-11
我们将对每个文件处理，然后生成一个大的字典（或列表），将每个文件中遍历1的每一行所提取的信息都记录下来，然后作为原始行（文件对应行）的附加列。但是，为了避免列名冲突以及动态性，我们可以将每个遍历1的行...
数据处理：一个pandas批量读取文件夹的目标数据的示例
NNNightglow的博客
10-13 1556
数据处理：一个pandas批量读取文件夹的目标数据的示例
pandas 选择某几列的方法
09-20
今天小编就为大家分享一篇pandas 选择某几列的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pandas 选取、过滤、新增、对某一列进行操作
qq_45055172的博客
01-12 1万+
Pandas数据选取和过滤的方法总结，区别和注意事项，如何优雅地对某一列数据进行操作
文本分析--遍历文件夹和读写文件
墨竹
04-11 2019
分析： 1、读取指定目录下的所有文件 2、读取指定文件，输出文件内容 3、创建一个文件夹，并将内容放到指定文件中输入文件存放样例： 输入文件夹News_split下的所有文件： 输出文件存放样例： 创建一个文件夹News_split_cut，并将文件保存到文件夹下： 实现：# -*-coding:utf-8-*-import sys import re import codecs im
pandas 读取目录下所有csv文件
ATAOL的博客
11-25 842
使用pandas读取csv文件。# 对读取的数据进行处理或分析。directory = '目录路径'# 判断文件是否为csv文件。# 获取目录下所有文件名。
Python 如何自动遍历文件下所有的文件，然后再对每一个文件夹读取里面的csv文件
qq_32649321的博客
03-16 1932
【代码】Python 如何自动遍历文件下所有的文件，然后再对每一个文件夹读取里面的csv文件。
python办公自动化-1 读取文件夹下的所有文件名
m0_58192074的博客
12-26 954
【代码】python办公自动化-1 读取文件夹下的所有文件名，包括子文件夹下的文件名。
python获取文件夹下所有文件名
OUDUIDUI的博客
02-17 756
import os import pandas as pd filePath = 'E:\\Users\\Administrator\\Desktop\\folder\\' #文件夹路径 fileList = os.listdir(filePath) #获取的数据 column=['fileName'] #csv列标题 test...
遍历文件夹，读取时间命名的文件
u010199776的博客
03-28 1673
平常用到的一些数据文件，经常以时间命名，如“170128.csv”、“170328.csv”等，但是我们想分析一段时间的数据时就需要按照时间选取文件，这时候按170128的数值直接加减并不合适，因为没有170150这类的时间，因此需要按时间戳的加减来选择，时间戳的形式一般为“1/6/17”、“17-01-06”等，与我们存数据的格式不同，因此，我们需要完成时间戳与时间字符串之间的转换。
python Pandas 读取txt表格
热门推荐
邱凯翔 Edward 的个人博客
03-23 7万+
运行环境Python 2.7 操作实例1.原始文本格式：空格分隔的txt,例如 1 2016-03-22 00:06:24.4463094 中文测试字符 2 2016-03-22 00:06:32.4565680 需要编辑encoding 3 2016-03-22 00:06:32.6835965 abc 4 2016-03-22 00:0
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值