python 保存csv,多列

需求:将多个csv文件读取出来,将数据合并到一个csv文件,
1、遍历文件夹,将scv文件存入到列表list1
2、遍历列表list1读取csv文件,将读到的数据存入到二维列表list2
3、开始处理二维列表:
3.1、因为二维列表里的各个列表长度不一致,首先通过插入空值的方法处理成长度一致的列表
3.2、将列表list2转秩,如果不转秩,将会出现行列交换的现象
3.3、写入到新的csv文件

# coding=utf-8
import pandas as pd
import MySQLdb   
import csv
import random
import pymysql
import pandas as pd
import MySQLdb as mdb
import sys
import time
import os
import numpy as np
import time
import gzip
import datetime

#保存成二维csv
def savecsvfromlisttwo(p_list, p_name):
      m_len =0
      #找到最大长度
      for i in range(len(p_list)):
            tep_len = len(p_list[i])
            if tep_len>m_len:
                  m_len = tep_len
      #把小于最大长度的列表补空值,否则下面转秩的时候会按照最短的来转,会丢失数据
      for i in range(len(p_list)):
            t_len = len(p_list[i])
            for j in range(m_len):
                  if j>t_len:
                        p_list[i].append("")

      #转秩
      L =list(map(list,zip(*p_list)))

      #写入csv  encoding='utf-8-sig'  防止中文乱码
      with open(p_name, 'w', encoding='utf-8-sig', newline='\n') as file_handler:
            file_writer = csv.writer(file_handler)            
            # print(m_list[0])
            file_writer.writerows(L)



def fun1(p_list):
      m_list = []
      for i in range(len(p_list)):
            m_dir  = os.path.dirname(p_list[i]) #输出为 'C:/Users/Desktop/lesson/python'
            m_file = os.path.basename(p_list[i]) #输出为 class1.py

            print("m_dir = ",m_dir)
            print("m_file = ",m_file)

            file_name = os.path.basename(m_file)
            file_name = file_name.split('.')[0]
            print(file_name)

            data1 = np.loadtxt(p_list[i],delimiter=',')
            data1 = data1.tolist()
            print("data1 len = ",len(data1))

            data1.insert(0,file_name)
            #将各个csv文件数据放到二维列表
            m_list.append(data1)
            print(type(data1) , type(m_list))
      savecsvfromlisttwo(m_list , r"D:\3333.csv")


def walkFile_list(file):
    p_list = []
    m_count=0
    for root, dirs, files in os.walk(file):
        for f in files:
            m = os.path.join(root, f)
            ss=os.path.splitext(m)
            a = os.path.basename(m)
            if (".csv" == ss[1]):
                  #获取到所有的csv文件
                  p_list.append(m)
            else:
                pass
    return p_list


def main():
      dir = r"E:\Data"
      m_list = walkFile_list(dir)
      fun1(m_list)

if __name__ =="__main__":
      print("start")
      main()
### 使用Python按列写入CSV文件 为了实现按照列的方式向CSV文件中写入数据,可以利用`csv`模块或是更强大的`pandas`库。下面分别展示这两种方式的具体做法。 #### 方法一:使用内置的 `csv` 模块 当采用标准库中的`csv`模块时,通常会先准备每一行的数据作为列表形式,即使目标是以列为单位写入也需转换成逐行列的形式。不过对于简单的场景这不失为一种有效的方法[^2]。 ```python import csv data = [ ['header1', 'header2'], ['value1_row1', 'value2_row1'], ['value1_row2', 'value2_row2'] ] with open('output.csv', mode='w', newline='') as file: writer = csv.writer(file) # 写入表头和数据行 for row in data: writer.writerow(row) ``` 这种方法适合少量固定数量的列的情况;如果要动态增加更多列,则可能需要额外逻辑调整输入结构以适应writerow的要求。 #### 方法二:借助 `pandas` 库简化操作 相比之下,`pandas`提供了更为直观的方式来处理表格型数据集。可以直接构建DataFrame对象并将整个数据框一次性保存CSV文件里,其中每列对应一个键值对[^3]。 ```python import pandas as pd # 创建字典表示各列及其对应的数值序列 column_data = { 'ColumnA': [10, 20, 30], 'ColumnB': ['alpha', 'beta', 'gamma'] } df = pd.DataFrame(column_data) # 将DataFrame写出至CSV文件,不保留索引 df.to_csv('columns_output.csv', index=False, sep=',') ``` 此法不仅简洁明了而且易于扩展——只需修改字典即可轻松管理任意数目的列。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值