python 保存csv,多列

pandas读取csv写入mysql_Pandas操作数据库及保存csv 数据的保存import pandas as pdimport numpy as npfrom pandas import Seriescol_db = [['one',1,2,3,4,np.nan],['two',5,6,8,'world',np.nan],['three',9,10,11,12,'foo']]data = pd.DataFrame(col_db,columns = ['somth... 阅读详情

需求:将多个csv文件读取出来,将数据合并到一个csv文件,
1、遍历文件夹,将scv文件存入到列表list1
2、遍历列表list1读取csv文件,将读到的数据存入到二维列表list2
3、开始处理二维列表:
3.1、因为二维列表里的各个列表长度不一致,首先通过插入空值的方法处理成长度一致的列表
3.2、将列表list2转秩,如果不转秩,将会出现行列交换的现象
3.3、写入到新的csv文件

# coding=utf-8
import pandas as pd
import MySQLdb   
import csv
import random
import pymysql
import pandas as pd
import MySQLdb as mdb
import sys
import time
import os
import numpy as np
import time
import gzip
import datetime

#保存成二维csv
def savecsvfromlisttwo(p_list, p_name):
      m_len =0
      #找到最大长度
      for i in range(len(p_list)):
            tep_len = len(p_list[i])
            if tep_len>m_len:
                  m_len = tep_len
      #把小于最大长度的列表补空值,否则下面转秩的时候会按照最短的来转,会丢失数据
      for i in range(len(p_list)):
            t_len = len(p_list[i])
            for j in range(m_len):
                  if j>t_len:
                        p_list[i].append("")

      #转秩
      L =list(map(list,zip(*p_list)))

      #写入csv  encoding='utf-8-sig'  防止中文乱码
      with open(p_name, 'w', encoding='utf-8-sig', newline='\n') as file_handler:
            file_writer = csv.writer(file_handler)            
            # print(m_list[0])
            file_writer.writerows(L)



def fun1(p_list):
      m_list = []
      for i in range(len(p_list)):
            m_dir  = os.path.dirname(p_list[i]) #输出为 'C:/Users/Desktop/lesson/python'
            m_file = os.path.basename(p_list[i]) #输出为 class1.py

            print("m_dir = ",m_dir)
            print("m_file = ",m_file)

            file_name = os.path.basename(m_file)
            file_name = file_name.split('.')[0]
            print(file_name)

            data1 = np.loadtxt(p_list[i],delimiter=',')
            data1 = data1.tolist()
            print("data1 len = ",len(data1))

            data1.insert(0,file_name)
            #将各个csv文件数据放到二维列表
            m_list.append(data1)
            print(type(data1) , type(m_list))
      savecsvfromlisttwo(m_list , r"D:\3333.csv")


def walkFile_list(file):
    p_list = []
    m_count=0
    for root, dirs, files in os.walk(file):
        for f in files:
            m = os.path.join(root, f)
            ss=os.path.splitext(m)
            a = os.path.basename(m)
            if (".csv" == ss[1]):
                  #获取到所有的csv文件
                  p_list.append(m)
            else:
                pass
    return p_list


def main():
      dir = r"E:\Data"
      m_list = walkFile_list(dir)
      fun1(m_list)

if __name__ =="__main__":
      print("start")
      main()
Python多个列表写入csv 1、假设现有四个列表 list_a = ['张三','李四','王五'] list_b = ['23','36','31'] list_c = ['大学','大专','初中'] list_d = ['2020','2022','2015'] 用zip()函数,接受一系列可迭代对象作为参数,将不同对象中相对应的元素打包成一个元组(tuple),返回由这些元组组成的list列表,如果传入的参数的长度不等,则返回的list列表的长度和传入参数中最短对象的长度相同。 2、先创建一个存放的列表 data_ 阅读详情

相关推荐

python保存数据,使用文本文件(txt)、json、csv保存数据

Python提供了多种保存数据的方式,包括文本文件(txt)、JSON文件和CSV文件。这几种是最简单的保存方式,但也很实用。

博客来源实践 4366

(三)pandas基本使用——读取和保存csv文件

1、是否保留列名 header: Whether to write out the column names (default True) df.to_csv(‘path/Result.csv’,header=0) #不保存列名 2、是否保留行索引 index: whether to write row (index) names (default True) df.to_csv(‘pat...

Haward 7万+

使用Pandas在Python中保存CSV文件:追加内容或同时写入表头和内容

本文将介绍如何使用Pandas在保存CSV文件时实现两个功能:追加内容和同时写入表头和内容。如果文件不存在,或者我们希望每次保存数据时都写入表头和内容,可以使用以下方法。我们可以首先检查文件是否存在,如果不存在,则先保存表头,然后将数据追加到文件中。通过上述两种方法,我们可以根据需要选择是追加内容还是同时写入表头和内容来保存CSV文件。如果文件已经存在,我们可以选择追加内容到已有的文件中。函数将DataFrame对象保存为CSV文件,并设置参数。接下来,我们将介绍两种不同的保存CSV文件的方法。

TechGlide的博客 1027

Python保存和读取csv文件

一、保存csv文件 1.1np.savetxt()函数讲解 np.savetxt(frame, array, fmt='%.18e', delimiter=None) * frame : 文件、字符串或产生器,可以是.gz或.bz2的压缩文件 * array : 存入文件的数组 * fmt : 写入文件的格式,例如:%d %.2f %.18e * delimiter : 分割字符串,默认是任何空格 1.2案例实操 import numpy as np scores=np.random.randi

now 1万+

python删除csv多列数据并生成新csv

#!/usr/bin/env python # -*- coding: utf-8 -*- # @Date : 2021/11/01 # @Author : Lee # @description : # @File : 删除csv多列数据.py # @Software: PyCharm import csv import pandas as pd class clear_list(): def __init__(self): csv.field_size_limit(500 *

JanLEE 703

从FinFET到GAA:手把手解读2nm芯片制造的关键技术(含BSPDN避坑指南)

本文深入解读了2nm芯片制造从FinFET向全环绕栅极(GAA)晶体管架构演进的核心技术,并重点剖析了背面供电网络(BSPDN)的三种实现路径及其工程挑战。文章旨在帮助工程师理解技术变革的内在逻辑,并为应对2nm节点设计中的关键问题提供实用指南。

weixin_29294975的博客 292

python数据读写 panda(to_csv和read_csv)【读取dat文件】【写入dat文件】【非csv文件并且有多列数据时】【np多维数据的快速保存】

python数据读写 panda(to_csv和read_csv)【读取dat文件】【写入dat文件】

张文君的博客 2410

实战解析:如何用Python逆向破解FastMoss的TikTok数据加密签名(附完整代码)

本文详细解析了如何用Python逆向破解FastMoss平台的TikTok数据加密签名机制,包括MD5加密算法和JS逆向分析。通过完整的Python代码示例,帮助开发者理解签名生成原理并实现自动化请求,提升数据获取能力。

weixin_30955617的博客 558

拆分CSV文件的列,CSV文件一列变多列,并存为新的表格文件

可以看到所有的数据都在一行,那么在读取数据后的操作就很不方便,所以就有了将一列CSV拆成多列的需求。4.然后用pandas的DataFrame方法,传入列表,列名,就形成了一个新的DataFrame文件,值得注意的就是一般CSV分割附都是',' ,注意将程序中的'|'改成','就好了。2.将每一行数据用split方法进行分割,返回结果是一个一个的列表,一条数据就是一个列表,3.统一存入另一个列表,形成一个新的二层列表,1.先读取csv文件,然后一行一行的读取,5.最后进行保存就可以了。

qq_39837305的博客 2184

如何在VSCode中无缝集成Azure OpenAI GPT-5-codex?保姆级配置教程

本文详细介绍了在VSCode中无缝集成Azure OpenAI GPT-5-codex的完整配置教程,涵盖环境准备、Azure资源创建、本地配置、VSCode插件安装及高级定制。通过Codex CLI和config.toml文件配置,开发者可快速实现AI辅助编程,大幅提升代码生成、错误诊断和文档编写效率。

weixin_29268637的博客 556

变压器铁心100Hz振动噪声的COMSOL磁致伸缩仿真全流程

磁致伸缩是铁磁材料在磁场作用下发生尺寸变化的现象,也是变压器铁心振动与噪声产生的根本原因。由于应变与磁通密度近似成平方关系,50Hz电网激励下铁心振动基频为100Hz。借助COMSOL多物理场仿真,可将磁场计算结果映射为结构应力和变形,完成“电磁—结构”单向耦合分析。该技术广泛应用于变压器振动噪声预测、结构优化及故障诊断等工程场景。本文从磁致伸缩物理机理出发,系统梳理了材料参数、等效建模、边界条件设置和结果校核等关键步骤,帮助工程师掌握从磁致伸缩到结构变形的完整仿真链路,解决实际工程对标难题。

weixin_33796177的博客 313

使用python办公自动化处理紫外数据-xlwt快速实现将一行转为多行多列

使用python办公自动化处理紫外数据-xlwt快速实现将一行转为多行多列

drbingibng的博客 1000

【小贪】万字长文介绍因果推断和增益模型

本文首先从一个实例出发阐述了因果性不等于相关性,进而引出因果推断和增益模型。然后简单介绍了因果推断的基础内容,并介绍了主要的三类增益模型:元学习、增益直接建模、表示学习,每一类模型都简要介绍了其经典模型。之后介绍了增益模型的评价指标,包括uplift bins、uplift curve和qini曲线。增益模型实际上是一大类模型框架,本质上可以用传统响应模型或其他机器学习模型嵌入增益模型的框架,但是预测结果并不是一个概率,模型评价方式也有变化。训练样本收集增益模型建模强依赖于ab实验,数据要求很高。

打瞌睡_的博客 2506

将python运行结果中一个列表输出成csv格式

将 Python 中的列表输出为 CSV 格式。通常我们会使用csv模块来实现这个功能,或者如果你正在处理二维数据(如列表的列表或字典的列表),也可以使用pandas库,它提供了更简便的方法来操作和保存数据为 CSV 文件。

再来一下! 1495

aic8800出现insmod: can‘t insert ‘/lib/modules/4.9.191/aic8800_fdrv.ko‘: No such device

2、如果单独编译wifi驱动,则把CONFIG_PLATFORM_UBUNTU?= y都改为CONFIG_PLATFORM_ALLWINNER?1、如果把wifi驱动嵌入到内核编译,则在makefile中加入这一句。后面再修改对应平台的交叉编译链和内核吗路径等。

mantouyouyou的博客 510

22、忆阻器、忆阻系统及其神经形态应用综述

本文综述了忆阻器与忆阻系统的理论基础及其在神经形态系统中的广泛应用。从忆阻器的基本定义出发,介绍了其在非线性电路、存储技术、通信和神经形态计算等领域的应用潜力。重点探讨了基于忆阻器的神经元模型(如Hodgkin-Huxley、FitzHugh-Nagumo和Hindmarsh-Rose模型)、突触实现方式及多种忆阻神经网络架构,包括细胞神经网络、脉冲神经网络和递归神经网络等。此外,深入分析了忆阻器在水库计算中的理论研究与硬件实现进展,展示了其在时间序列处理、模式识别和信号预测等方面的优异性能。尽管忆阻技术前

kiwi8的博客 207

取csv文件中的多列保存到新的csv中

文章目录前言一、直接上代码总结 前言 大量csv中并非所有数据都可以为我所用,就需要选择其中的多行多列来简化数据 本次处理是针对多个csv,分别取每个文件的多列,再逐个保存到新的csv中 提示:以下是本篇文章正文内容,下面案例可供参考 一、直接上代码 代码如下 # !/user/bin/env python3 # -*- coding: utf-8 -*- import os import datetime import pandas as pd starttime = datetime.datet

sme2457的博客 2940

python实现MACD策略背离点的判断 (附完整源码)

python实现MACD策略背离点的判断 (附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 666

老鱼Python数据分析——篇七:将爬取的数据保存到CSV文件

使用Python操作CSV文件非常方便,三行代码搞定。 一、向文件中追加数据 import csv # 将数据写入文件 with open("d:\\data.csv", "a", newline="") as cf: w = csv.writer(cf) w.writerow([1001, "北京"]) w.writerow([1002, "上海"]) w...

十方上下 2万+

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

python爬虫——保存数据为.csv文件

爬虫存储数据为.csv文件

weixin_56067972的博客 2万+

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

python保存csv_python将字典保存为csv

广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元!但是现在我将所有的键都放在一行中,并将所有的值放在下一行中。 当我设法写这样的文件时,我也想把它读回到一个新的字典中。 为了解释我的代码,该字典包含textctrls和复选框(使用wxpython)的值和布尔值。 我想添加“保存设置”和“加载设置”按钮。 保存设置应该以上述方式将字典...

weixin_39795292的博客 2390

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

【Python】将字典数据保存为Json文件/CSV文件

每次在写入文件的时候就很头疼,最喜欢写成json文件,因为保存数据的时候,一般都用字典保存数据,然后使用一个json模块,就可以转化为可以保存的字符串了。但是平时除了写入json,还要写入表格里,因为表格可视性好,还有筛选等等强大的功能,所以也会保存一份表格类型。之前喜欢保存Excel格式,但是总有编解码问题,实在太讨厌了!!! 后来随着数据分析的学习,觉得保存csv很方便,而且代码量减少很多,...

May女子の博客 1万+

numpy 保存 csv 文件

方法1 使用numpy包 # save numpy as csv import numpy as np np.savetxt('frame',array,fmt='%d',delimiter=None) #frame: 文件 array:存入文件的数组 # fmt:写入文件的格式,如%d %f %e delimiter:分割字符串,默认空格 #load csv np.loadtxt('frame',dtype=np.int,delimiter=None,unpack=False) # frame:

qq_42732137的博客 2万+

chatgpt赋能python:Python如何保存为CSV文件

CSV(Comma-Separated Values)文件是一种以逗号分隔字段的纯文本文件。每行表示一条记录,每个字段表示记录的一个属性。CSV文件经常用于电子表格和数据库中,因为它们易于处理和交换,同时也可以用文本编辑器打开和编辑。本文由chatgpt生成,文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型,只是展现它原本的实力。对于颠覆工作方式的ChatGPT,应该选择拥抱而不是抗拒,未来属于“会用”AI的人。

findyi123的博客 1532

python保存变量为csv_python excel存储为csv

Python的小数据存储,用什么格式更有逼格?小数据存储我们在编写代码的时候,经常会涉及到数据存储的情况,如果是爬虫得到的大数据,我们会选择使用数据库,或者excel存储。但如果只是一些小数据,或者说关联性较强且存在存储后复用的数据,我们该如何存储呢?使用open保存文本最简单、粗暴+无脑的存储方式就是保存成一个文本文档了。使用open...文章云栖公开课2019-11-281336浏览量pyth...

weixin_39695241的博客 1528
上一篇: csv 保存多个sheet
下一篇: python读取多个sheet的xlsx文件
越甲八千
博客等级 码龄11年 2959粉丝 553原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值