python3用pandas DataFrame保存list数据为csv文件

最新推荐文章于 2024-07-09 16:25:58 发布
最新推荐文章于 2024-07-09 16:25:58 发布
阅读量1w 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： 实用工具
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zengNLP/article/details/97622434
本文介绍了一种利用Python的Pandas库将列表数据转换并保存为CSV文件的方法，详细展示了数据格式及环境配置，包括数据示例、代码实现步骤及最终结果展示。

记录一下保存list数据为csv文件的方法。

数据格式

data = [ [url,title,click_number,html_content,crawl_time], … ]

http://finance.eastmoney.com/yaowen.html,要闻,,,2019-07-28 12:54:30
http://finance.eastmoney.com/a/ccjdd.html,财经导读,,,2019-07-28 12:54:30
http://finance.eastmoney.com/a/ccjxw.html,产经资讯,,,2019-07-28 12:54:31
http://finance.eastmoney.com/yaowen_cgnjj.html,国内经济,,,2019-07-28 12:54:31
http://finance.eastmoney.com/yaowen_cgjjj.html,国际经济,,,2019-07-28 12:54:31
http://finance.eastmoney.com/a/czqyw.html,证券要闻,,,2019-07-28 12:54:31
http://finance.eastmoney.com/company.html,上市公司,,,2019-07-28 12:54:31
http://finance.eastmoney.com/a/czsdc.html,纵深调查,,,2019-07-28 12:54:31
http://finance.eastmoney.com/a/crdsm.html,热点扫描,,,2019-07-28 12:54:31
http://finance.eastmoney.com/pinglun_cjjsp.html,经济时评,,,2019-07-28 12:54:32
http://finance.eastmoney.com/pinglun_ccyts.html,产业透视,,,2019-07-28 12:54:32
http://finance.eastmoney.com/pinglun_csygc.html,商业观察,,,2019-07-28 12:54:32
http://finance.eastmoney.com/pinglun_cgspl.html,股市评论,,,2019-07-28 12:54:32
http://finance.eastmoney.com/a/201907281190069120.html,人民日报钟声：故技重演不得人心,145927,,2019-07-28 12:55:03
http://finance.eastmoney.com/a/201907281190068761.html,二季度小微贷款余额同比增22.5%,4013,,2019-07-28 12:55:04
http://finance.eastmoney.com/a/201907271190034954.html,805份年度财报大抽查证监会揪“猫腻”,37365,,2019-07-28 12:55:05
http://finance.eastmoney.com/a/201907281190069235.html,29家企业IPO遭中止（附名单）,204087,,2019-07-28 12:55:06

环境

  • Ubuntu16.04
  • pandas
    pip install pandas

方法

import pandas as pd

data = [ ['http://finance.eastmoney.com/yaowen.html', '要闻', '', '', '2019-07-28 12:54:30'],  
			... ]

#保存数据
columns = ['url', 'title', 'click_number', 'html_content', 'crawl_time']
df = pd.DataFrame(columns = columns, data = data)
df.to_csv('data.csv', encoding='utf-8')
print('data_len:', len(data))

结果

查看前10行： head -10 ‘data.csv’

,url,title,click_number,html_content,crawl_time
0,http://finance.eastmoney.com/yaowen.html,要闻,,,2019-07-28 12:54:30
1,http://finance.eastmoney.com/a/ccjdd.html,财经导读,,,2019-07-28 12:54:30
2,http://finance.eastmoney.com/a/ccjxw.html,产经资讯,,,2019-07-28 12:54:31
3,http://finance.eastmoney.com/yaowen_cgnjj.html,国内经济,,,2019-07-28 12:54:31
4,http://finance.eastmoney.com/yaowen_cgjjj.html,国际经济,,,2019-07-28 12:54:31
5,http://finance.eastmoney.com/a/czqyw.html,证券要闻,,,2019-07-28 12:54:31
6,http://finance.eastmoney.com/company.html,上市公司,,,2019-07-28 12:54:31
7,http://finance.eastmoney.com/a/czsdc.html,纵深调查,,,2019-07-28 12:54:31
8,http://finance.eastmoney.com/a/crdsm.html,热点扫描,,,2019-07-28 12:54:31
9,http://finance.eastmoney.com/pinglun_cjjsp.html,经济时评,,,2019-07-28 12:54:32
【Python】数据分析：结构化数分工具 Pandas | Series 与 DataFrame | 读取CSV文件数据
有道无术, 术尚可求。有术无道, 止于术。
12-03 3506
本章为基础前置，将介绍 Python 经典结构化分析工具 Pandas，掌握 Series 与 DataFrame 的用法，并学习如何使用 CSV 读取文件数据，为后续实战练习打下厚实的基础。
Python 将 List 导出为 CSV 文件
GISer and Coder
12-02 2686
利用 Python 的 pandas 包可以实现将 List 导出为 CSV 文件 import pandas as pd list = [[1,2,3], [4,5,6], [7,8,9], [10,11,12]] title = [‘col1’, ‘col2’, ‘col3’] try = pd.DataFrame(columes=title, data=list) try.to_csv(‘dir’)
python+pandas 保存list到本地excel
热门推荐
liuzh的博客
03-12 7万+
import pandas as pd def deal(): # 列表 company_name_list = ['腾讯', '阿里巴巴', '字节跳动', '腾讯'] # list转dataframe df = pd.DataFrame(company_name_list, columns=['company_name']) # 保存到本...
解决pandas无法读取每行列数不同的csv文件
Python，数据分析，机器学习，深度学习
08-09 3991
1. 遍历csv的每行长度，找到最大长度；2. 以最大长度定义整体csv列数。
pandas之DataFrame类型文件保存
qq_21840201的博客
12-16 5698
详细官网文档： https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.to_csv.html
pandas存储数组，再次读取数组元素格式不再是list而是str?
weixin_41479099的博客
03-28 5897
pandas存储数组，再次读取数组元素格式不再是list而是str? 问题描述 当我们有一组数组数据，且数组中的元素为list格式，使用 pandas存取成csv文件后，再次读取，可以使用tolist将读取的数组转化成list，然而我们发现该list中的元素已经不再是原始的list格式，而是 str格式。无法转换格式，所以我直接把它当成字符串通过正则表达式来还原它原来的格式。
Python 利用pandas处理CSV文件（DataFrame的基础用法）
最简单的方法，解决最实际的问题。
07-09 2万+
pandas是一个第三方数据分析库，其集成了大量的数据分析工具，可以方便的处理和分析各类数据。
Python Pandas将 DataFrame 转换为列表
涛哥聊Python
02-25 1918
DataFrame 是 Pandas 中最常用的数据结构之一，它类似于电子表格或 SQL 表，可以存储二维数据，并且可以轻松处理不同类型的数据。DataFrame 由行和列组成，每一列可以是不同的数据类型（整数、浮点数、字符串等）。本文介绍了如何使用 Pandas 将 DataFrame 转换为列表，并提供了多种方法的示例代码。了解如何将 DataFrame 转换为列表可以帮助我们更灵活地处理和分析数据，并且可以与其他库或模块进行无缝集成。
(6) 深入探索Python-Pandas库的核心数据结构：DataFrame全面解析
码界领航的Cherry Yang的博客
07-06 3860
# 1. DataFrame 简介 `DataFrame` 是 pandas 库中最重要的数据结构之一，它用于存储和操作二维标签化的数据结构（即表格型数据）。它的强大功能、灵活性以及易用性，使其成为数据分析领域的重要工具。 在 DataFrame 中，我们可以拥有行（`index`）和列（`columns`），每个单元格可以包含任何数据类型（如整数、浮点数、字符串、Python 对象等）。 # 2. DataFrame的特点 - **二维标签化数据结构**： DataFrame是一个二维表格型数据结构，具
使用pandas将DataFrame数据导出保存到文件中的方法
最新发布
07-12
Pandas 是 Python 数据工作的核心库。先用 import pandas as pd 等语句载入所需包。 构建示例：names=['Bob','Jessica','Mary','John','Mel']，births=[968,155,77,578,973]，用 zip 组合后转成 DataFrame： df = pd...
61_Pandas中将列表存储和处理为 pandas 中的元素
qq_18351157的博客
05-14 2859
作为 pandas.DataFrame 的一个元素，Series，你可以存储列表，这是 Python 的内置类型。例如，对于由分隔符分隔的字符串，列出它们可能比用字符串方法处理它们更方便。在此，对以下内容进行说明。以下面的 pandas.DataFrame 为例。
pandas存储列表却变成字符串的解决办法
月亮不亮的博客
09-03 2117
在使用pandas时，当想要存储列表在某一行中的某一列，但读取时发现变成了字符串 解决办法：用pickle形式存储即可 存储：data.to_pickle(’./##.pickle’) 读取：pd.read_pickle(’./##.pickle’)
pandas读取csv将数据转为list方便调用
Anrys的博客
04-04 5338
DataFrame转为list import pandas as pd import numpy as np corpus = pd.read_csv('corpus.csv') # 得到 DataFrame corpus = np.array(corpus) # 转换为 ndarray [[1], [2], [3]] corpus = corpus.reshape(1, len(corpus)).tolist() # 转换成 List [[1, 2, 3]] corpus = corpus[0]
python地图学习
weixin_43914278的博客
11-19 380
在这里插入代码片 ```from pyecharts.charts import Map, Geo from pyecharts import options as opts import requests import json # &callback=jQuery35109954929483789403_1605576147763&_=1605576147764 res = requests.get('https://i.snssdk.com/toutiao/normandy/pneu
Python3 pd.dataframe写入csv和xlsx
Never Settle
01-18 3767
Python3 pd.dataframe写入csv和xlsx。代码如下： df = pd.DataFrame( columns={'dist','distance','409','425', '442', '458', '474', '491', '507', '523', '540', '556','572', '589', '605', '621', '637', '653', '670', '686', '703', '719', '735', '751', '768', '784','80
python：dataframe保存成csv文件和读取
qq_22613769的博客
08-03 2万+
一、从csv文件读取数据为dataframe 函数原型： pandas.read_csv(filepath_or_buffer, sep=', ', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=
【python处理过程中的数据另保存为CSV文件】
qq_53345386的博客
10-25 7197
##保存csv文件1 dataframe = pd.DataFrame({‘ID’:test_index,‘PRICE’: y_pred}) dataframe = pd.DataFrame({‘PRICE’: test_index}) dataframe.to_csv(“test12.csv”,index=False,sep=’\n’) ##保存csv文件2 dataframe = pd.DataFrame({‘data’:DATA, ‘score’: score}) dataframe = pd.Dat
使用python读取和保存为excel、csv、txt文件以及对DataFrame文件的基本操作
weixin_45928096的博客
04-08 3万+
使用python读取和保存为excel、csv、txt文件以及对DataFrame文件的基本操作 读取excel文件并将其内容转化为矩阵形式。 对DataFrame文件的基本操作包括DataFrame的创建（dict进行创建，也可以读取csv或者txt文件）、DataFrame轴的概念和DataFrame一些性质（索引、切片；修改数据；算数运算；函数应用和映射；排序和排名；汇总和计算描述统计；处理缺失数据 Dataframe中的Series是什么？......
Python编程语言学习：将多个列表数据保存为dataframe格式数据并按照指定列进行降序排序之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-01 2040
Python编程语言学习将多个列表数据保存为dataframe格式数据并按照指定列进行降序排序之详细攻略。
Python怎么保存dataframe为csv文件
07-02
<think>我们正在讨论如何使用Python将DataFrame导出为CSV文件。根据引用，特别是引用[1]和[3]，我们知道使用pandas库的`to_csv`方法是主要方式。引用[2]也提到了将列表转换为DataFrame再导出为CSV的方法。因此，我们需要介绍以下步骤：1.导入pandas库2.创建一个DataFrame（可以是直接创建，也可以从其他数据结构转换而来） 3.使用`to_csv`方法将DataFrame保存为CSV文件同时，引用[3]提到性能问题，对于大型DataFrame，我们可以通过一些参数设置来提高导出速度。具体步骤：-导入pandas-创建DataFrame（示例数据） -使用df.to_csv()保存，并介绍常用参数（如文件路径、索引、编码、分隔符等） 另外，注意引用[1]中提到的示例，以及引用[2]中如何将列表转为DataFrame。 我们还需要注意中文字符的编码问题（通常使用utf-8，但有时需要指定gbk）。最后，生成相关问题。</think>### Python 将 DataFrame 导出为 CSV 文件的方法 使用 Pandas 库的 `to_csv()` 方法是导出 DataFrame 到 CSV 文件的最常用方式，以下是详细步骤和优化技巧： #### 基础方法 ```python import pandas as pd # 创建示例 DataFrame data = {&#39;姓名&#39;: [&#39;张三&#39;, &#39;李四&#39;], &#39;年龄&#39;: [25, 30], &#39;身高&#39;: [180, 175]} df = pd.DataFrame(data) # 导出到 CSV（默认参数） df.to_csv(&#39;basic_data.csv&#39;) # 默认保存到当前目录 ``` #### 关键参数详解 1. **路径与文件名** ```python df.to_csv(&#39;C:/data/output.csv&#39;) # 指定完整路径 ``` 2. **编码设置**（处理中文必备） ```python df.to_csv(&#39;data.csv&#39;, encoding=&#39;utf-8&#39;) # 推荐UTF-8 # df.to_csv(&#39;data.csv&#39;, encoding=&#39;gbk&#39;) # 中文系统兼容 ``` 3. **索引控制** ```python df.to_csv(&#39;no_index.csv&#39;, index=False) # 不保存行索引[^1] ``` 4. **表头处理** ```python df.to_csv(&#39;no_header.csv&#39;, header=False) # 不保存列名 ``` #### 高级用法 1. **自定义分隔符** ```python df.to_csv(&#39;tab_separated.csv&#39;, sep=&#39;\t&#39;) # 制表符分隔[^2] ``` 2. **选择导出列** ```python df.to_csv(&#39;selected_columns.csv&#39;, columns=[&#39;姓名&#39;, &#39;年龄&#39;]) ``` 3. **空值处理** ```python df.to_csv(&#39;na_filled.csv&#39;, na_rep=&#39;NULL&#39;) # 替换空值为NULL ``` #### 性能优化（大数据量） ```python # 分块写入（适合百万级数据） for i, chunk in enumerate(pd.read_csv(&#39;big_data.csv&#39;, chunksize=10000)): chunk.to_csv(f&#39;chunk_{i}.csv&#39;, index=False) # 禁用索引和类型推断加速 df.to_csv(&#39;optimized.csv&#39;, index=False, infer_datetime_format=False)[^3] ``` #### 其他格式转换 ```python # 列表直接转CSV（无需显式创建DataFrame） data_list = [[&#39;张三&#39;, 25], [&#39;李四&#39;, 30]] pd.DataFrame(data_list, columns=[&#39;姓名&#39;,&#39;年龄&#39;]).to_csv(&#39;from_list.csv&#39;) ``` > **注意事项**： > 1. 路径使用正斜杠 `/` 避免转义问题 > 2. 中文环境推荐 `encoding=&#39;utf_8_sig&#39;` 解决Excel乱码 > 3. 大数据导出时监控内存使用，避免溢出
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

szZack

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值