Pandas：外部文件数据导入/ 读取 （如 ：csv、txt、tsv、dat、excel文件）、文件存储（to_csv、to_excel）...

最新推荐文章于 2024-09-03 15:13:46 发布
转载 最新推荐文章于 2024-09-03 15:13:46 发布 · 1.4k 阅读 · 6 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/wodexk/p/10315290.html
文章标签：

#python

本文详细介绍了如何使用Pandas库读取和存储文本文件，包括csv、txt、tsv、dat以及Excel文件。重点讲解了read_table、read_csv、read_excel以及to_csv和to_excel函数的使用方法和常见参数，对于数据处理和文件操作非常实用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 一、文本文件读取

文本文件是一种由若干行字符构成的计算机文件，它是一种典型的顺序文件。

csv是一种逗号分隔的文件格式，因为其分隔符不一定是逗号，又被称为字符分隔文件，文件以纯文本形式存储表格数据（数字和文本）。

1、使用read_table来读取文本文件：
格式：pandas.read_table(数据文件名, sep=’\t’, header=’infer’, names=None,index_col=None, dtype=None, engine=None, nrows=None)
sep=’\t’：表示文件的是以制表符\t为分隔（即用Tab键来分隔）

 

2、使用read_csv函数来读取csv、tsv、txt文件：

格式：pandas.read_csv(数据文件名, sep=’,’, header=’infer’, names=None, index_col=None,dtype=None, engine=None, nrows=None)

3、read_table和read_csv常用参数及其说明：

 

补充理解：

（1）read_table和read_csv函数中的sep参数是指定文本的分隔符的，如果分隔符指定错误，在读取数据的时候，每一行数据将连成一片。
（2）header参数是用来指定列名的，如果是None则会添加一个默认的列名。
（3）encoding代表文件的编码格式，常用的编码有utf-8、utf-16、gbk、gb2312、gb18030等。如果编码指定错误数据将无法读取，IPython解释器会报解析错误。

 代码:

import pandas as pd

print("----------用pd.read_table()获取dat文件数据----------"<
最低0.47元/天 解锁文章

200万优质内容无限畅学
数据科学必备技巧：Pandas读取外部文件与数据处理
北天的博客
03-14 1726
Pandas包除了提供序列、数据框的数据存储及操作方法之外，还提供丰富的函数，比如一些常用的数据计算及处理函数，包括滚动计算函数、数据框合并函数、数据框关联函数等。
python读取dat文件写入表格_在python中从.dat文件读取和执行计算
weixin_39790168的博客
11-23 1197
我需要用python读取一个.dat文件，它总共有12列，数百万行。我需要把第2、3和4栏和第1栏分开计算。所以在加载.dat文件之前，是否需要删除所有其他不需要的列？如果没有，如何有选择地声明列并要求python进行计算？.dat文件的一个例子是data.dat我对python还不熟悉，所以有点关于打开、阅读和计算的指导会很感激。我已经根据您的建议添加了我作为初学者使用的代码：from sys ...
pandas数据存储读取read_csv(), to_csv(),read_excel(), to_excel()(常用方法，例子丰富)
Light2077
11-05 4396
核心思想：方法精简例子丰富 经常用到pandas数据文件的保存和读取方法，如果每次忘了都去查官方文档还蛮麻烦的。所以我这里整理了两个常用数据格式文件的存取方法。 其中介绍到的参数使用技巧都是常用的，避免介绍一些冷门的，听了以后也几乎用不到的东西。 如果我日后接触到更多的数据格式存取，或者又学会了其他实用技巧，本文还会更新。 CSV文件的保存和读取 如果以下参数使用方法你都会了，之后的内容就不用看...
Python基础 _Pandas_csv、excel文件操作
2302_76951580的博客
09-03 997
函数将 DataFrame 写入 Excel 文件。函数将 DataFrame 写入 CSV 文件。Pandas 允许在同一个 Excel 文件中操作多个工作表。函数来读取 Excel 文件。Pandas 提供了多种方法来处理缺失值。Pandas 允许根据条件对数据进行筛选。函数读取 CSV 文件。可以在同一个文件中写入多个工作表。进行数据分组，并应用聚合函数。参数指定要读取的多个工作表。Pandas 可以通过。可以生成数据透视表。
python读取dat文件写入表格_Python对CSV、Excel、txt、dat文件的处理
weixin_33364018的博客
02-04 1505
python读取txt文件：(思路：先打开文件，读取文件，最后用for循环输出内容)1、读取1.1基于python csv库#3.读取csv至字典x,yimport csv# 读取csv至字典csvfile = open(r'g:\训练小样本.csv', "r")reader = csv.reader(csvfile)#print(reader)# 建立空字典result = {}i=0for i...
python将成绩写入文件_Python练习【6】【数据库操作 | 文件读写】
weixin_39624429的博客
11-24 1630
1. 面向对象，文件操作与数据库操作复习题目:文件score.dat中保存的是100名学生的姓名和Python课、高数和英语成绩。（1）定义学生类，其中包含姓名、Python课、高数和英语成绩及总分、均分数据成员，成员函数根据需要确定。（2）读入这名学生的成绩，用对象列表进行存储。（3）求出各科和总分的最高分。（4）请按总分的降序（高成绩在前，低成绩在后）排序（5）在屏幕上显示各科及总分的最高分，...
python读取dat文件写入表格_Pandas：外部文件数据导入/ 读取 （如 ：csv、txt、tsv、dat、excel文件）、文件存储（to_csv、to_excel）...
weixin_39525243的博客
11-21 953
一、文本文件读取文本文件是一种由若干行字符构成的计算机文件，它是一种典型的顺序文件。csv是一种逗号分隔的文件格式，因为其分隔符不一定是逗号，又被称为字符分隔文件，文件以纯文本形式存储表格数据（数字和文本）。1、使用read_table来读取文本文件：格式：pandas.read_table(数据文件名, sep=’\t’, header=’infer’, names=None,index_col...
chipotle.tsv-数据集
03-26
CSV是一种广泛接受的格式，许多数据分析工具如Excel、Python的Pandas库等都支持直接读取。CSV文件以逗号作为字段分隔符，便于数据导入和分析。 分析这样的数据集时，首先需要加载数据并查看前几行，了解数据的基本...
python pandas 对时间序列文件处理的实例
09-20
`loadDataSet`和`getShopData`函数在本例中没有涉及时间序列处理，但它们提供了读取其他类型数据文件的方法，如从TSV文件加载数据并将其转换为矩阵格式，以及读取商店信息文本文件。 时间序列分析在金融、物联网、...
pandas 提取大于某值的数据_Pandas 数据处理(二) ——条件筛选与排序！
weixin_39626180的博客
01-14 4260
Pandas 基础练习(二) —— 数据条件选择与排序！上一篇文章介绍了 Pandas 的基本函数的使用方法，这篇文章主要介绍 Pandas 的条件筛选和排序功能，同样也是借助于一个小案例！1，读入数据先利用 read_csv() 函数 把数据都进来，这个数据是一个商品类目的数据，里面有 quantity(类)、name(名字)、description(描述)、price(价格)等几个属性：imp...
【Pandas】Pandas处理Csv和Excel数据详解
小白兔的窝
07-31 1341
作者：Zarten知乎专栏：python数据分析与挖掘深入详解知乎ID：Zarten简介： 互联网一线工作者，尊重原创并欢迎评论留言指出不足之处，也希望多些关注和点赞是给作者最好的鼓励 ！ 概述 通过pandas处理数据时，数据从何而来呢？基本都是从外部获取的，如纯文本文件、excel、数据库、网页等，所以从外部导入数据的重要性不言而喻。 这篇文章将介绍导入csv和excel文件为Pandas的DataFrame对象。 导入CSV文件 csv文件类型实际是文本文件，由于文本文件没有固定的格式.
Python对CSV、Excel、txt、dat文件的处理
12-25
python读取txt文件：(思路：先打开文件，读取文件，最后用for循环输出内容) 1、读取 1.1基于python csv库 #3.读取csv至字典x,y import csv # 读取csv至字典 csvFile = open(r'G:\训练小样本.csv', "r") reader = csv.reader(csvFile) #print(reader) # 建立空字典 result = {} i=0 for item in reader: if reader.line_num==1: continue result[i]=item i=i+1 # 建立空字典 j=0 xx
pandas 保存数据到excel,csv
呆萌的代Ma
03-05 3万+
pandas 保存数据比较简单: writer = pd.ExcelWriter('文件保存路径') #columns参数的顺序就是excel的列顺序 #df为需要保存的DataFrame df.to_excel(writer, columns=['save1','save2'], index=False,encoding='utf-8',sheet_name='Sheet1') #生成csv......
pandas读取tsv大文件(GB)方法
.
09-08 6525
TSV文件和CSV的文件的区别是：前者使用\t作为分隔符，后者使用,作为分隔符。 使用pandas读取tsv文件的代码如下： train=pd.read_csv('test.tsv', sep='\t') 如果已有表头，则可使用header参数： train=pd.read_csv('test.tsv', sep='\t', header=0) 如果已有主键列： train=pd.read_csv('test.tsv', sep='\t', header=0, index_col='id') 在读取一
c/c++ csvTXTdat等类型文件输入输出
mandiheyanyu的博客
11-29 1624
1 将控制台输入输出整体改为文件输入输出 数据输入和正常在控制台的时候相同，该空格空格该回车回车，输入输出这两句可以分开用，没有这个设置的话默认还是在控制台输入或输出，在main的最开头加上这两行，后边的代码可以正常书写。 相对路径为该程序编译后生成的exe的所在位置，可改为绝对路径。 #include <stdio.h> int main(){ freopen("in.csv","r",stdin); //读入in.csv文件 freopen("out.csv","w",stdou
python读取dat文件并保存为Excel格式
qq_32649321的博客
09-24 4233
python读取dat文件并保存为Excel格式: import pandas as pd df = pd.read_csv('file path/file.dat',sep=' ',header=0,names=["N1", "N2", "N3"]) df.to_excel('save path /filename.xlsx', index = False)
pandas读取大文件tsv方法
fVector的博客
01-06 3219
import pandas as pd df = pd.read_csv("test.tsv", dilimiter = '\t') tsv文件与csv文件的区别为前者是以\t为分隔符，后者是以,为分隔符，所以读取tsv文件时，只需要把分隔符dilimiter设置为\t即可
【Python】Pandas读取tsv文件
热门推荐
zgljl2012的专栏
01-19 8万+
TSV文件和CSV的文件的区别是：前者使用\t作为分隔符，后者使用,作为分隔符。 使用pandas读取tsv文件的代码如下： train=pd.read_csv('test.tsv', sep='\t') 如果已有表头，则可使用header参数： train=pd.read_csv('test.tsv', sep='\t', header=0) 如果已有主键列： train
python利用read_table和read_csv和open读取dat文件
weixin_46713695的博客
06-28 1万+
python读取dat文件案例详解
pd.readcsv（） 方法能读什么文件
最新发布
06-21
<think>我们正在讨论pandas中pd.read_csv方法支持的文件类型及格式。根据引用内容，pd.read_csv主要用于读取CSV文件，但pandas实际上支持多种文件格式。虽然用户的问题聚焦于read_csv，但为了全面性，我们可以简要提及pandas支持的其他文件格式，但重点还是说明read_csv所支持的文件类型（因为read_csv本身是专门为CSV设计的，但通过参数调整可以处理一些变体）。根据引用[2]：“Pandas支持各种类型的文件格式的读写操作例如：csv、txt、json、execl等，实际工作中一般以CSV文件格式为主，大部分时间使用的函数为read_csv函数，少部分json数据格式使用read_json，对于大多数情况下的结构化数据通过read_csv读取数据并对其进行处理，execl有其他的read_execl函数。”这里明确提到，read_csv函数主要用于CSV文件。但是，我们也要注意，有时非标准扩展名的文本文件（如.txt）如果内容格式符合CSV，也可以使用read_csv读取。因此，我们可以这样组织回答：1.明确read_csv的主要设计目标：读取CSV（逗号分隔值）文件。2.说明read_csv通过参数调整可以处理哪些变体（例如不同的分隔符、不同的引号规则等）。3.提及read_csv可以读取的文件类型（不仅仅是.csv后缀的文件，只要内容格式符合，包括.txt等）。4.注意：虽然pandas有其他读取函数（如read_json,read_excel），但read_csv不支持这些格式。具体回答结构：-开头点题：pd.read_csv主要用于读取CSV格式文件，但也支持其他分隔符分隔的文本文件。-支持的文件格式（扩展名）：虽然通常用于.csv文件，但实际上可以读取任何文本文件（如.txt，.tsv等），只要其内容是以分隔符（默认为逗号）分隔的表格数据。-支持的格式变体：通过参数调整，可以处理不同的分隔符（如制表符）、不同的引号约定、不同的编码等。-注意事项：read_csv不能直接读取非文本文件（如Excel、JSON），这些需要其他函数。然后，我们可以给出一些示例代码，展示如何读取不同格式的文件。最后，生成相关问题。引用文献标注：在回答中，我们引用了用户提供的引用[2]和[3]，所以要在相应位置标注。注意：用户提供的引用[1]和[3]主要是关于read_csv的参数使用，虽然不直接回答文件类型，但我们可以利用它们来说明read_csv的灵活性（通过参数处理不同格式）。回答大纲：1.直接回答支持的文件类型：CSV及其变体（如TSV）。2.通过参数扩展支持的文件格式（实际上是数据格式的变体）：-分隔符：sep参数（可以指定为制表符、分号等，从而支持TSV或分号分隔的文件）-文件编码：encoding参数（支持不同编码的文本文件）-无表头或自定义表头：header,names参数-处理复杂格式：quotechar（引号字符），comment（注释字符）等3.示例：读取CSV、TSV、自定义分隔符的文件。4.注意事项：read_csv不能读取二进制文件（如Excel），也不能直接读取JSON、XML等。代码示例：```python#读取标准的CSV文件df_csv=pd.read_csv('data.csv')#读取制表符分隔的文件（TSV），使用sep参数df_tsv=pd.read_csv('data.tsv',sep='\t')#读取分号分隔的文件，且文件编码为gbkdf_semicolon=pd.read_csv('data.txt',sep=';',encoding='gbk')#读取无表头的文件，并指定列名df_no_header=pd.read_csv('data.csv',header=None,names=['col1','col2','col3'])```生成相关问题：1.如何使用pd.read_csv读取以空格分隔的数据文件？2.当CSV文件包含中文时，如何正确设置编码参数避免乱码？3.pandas中除了read_csv，还有哪些常用的数据读取函数？</think>### `pd.read_csv()` 支持的文件类型及格式详解 `pd.read_csv()` 是 Pandas 库中最核心的数据读取函数，专门设计用于处理结构化文本数据。尽管函数名包含 "CSV"，但其通过参数扩展可支持多种文件格式和数据结构。以下是全面解析： #### 一、直接支持的文件类型 1. **标准 CSV 文件** - 扩展名：`.csv` - 特征：逗号分隔的纯文本文件 ```python df = pd.read_csv("data.csv") # 基本读取 ``` 2. **自定义分隔符的文本文件** - 扩展名：`.txt`, `.dat`, `.tsv` 等 - 通过 `sep`/`delimiter` 参数支持： ```python # TSV文件（制表符分隔） df = pd.read_csv("data.tsv", sep='\t') # 分号分隔文件 df = pd.read_csv("data.txt", sep=';') ``` 3. **压缩文件** - 支持格式：`.gz`, `.bz2`, `.zip`, `.xz` - 自动解压读取： ```python df = pd.read_csv("data.csv.gz") # 直接读取gzip压缩文件 ``` #### 二、间接支持的文件格式（通过参数调整） 1. **固定宽度文件** - 使用 `colspecs` 或 `widths` 参数： ```python # 指定列位置：[(开始位置,结束位置),...] df = pd.read_fwf("fixed_width.txt", colspecs=[(0,5), (6,10)]) ``` 2. **含特殊字符的文件** - 处理引号/转义符： ```python # 自定义引号字符（默认"） df = pd.read_csv("data.txt", quotechar="'") # 忽略转义符（如\） df = pd.read_csv("data.csv", escapechar='\\') ``` 3. **非标准编码文件** - 通过 `encoding` 参数支持中文/特殊字符： ```python # 处理中文GBK编码 df = pd.read_csv("data.csv", encoding='gbk') # 引用[3] ``` 4. **含日期/时间列的文件** - 自动解析日期： ```python df = pd.read_csv("data.csv", parse_dates=['OrderDate']) # 引用[1] ``` #### 三、关键参数扩展支持格式 | **参数** | **功能** | **示例** | |------------------|-------------------------------------------------------------------------|------------------------------------------| | `sep` | 指定分隔符（支持正则表达式） | `sep="\|"` 处理竖线分隔数据 | | `header` | 指定表头行位置 | `header=0` 首行为列名（默认） | | `dtype` | 强制列数据类型 | `dtype={'Price': float}` 引用[1] | | `na_values` | 自定义缺失值标识 | `na_values=["N/A", "null"]` | | `comment` | 跳过注释行 | `comment='#'` 忽略以#开头的行 | | `thousands` | 千分位分隔符 | `thousands=','` 处理"1,000"格式数字 | #### 四、处理技巧与注意事项 1. **内存优化** 大文件读取时使用分块： ```python # 分批读取1万行/批 chunk_iter = pd.read_csv("large_data.csv", chunksize=10000) for chunk in chunk_iter: process(chunk) ``` 2. **列筛选** 减少内存占用： ```python # 只读取指定列 df = pd.read_csv("data.csv", usecols=['id', 'name']) ``` 3. **引擎选择** 处理复杂分隔符时： ```python # 启用Python引擎解析正则分隔符 df = pd.read_csv("data.txt", sep=",|:", engine="python") # 引用[3] ``` #### 五、不支持的格式 以下格式需使用其他 Pandas 函数： - **Excel 文件**：`pd.read_excel("data.xlsx")` - **JSON 文件**：`pd.read_json("data.json")` - **Parquet/HDF5**：`pd.read_parquet("data.parquet")` > **总结**：`pd.read_csv()` 的核心能力在于解析**结构化文本数据**，通过参数组合可覆盖： > - 任意分隔符文本（TSV/CSV/自定义符号） > - 多种压缩格式 > - 非标准编码文件（如中文GBK） > - 含复杂结构（引号/转义符/注释）的文件 > > 其灵活性使其成为数据处理的首选入口函数[^2][^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值