pandas（3）数据的读入和输出

pandas（3）数据的读入和输出

pandas的数据一般来源于上游的表型数据。

本节目标：掌握pandas的输入和输出

本节内容：各种类型的read方法
本节技术点：输入和输出函数。以及过滤

本节阅读需要（15）min。
本节实操需要（15）min。

---

---

前言

作为python核心的数据处理载体。pandas必须要有十分包容的数据读入形式。
这是官网的输入输出工具合集。

我们一般只使用其中的常见的几个。

---

一、CSV & text files

读入

csv虽然也是常见的表格数据，但是格式比xls等简单太多了。和普通的文本文件几乎是一致的。
csv后缀的和txt后缀的互换，大部分情况都是一样的

import pandas as pd
from io import StringIO
data = "COL1,COL2,COL3\na,b,1\na,b,2\nc,d,3"
pd.read_csv(StringIO(data))
pd.read_csv(StringIO(data), sep=",",header=None,usecols=lambda x: x.upper() in ["COL1", "COL3"],names=["col1", "col3"])

第一个是数据，可以是文件的位置，也可以是一段buffer里面的值（一个字节流变量）
这里是buffer，还难一点。
sep是分隔符一般是
逗号","
缩进"\t"
空白"\s+"
当然一般要视具体的情况而定。

delimiter和seq差不多，一般用不到。

header比较重要。是一个整数值。代表了第几行作为列名。我们都知道Excel第一行一般是列名。
所以一般header=0。
如果想要修改或自定义传入列名。header=None，并且names传入一个序列。

usecols用于挑选某些列，我认为有点多余，因为df是可以截取的，除非一开始为了节省内存。
一般是用列名的序号或列表，也可以使用如实例所示的bool列表