基于python的大数据分析-pandas数据读取（代码实战）

我们常见的数据存储格式无非就是csv、excel、txt以及数据库等形式。

数据读取

在pandas中可以使用一些函数完成数据的读取。比如read_csv、read_excel、read_table、read_sql等，这些分别是啥意思呢。。。。自己看后缀就能明白啦~

 

下面我们就通过撸代码来了解它们

 

txt文件

格式：read_table(文件路径与文件名, names=[列名1，列名2，.....], sep="",......)

其中names为列名，默认为文件中的第一行作为列名

sep为分隔符，默认为空

from pandas import read_table

#txt
df=read_table(r'D:python_workspaceanacondarz.txt')
#查看前五行数据
df.head(5)
#查看后两行数据
#df.tail(2)

rz.txt的内容如下

 

csv文件

格式：read_csv(文件路径与文件名, names=[列名1，列名2，.....], sep="",......)

解释同上，不在废话

#csv
from pandas import read_csv

df=read_csv(r'D:python_workspaceanacondarz.csv')
df

rz.csv的内容如下

 

excel文件

格式：read_excel(文件路径与文件名, sheetname=sheet的名称, header=0)

sheetname可以指定读取几个sheet，sheet数目从0开始。如果sheetname=[0,2]则代表读取第一个和第三个sheet

header为0表示以文件第一行作为表头显示；为1则把文件第一行丢弃不作为表头显示。

#exel
from pandas import read_excel

df=read_excel(r'D:python_workspaceanacondarz.xls', sheetname='Sheet3')
df

 

mysql

首先安装pymysql，通过pip命令即可安装

格式：read_sql(要查询的sql语句, 数据库的链接对象)

import pandas as pd
import pymysql

#具体的数据库链接信息自行替换
conn=pymysql.connect(host='xxxx',database='xxx',user='root',
password='',port=3306,charset='utf8')
sql='select * from a'
r=pd.read_sql(sql,conn)
#关闭数据库链接
conn.close()
print(r.head(5))