Python数据分析-数据加载

1. 读写文本格式的文件

read_csv            从文件, URL, 文件型对象中加载带分隔符的数据. 默认分隔符为逗号

read_table          从文件, URL, 文件型对象中加载带分隔符的数据. 默认分隔符为制表符( "\t")

read_fwf             读取定宽列格式数据 ( 也就是说, 没有分割符 )

read_clipboard   读取剪切版中的数据, 可以看做read_table的剪贴板版. 在将网页转换为表格时很有用

例:

(1) 利用read_csv读取文件

(2) 利用read_table读取文件,但要指定分隔符

(3) 指定列名

  上面数据中第一行都有指明列名,如果没有,可以让pandas为其分配默认的列名,也可以自己定义列名

数据文件内容:

1) 分配默认的列名:

如果不设置Header=None,则将第一行数据作为列名

2)  指定列名

( 3 ) 将多个列做成一个层次化索引

( 4 ) 使用正则表达式读取分隔符不定的数据

( 5 ) 跳过指定的行读取数据

( 6 ) 缺失值处理

pandas会为缺失值指定默认值如NA, -1.#IND 或NULL.

2) 用一个字典为各列指定不同的标记值:

( 7 ) read_csv 和 read_table 函数的参数

path                                    表示文件系统位置, URL, 文件型对象的字符串

sep或delimiter                     用于对行中各字段进行拆分的字符序列或正则表达式

names                                用于结果的列名列表, 结合Header=None

skiprows                             需要忽略的行数(从文件开始出算起), 或需要跳过的行号列表 ( 从0开始 )

na_values                           一组用于替换NA的值

comment                            用于将注释信息从行尾拆分出去的字符 ( 一个或多个 )

parse_dates                       常识将数据解析为日期, 默认为False. 如果为True, 则常识解析所有列. 此外, 还可以指定需                                            要解析的一组列号或列名. 如果列表的元素为列表或元组, 就会将多个列组合到一起在进                                                行解析工作

keep_date_col                    如果连接多列解析日期, 则保持参与连接的列. 默认为False

converters                          由列号/列名跟函数之间的映射关系组成的字典. 例如, {'foo': f}会对foo列的所有制应用函数f

dayfirst                               当解析由奇异的日期时, 将其看做过几个是(例如, 7/6/2012-> June 7, 2012). 默认为False

date_parser                        用于解析日期的函数

nrows                                 需要读取的行数 ( 从文件开始处算起 )

iterator                               返回一个TextParser以便注会读取文件

chunksize                          文件快的大小 ( 用于迭代 )

skip_footer                        需要忽略的行数 ( 从文件末尾处算起 )

verbose                             打印各种解析器输出信息, 比如 "非数值列中缺失值的数量" 等

encoding                           用于unicode的文本编码格式. 例如, "utf -8" 表示用UTF-8编码的文本

squeeze                            如果数据解析后仅含一列. 则返回Series

thousands                         千分位分隔符, 如"," 或 "."