一些自编自用的函数_不断更新不断改进

本文介绍了使用Python的pandas库进行数据读取与保存的方法,并提供了一个用于验证数据完整性和格式的实用函数。

1、读取文件

import pandas as pd
import logging
import os

def get_data_pd(path):
    if path.find(".xlsx") != -1:
        data = pd.read_excel(path, "Sheet1")
    if path.find(".csv") != -1:
        data = pd.read_csv(path,encoding="gbk")
    return data

2、将数据保存为 csv 格式

def save_data_csv(data, save_path):
    """
    将数据保存
    """
    data.to_csv(save_path, encoding="gbk")

3、检查数据

def check_data(data):
    """
    测试数据
    """
    global I
    print "第%s个数据" % I
    I += 1
    try:
        print "数据:", data

        print "数据类型为:", type(data)

        # 求数据长度
        if isinstance(data, int) or isinstance(data, float):
            print "这是整数或浮点数, 没有长度"
        else:
            print "数据长度为:", len(data)
    except:
        print "遇到未知错误!"

    if isinstance(data, pd.DataFrame):
        print data.describe()
        for i in data:
            print "这是%s列" % i
            print data[i].sum()

    print "数据检查函数运行结束"
    print "-" * 70


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值