2000字详解 当Pandas遇上超大规模的数据集该如何处理呢?

使用 Pandas 批量处理 22GB 交易数据 如何利用有限的计算资源来处理大型数据集可直接在橱窗里购买,或者到文末领取优惠后购买:处理大型数据集很有挑战性。如果你没有必要的资源,处理起来就更具挑战性。我们大多数人无法使用分布式集群、GPU 机架或超过 8GB 的 RAM。这并不意味着我们不能处理一些大数据。我们只需要一次解决一个问题。也就是说,一次迭代整个数据集并处理子集。 阅读详情

大家好,大家一般会用Pandas模块来对数据集进行进一步的分析与挖掘关键信息,但是当我们遇到数据集特别特别大的时候,内存就会爆掉,今天小编就来分享几个技巧,来帮助你避免遇到上述提到的这个情况。

read_csv()方法当中的chunksize参数

read_csv()方法当中的chunksize参数顾名思义就是对于超大csv文件,我们可以分块来进行读取,例如文件当中有7000万行的数据,我们将chunksize参数设置为100万,每次分100万来分批读取,代码如下

# read the large csv file with specified chunksize 
df_chunk = pd.read_csv(r'data.csv', chunksize=1000000)

这时我们得到的df_chunk并非是一个DataFrame对象,而是一个可迭代的对象。接下来我们使用for循环并且将自己创立数据预处理的函数方法作用于每块的DataFrame数据集上面,代码如下

chunk_list = []  # 创建一个列表chunk_list 

# for循环遍历df_chunk当中的每一个DataFrame对象
for chunk in df_chunk:  
    # 将自己创建的数据预处理的方法作用于每个DataFrame对象上
    chunk_filter = chunk_preprocessing(chunk)
    
    # 将处理过后的结果append到上面建立的空列表当中
    chunk_list.append(chunk_filter)
    
# 然后将列表concat到一块儿
df_concat = pd.concat(chunk_list)

将不重要的列都去除掉

当然我们还可以进一步将不重要的列都给去除掉,例如某一列当中存在较大比例的空值,那么我们就可以将该列去除掉,代码如下

# Filter out unimportant columns
df = df[['col_1','col_2', 'col_3', 'col_4', 'col_5', 'col_6','col_7', 'col_8', 'col_9', 'col_10']]

当然我们要去除掉空值可以调用df.dropna()方法,一般也可以提高数据的准确性以及减少内存的消耗

转变数据格式

最后我们可以通过改变数据类型来压缩内存空间,一般情况下,Pandas模块会给数据列自动设置默认的数据类型,很多数据类型里面还有子类型,而这些子类型可以用更加少的字节数来表示,下表给出了各子类型所占的字节数

2583ad74f3c1c9ec236803f43a5c8bec.png

对于内存当中的数据,我们可以这么来理解,内存相当于是仓库,而数据则相当于是货物,货物在入仓库之前呢需要将其装入箱子当中,现在有着大、中、小三种箱子,

a1a1cd27fbdd355b86958bae78fb85ca.png

现在Pandas在读取数据的时候是将这些数据无论其类型,都是装到大箱子当中去,因此会在很快的时间里仓库也就是内存就满了。

因此我们优化的思路就在于是遍历每一列,然后找出该列的最大值与最小值,我们将这些最大最小值与子类型当中的最大最小值去做比较,挑选字节数最小的子类型。

我们举个例子,Pandas默认是int64类型的某一列最大值与最小值分别是0和100,而int8类型是可以存储数值在-128~127之间的,因此我们可以将该列从int64类型转换成int8类型,也就同时节省了不少内存的空间。

我们将上面的思路整理成代码,就是如下所示

def reduce_mem_usage(df):
    """ 遍历DataFrame数据集中的每列数据集
    并且更改它们的数据类型        
    """
    start_memory = df.memory_usage().sum() / 1024**2
    print('DataFrame所占用的数据集有: {:.2f} MB'.format(start_memory))

    for col in df.columns:
        col_type = df[col].dtype

        if col_type != object:
            col_min = df[col].min()
            col_max = df[col].max()
            if str(col_type)[:3] == 'int':
                if col_min > np.iinfo(np.int8).min and col_max < np.iinfo(np.int8).max:
                    df[col] = df[col].astype(np.int8)
                elif col_min > np.iinfo(np.int16).min and col_max < np.iinfo(np.int16).max:
                    df[col] = df[col].astype(np.int16)
                elif col_min > np.iinfo(np.int32).min and col_max < np.iinfo(np.int32).max:
                    df[col] = df[col].astype(np.int32)
                elif col_min > np.iinfo(np.int64).min and col_max < np.iinfo(np.int64).max:
                    df[col] = df[col].astype(np.int64)  
            else:
                if col_min > np.finfo(np.float16).min and col_max < np.finfo(np.float16).max:
                    df[col] = df[col].astype(np.float16)
                elif col_min > np.finfo(np.float32).min and col_max < np.finfo(np.float32).max:
                    df[col] = df[col].astype(np.float32)
                else:
                    df[col] = df[col].astype(np.float64)

    end_memory = df.memory_usage().sum() / 1024**2
    print('优化过之后数据集的内存占有: {:.2f} MB'.format(end_memory))
    print('减少了大约有: {:.1f}%'.format(100 * (start_memory - end_memory) / start_memory))

    return df

大家可以将小编写的这个函数方法拿去尝试一番,看一下效果如何?!

觉得还不错就给我一个小小的鼓励吧!
用pandas对gowalla数据集的切分 推荐系统的数据处理:(gowalla数据集) 原数据大约3万用户,4万交互物品 更改为大约2000用户,前1万物品 主要目的是在练习算法时可以加快速度,到最后测试时在用大的数据集跑 阅读详情

相关推荐

Pandas教程 | Pandas Merge数据合并图文详解

微信公众号:「Python读财」 如有问题或建议,请公众号留言 为了方便维护,一般公司的数据在数据库内都是分表存储的,比如用一个表存储所有用户的基本信息,一个表存储用户的消费情况。所以,在日常的数据处理中,经常需要将两张表拼接起来使用,这样的操作对应到SQL中是join,在Pandas中则是用merge来实现。这篇文章就讲一下merge的主要原理。 上面的引入部分说到merge是用来拼接两张表...

Python读财 4826

超大CSV文件难不倒你!5招教会你运用Pandas轻松解决

在数据分析工作中,时常会遇到数据量巨大的CSV文件,这无疑给我们带来很大困扰,总是内存溢出和程序崩溃。在此教会各位Pandas的5招,让你轻松应对超大CSV文件,内存问题不再是障碍。

devid008的博客 4984

Pandas对于大型(上G)数据集的几种读取方式

在一个CSV文件中往往存在很多列数据,但并不是所有的列都是我们需要的,此时如果将所有的列都读取出来,无疑会减慢数据读取速度。)竞赛平台上寻找一些数据集来练习,但是发现部分数据集是几G甚至几十G的,如图1所示。当刚刚得到一个很大的CSV文件时,迫切想了解数据的情况,此时推荐使用DataFrame对象的head()方法和tail()方法,先查看前5行数据和最后5行数据。说明:head()方法和tail()方法默认是查看5行数据,如果想查看更多的数据可以指定行数,如head(20),查看前20行数据。

专注Python和R语言,分享Python和R语言入门教程 921

Python处理Excel数据-pandas篇

Python处理Excel数据-pandas篇 非常适用于大量数据的拼接、清洗、筛选及分析 在计算机编程中,pandas是Python编程语言的用于数据操纵和分析的软件库。特别是,它提供操纵数值表格和时间序列的数据结构和运算操作。它的名字衍生自术语“面板数据”(panel data),这是计量经济学的数据集术语,它们包括了对同一个体的在多个时期上的观测。它的名字是短语“Python data analysis”自身的文字游戏。 目录Python处理Excel数据-pandas篇一、安装环境1、打开以下文

weixin_51828058的博客 1万+

pandas处理大文件

pandas在一次加载超大文件(以G为单位)时,容易遇到内存溢出问题。有以下解决思路。思路:分而治之+精简数据

Learning 1571

使用python中的Pandas库轻松完成千万级数据处理

当我们使用Pandas读取小量数据进行处理时,一般性能不是问题。但有时我们需要处理较大数据量,比如几个G的数据,数据量达到千万甚至上亿级别,这时我们在读数据时经常会出现因内存不足而导致程序崩溃的问题。

白话机器学习 6693

Pandas教程之二十九: 使用 Pandas 处理日期和时间

为数据分析和可视化指定自定义时区设置。Python3。

潜洋的专栏 1985

如何使用Pandas处理大批量数据

Why and How to Use Pandas with Large Data ,如何使用Pandas处理大批量数据,介绍了如何减少内存消耗,学习利用pandas进行大批量数据处理不错的参考资料。

全文2000字,当Pandas遇上Excel会擦出什么样的火花呢?!

大家好,又是新的一周。Excel是我们职场打工人接触最多的办公室软件之一,当中会涉及到很多重复的操作,好在Python为我们提供了很多操作Excel的模块,能够帮助我们极大地提高工作效率,...

weixin_43373042的博客 197

MIMO技术入门

MIMO:多天线技术,发射端和接收端有多个天线(注意:并不是指多个天线板,而是多套振子,每一套是一个独立的天线。) 4G:2、8天线 5G:4、64天线(64T64R) 手机也是多天线 MIMO实现效果的分类: 1)空间分集 。2)空间复用。3)波束赋形。 空间分集(space diversity) 作用:提升接收质量 利用多个天线发射或者接收一个数据流,避免单个信道衰落对整个链路的影响。(比如你的耳机坏了一只并不影响另一只) 空间复用(space multiplexing) 作用:提升速率 利

About1129的博客 2877

QTableView实现表格加载百万条数据

本文介绍用QTableView实现加载100万条数据显示到表格。 1.创建工程 用Qt Creator创建Qt Widgets Application项目,基类选择QWidget,创建好了,如图: 2.添加QTableView控件 在widget.ui中添加QTableView控件,和QPushButton,采用栅格布局,如图: 3.添加函数 头文件 QT_BEGIN_NAMESPACE namespace Ui { class Widget; } QT_END_NAMESPACE class Wid

丁爸的博客 8272

Pandas中resample方法详解

Pandas中resample方法详解 Pandas中的resample,重新采样,是对原样本重新处理的一个方法,是一个对常规时间序列数据重新采样和频率转换的便捷的方法。重新取样时间序列数据。 方便的时间序列的频率转换和重采样方法。对象必须具有类似datetime的索引(DatetimeIndex、PeriodIndex或TimedeltaIndex),或将类似datetime的值传递给on或level关键字。 DataFrame.resample(rule, axis=0, closed=None, la

weixin_40426830的博客 3万+

【OpenCV3】cv::compare()使用详解

cv::compare()主要用于两个图像之间进行逐像素的比较,并输出比较的结果。具体用法如下: cv::compare() bool cv::compare( cv::InputArray src1, // 输入数组1 cv::InputArray src2, // 输入数组2 cv::OutputArray dst, // 输出数组 int cmpop // 比较操作子,见下表 ...

guduruyu的专栏 9766

Pandas 2 使用指南:大规模数据集的扩展

pandas 提供了用于内存分析的数据结构,这使得使用 pandas 分析大于内存数据集的数据集有些棘手。通过使用更高效的数据类型,您可以在内存中存储更大的数据集。的类似于 pandas 的 API,用于并行处理大于内存的数据集。此工作流程的峰值内存使用量是最大分块加上一个存储到目前为止的唯一值计数的小系列。假设我们在磁盘上有一个更大的“逻辑数据集”,它是一个包含多个 Parquet 文件的目录。此时,您将获得与 pandas 相同的结果,本例中是一个具体的 pandas pandas.Series。

数智笔记 1738

【HCIE】FRR+BFD+OSPF与BGP联动

FRR+BFD+OSPF与BGP联动

Wenrs的博客 1998

麒麟V10 x86_64系统下Qt 5.12.7安装全攻略(附常见报错解决方案)

本文详细介绍了在麒麟V10 x86_64系统上安装Qt 5.12.7的完整流程,包括在线和离线两种安装方案,并提供了常见报错的解决方案。从环境准备到项目配置优化,再到高级调试技巧,全面覆盖Qt开发在国产操作系统上的实践要点,帮助开发者高效搭建开发环境。

weixin_29294395的博客 511

Pandas Cookbook性能优化:大数据集处理的4个内存管理技巧

Pandas Cookbook是Python数据分析领域的经典实用指南,它提供了大量真实世界的Pandas数据处理示例。在处理大数据集时,内存管理是提高性能的关键。本文将分享4个基于Pandas Cookbook实践的内存管理技巧,帮助您高效处理大型数据集。😊 ## 为什么大数据集需要内存优化? 在数据分析工作中,我们经常遇到像`data/movie.csv`(2.9MB)、`data/fl

gitblog_00223的博客 765

从零上手SKILL脚本:在Virtuoso中实现版图绘制自动化

本文详细介绍了如何使用SKILL脚本在Virtuoso中实现版图绘制自动化,从基础操作到高级技巧全面覆盖。通过抓取操作日志、转换交互式函数为程序式函数,以及核心函数深度解析,帮助读者快速掌握SKILL脚本编程,大幅提升版图设计效率。文章还提供了实际工程应用案例和调试优化技巧,适合从零开始的初学者。

weixin_28742653的博客 769

RAPIDS cuDF 统一显存技术使大型数据集上的 pandas 运行速度最高提升 30 倍

RAPIDS cuDF 统一显存和文本数据处理功能,帮助数据科学家在严苛的工作负载中处理更大、文本密集型数据集时继续使用 pandas。现在,数据科学家可以将这些工作负载加速高达 30 倍。是开源 GPU 加速数据科学和 AI 库的集合。是一个 Python GPU DataFrame 库,用于加载、连接、聚合和过滤数据。作为面向数据科学家的顶级数据处理库,是一个灵活而强大的 Python 数据分析和操作库。上个月,它的下载量超过 2000 万次。

AI大模型 1306

Fortigate 在AWS中配置HA

方案1: 1、将两台服务器配置在相同可用区中,使用飞塔原生HA功能,可以实现配置同步功能。 2、配置SSLVPN,在主服务器不可用时,可以实现自动切换到备用服务器继续提供VPN服务。 当前问题: 1、主挂掉后可以自动切换到备,但是原主服务器修复后不会自动切换到主状态。 2、如下图所示切换中丢包明显,需要客户端开启“保持连接”功能。 配置过程如下: 1、整体架构 2、创建VPC和子网,如下图所示...

子苏蓝莓的博客 893

23种设计模式-中介者(Mediator)设计模式

软考中级-软件设计师 中介者设计模式

片言可决讼,半纸能缚龙 1866

Python数据分析大杀器之Pandas基础2万字详解(学pandas基础,这一篇就够啦)

python作为数据分析最常用的软件之一,而pandas是数据分析中最频繁使用的包,之前介绍了Numpy在数据处理方面的应用,本文详细介绍一下pandas基础,后续会继续更新一些数据分析实战项目。如果文章对你有帮助,欢迎点赞、收藏、评论 📝个人介绍:小编大四统计在读,目前保研到统计学top3高校继续攻读统计研究生 ...

阿里云专家博主、数据科学领域优质创作者、统计er在读 3212

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

上一篇: 用Transformer进行端到端视觉表示学习! Box-Attention:目标检测、实例分割轻松涨点...
下一篇: 一个员工的离职成本有多高?
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值