pandas 降低内存

最新推荐文章于 2024-05-02 08:16:00 发布
转载 最新推荐文章于 2024-05-02 08:16:00 发布 · 265 阅读 · 0
文章标签：

#pandas

pandas如何存储不同的数据类型，并大幅度降低内存使用：

1、如果有日期类型一定默认为 object类型，此时一定要转换为 datetime类型，内存优化极为有效。

2、如果有数值类型，可以转化更为高效的数值类型

3、如果有object类型，在条件允许的情况下可以转换为类别类型。

如果你还想使用 pandas 处理更大规模的数据，可以参与这个交互式课程：https://www.dataquest.io/m/163/optimizing-dataframe-memory-footprint/16/next-steps

参考：https://blog.youkuaiyun.com/weiyongle1996/article/details/78498603?locationNum=3&fps=1

【pandas】在Pandas中降低dataframe使用的内存
apple_50678962的博客
07-22 1630
pandas中降低dataframe占用内存的两种方法
python pandas 优化内存占用(二)
dydyswr的博客
12-18 1477
本文分享了python pandas内存优化的原理
利用pandas减少内存的方法
09-12
读入数据量大时，通过数据转换减少占用内存。附有可以执行的代码，
pandas读取数据时降低内存使用
binbigdata的博客
12-05 1495
pandas读取数据时降低内存使用 def reduce_mem_usage(df): """ iterate through all the columns of a dataframe and modify the data type to reduce memory usage. """ start_mem = df.memory...
真给力，字节跳动年度首发《音视频开发进阶指南》限时领取，理论与实战齐飞
m0_60721649的博客
05-02 235
音视频播放：音视频同步音视频解封和封装：生成一个MP4。
PANDAS 降低存储空间的方法
weixin_46120187的博客
02-04 430
降低存储空间的方法 原创YangJianShuai 最后发布于2018-03-09 11:14:09 阅读数 2691 收藏 展开 将数值型列降级到更高效的类型 我们可以用函数pd.to_numeric()来对数值型进行向下类型转换。我们用DataFrame.select_dtypes来只选择整型列，然后我们优化这种类型，并比较内存使用量。 先找到要转化的类型，可用以下语句： DataFrame...
python使用pandas处理大数据节省内存技巧（推荐）
09-19
主要介绍了python使用pandas处理大数据节省内存技巧，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
简单实用的pandas技巧：如何将内存占用降低90%_python apply消耗资源太多
m0_61330806的博客
04-26 1016
optimized_gl = gl.copy()optimized_gl[converted_int.columns] = converted_int optimized_gl[converted_float.columns] = converted_floatprint(mem_usage(gl)) print(mem_usage(optimized_gl)) 861.57 MB 804.69 MB from sys import getsizeofs1 = ‘working out’ s2 = ‘mem
教程 | 简单实用的pandas技巧：如何将内存占用降低90%
王冠hurt的博客
03-10 4971
pandas 是一个 Python 软件库，可用于数据操作和分析。数据科学博客 Dataquest.io 发布了一篇关于如何优化 pandas 内存占用的教程：仅需进行简单的数据类型转换，就能够将一个棒球比赛数据集的内存占用减少了近 90%，机器之心对本教程进行了编译介绍。当使用 pandas 操作小规模数据（低于 100 MB）时，性能一般不是问题。而当面对更大规模的数据（100 MB 到数 G...
Pandas.read_csv()参数low_memory and dtype options什么鬼 ?
热门推荐
htuhxf的博客
10-24 2万+
Pandas read_csv low_memory and dtype options 敢问这什么鬼？ 【stackoverflow经典解答链接】 提问者：Josh，2014 Jun 16 at 19:56 当处理 df = pd.read_csv('somefile.csv') 我得到 \Users\Python\Python36\python.exe E:/Python/11...
pandas：计算时内存不足怎么办（eval和query）
weixin_43887421的博客
12-09 1561
pandas：让计算再提速（eval和query）前言一、eval()和query()的由来二、eval()的介绍1.pandas.DataFrame.eval2.pandas.eval总结 前言 前面几篇文章笔者介绍了如何使pandas计算得到大幅提升，其中包括pandas快速处理字符串方法和使用map、apply和applymap函数批量处理数据，并且比普通循环操作处理数据快500多倍，本文将再次谈及为pandas计算加速，希望能帮助大家。 提示：为方便快捷地解决问题，本文仅介绍函数的主要用法，并非
简单实用的 pandas 技巧：如何将内存占用降低90%
cdfunlove的博客
08-18 622
pandas 是一个 Python 软件库，可用于数据操作和分析。数据科学博客 Dataquest.io 发布了一篇关于如何优化 pandas 内存占用的教程：仅需进行简单的数据类型转换，就能够将一个棒球比赛数据集的内存占用减少了近 90%，机器之心对本教程进行了编译介绍。 当使用 pandas 操作小规模数据（低于 100 MB）时，性能一般不是问题。而当面对更大规模的数据（100 MB 到数 GB）时，性能问题会让运行时间变得更漫长，而且会因为内存不足导致运行完全失败。 尽管 Spark.
简单方便地优化 Pandas 内存使用
cdfunlove的博客
08-25 822
介绍 使用 pandas 处理大型数据集是一个极为常见的问题。因此有很多库和工具被开发出来以减轻开发者的这种痛苦。比如下面的 pydatatable 库。 详情可点击datatable_library[1]。 除此之外，还有一些其他技巧可以在一定程度上帮助我们解决pandas的内存问题。它们可能不是最佳的解决方案，但这些技巧有时很方便。而且，了解一下它们对你也没有坏处，对吧？在我之前的一篇文章中，我谈到了两种在pandas中加载大型数据集[2]的方法。 这两个技巧分别是： 分块：将数据集细
简单提升pandas技巧：如何降低内存占用率
qq_34739497的博客
03-18 6285
前言 pandas是一个Python软件库，可用于数据分析和操作。本文记录实现一些降低内存占用的简单方法。 当使用pandas操作小规模数据（低于100MB）时，性能一般不是问题。而当面对更大规模的数据（100MB到GB）时，性能问题会导致运行时间变得更长，甚至有可能因为内存问题导致运行失败。比如前段时间我用pandas读取数千张表，使用python自带读取方法明显比pandas快很多。 尽...
pandas DataFrame内存优化技巧：让数据处理更高效
Gefangenes的博客
04-10 846
各类字段优化之后，内存占用从刚开始的26.7+ MB减到6.7+ MB，优化的效果非常明显。仅仅是数据类型的简单调整，就带来了如此之大的内存效率提升，这也给我们带来启示，在数据分析的过程中，构造DataFrame时，也可以根据数值的范围，特点等，来赋予它合适的类型，不要一味简单的使用字符串，或者默认的整数（int32），默认的浮点（float64）等类型。
数据预处理系列：资源匮乏下数据处理_Pandas内存优化和加速
数智笔记
12-23 1094
生成的文件将不会有相同的大小减小，但仍然会更小。当使用一个新的数据集时，我通常会创建一个第一个笔记本来加载所有相关的文件，转换数据类型，将DataFrame保存为pickle文件，然后只在主要的特征工程笔记本中加载它。，应该被转换为分类列。这种特殊的数据类型基本上将所有唯一值保存在字典中，然后在每一列中放置内存高效的整数，并在使用DataFrame时显示相应的文本值。在某些情况下，先将列连接起来，然后对结果列应用标签编码是有意义的，以帮助树模型找到结构，或者避免将属于不同父类别的类别标记为相同的数字。
pandas学习笔记之内存优化
轻舟已过万重山的博客
05-16 582
函数 在处理大型数据集的时候，经常碰见python把内存吃满的情况，影响性能，此时就可以对数据集在内存中的存储方式进行优化。所用函数如下： pandas.DataFrame.memory_usage(index=True, deep=False) 返回该数据框所用的字节数（bytes） index参数控制索引占用字节是否出现在结果中。 deep参数返回object对象在系统层面（不是很懂）的存储消耗。 pandas.to_numeric(arg, errors=‘raise’, downcast=None)
Pandas大数据量内存优化
一束尘光的技术分享
09-27 2403
Pandas大数据量内存优化
pandas源码内存优化
最新发布
06-16
### Pandas 源码中内存优化的技术实现方法 Pandas 是一个功能强大的数据处理库，其源码中包含了许多内存优化的技术细节和方法。以下是一些关键的内存优化技术实现[^1]： #### 1. 数据类型优化 Pandas 提供了多种数据类型（如 `int8`, `float32` 等），用户可以根据实际需求选择更小的数据类型以减少内存占用。通过使用适当的 dtype 参数，可以显著降低内存消耗[^2]。 ```python import pandas as pd # 示例：将整数列转换为更小的数据类型 df = pd.DataFrame({'A': [1, 2, 3, 4]}) df['A'] = df['A'].astype('int8') ``` #### 2. 使用 `categorical` 类型 对于具有大量重复值的列，可以将其转换为 `category` 类型。这种类型的内部实现是基于整数索引的映射表，因此可以极大地节省内存[^1]。 ```python # 示例：将字符串列转换为 category 类型 df['B'] = df['B'].astype('category') ``` #### 3. 内存深度分析 Pandas 提供了 `info(memory_usage='deep')` 方法，用于深入分析 DataFrame 的内存使用情况。此方法能够检测到对象引用的实际内存占用，而不仅仅是浅层估计[^2]。 ```python def info_memory(csv_file: str): df = pd.read_csv(csv_file) print(df.info(memory_usage='deep')) ``` #### 4. 延迟加载与分块读取 当处理大文件时，可以使用 `chunksize` 参数分块读取数据。这种方法避免了一次性加载所有数据到内存中，从而降低了内存压力[^1]。 ```python # 示例：分块读取大文件 chunks = [] for chunk in pd.read_csv('large_file.csv', chunksize=10000): chunks.append(chunk) df = pd.concat(chunks, ignore_index=True) ``` #### 5. 内部数据结构优化 Pandas 在底层使用了 NumPy 数组来存储数据，同时通过 BlockManager 来管理不同数据类型的块。这种设计不仅提高了灵活性，还允许对特定数据类型进行优化[^1]。 #### 6. 缓存机制 Pandas 实现了缓存机制以避免重复计算。例如，在访问某些属性或方法时，会先检查缓存是否已存在结果，从而减少不必要的内存分配[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值