独家 | 别用csv存储了-这种文件格式比csv快150倍(附链接)

Feather是一种高效的数据帧存储格式,适用于Python和R,提供比CSV更快的读写速度。它最初设计用于快速数据交换,尽管不是长期存储的最佳选择,但在处理大量数据时,Feather的文件大小和读写速度明显优于CSV。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

425466ed4ee0885b4f477e2c6a50675c.png

作者:  Dario Radečić
翻译:王可汗
校对:张达敏


本文约1200字,建议阅读5分钟本文介绍了一种运行速度大大提高的数据格式。

csv会浪费您的时间、磁盘空间和金钱。是时候结束了。

csv并不是唯一的数据存储格式,甚至可能是你最后才考虑使用的格式。如果你不打算手动编辑数据,使用csv是在浪费时间和金钱。

想象一下——你收集了大量的数据并将它们存储在云端。你没有对文件格式做太多的研究,所以选择了csv。你的开销会爆炸!如果不追求更多,一个简单的调整可以减少一半开销。这个调整就是——你已经猜到了——选择一种不同的文件格式。

Feather到底是什么?

简单地说,它是一种用于存储数据帧(DataFrame)的数据格式(想想Pandas)。它围绕一个简单的前提设计——尽可能高效地将数据帧输入和输出内存。它最初是为Python和R之间的快速通信而设计的,但您并不局限于这个用例。

不过Feather并不只能用与Python和R,你可以通过任何一个主流编程语言使用Feather文件。

这种数据格式不是为长期存储而设计的。最初的目的是R和Python程序之间的快速交换,以及一般的短期存储。没有人能阻止您将Feather文件转储到磁盘,并将它们保存多年,但有比Feather更有效的格式

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值