Spark处理csv文件和Parquet文件速度对比

小糖宝 小糖宝 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.7k累计阅读 1.7k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄9年
关注
转载 最新推荐文章于 2026-06-23 11:13:25 发布 1.7k 阅读 AI 写同款· GEO 优化 ›
笔记·Pandas几类数据读写方法对比——csv，parquet，feather和pickle Pandas读取文件类型的数据方法有很多，当读取大文件时往往需要一点技巧来提高效率。简单对比一下csv，parquet，feather和pickle这几类数据的读写效率，正好最近在处理轨迹数据，特别记录在此。 阅读详情

转载1：https://www.jianshu.com/p/8fd4b48bf604

转载2：https://www.cnblogs.com/piaolingzxh/p/5469964.html

笔者在项目中发现，100万条记录，字段数100个左右时，原始数据为CSV文件，进行处理时，I5 cpu ,8G的内存需要1h，将其转化为Parquet文件，进行处理时，仅需十分钟。Parquet不愧是Spark计算的御用文件格式。

收录于
Spark

当前文章被收录于：

Spark
25 篇文章 0 人学习
订阅专栏 查看详情
机器学习

当前文章被收录于：

机器学习
23 篇文章 0 人学习
订阅专栏 查看详情
算法

当前文章被收录于：

算法
23 篇文章 0 人学习
订阅专栏 查看详情
标签
#Spark #Parquet #CSV
Spark在不同存储格式下的性能对比 笔者发现，很多同学在各种项目中尝试使用Spark，大多数同学最初开始尝试使用Spark的原因都很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果没有对Spark进行合理的调优，Spark作业的执行速度可能会很慢，甚至根本体会不到Spark作为一种快速大数据计算引擎的优势。        事实上，Spark系统的性 阅读详情

相关推荐

AWS Glue ETL实战：CSV转Parquet端到端入门指南

ETL（提取-转换-加载）是数据工程的核心流程，其本质是将原始数据按业务规则清洗、结构化并持久化为分析就绪格式。AWS Glue作为全托管的无服务器ETL服务，依托Spark引擎与Glue Data Catalog元数据管理能力，显著降低分布式数据处理门槛。技术价值在于免运维、自动类型推断、与S3/Athena深度集成，尤其适合构建低成本、可扩展的数据湖底座。典型应用场景包括日志归档、数据库同步、CSV/JSON批量入湖等。本文聚焦最简可行路径——使用Glue Crawler自动发现CSV schema，再

weixin_30414305的博客 377

06 ，spark 提速手段 ： 16G 文件读取耗时

1 ，普通数据格式 ： 非压缩 ( 我们用 csv ) Spark supports many formats, such as csv, json, xml, parquet, orc, and avro. Spark can be extended to support many more formats with external data sources - for more inform...

孙砚秋的博客 944

使用pyspark将csv文件转为parquet文件

使用spark将csv文件转为parquet文件

csv、parquet、orc读写性能和方式

索引： 1.背景 2.存储方式 3.存储效率 4.读写方式 5.结论 6.其他格式 背景 最近在做一个大数据分析平台的项目，项目开发过程中使用spark来计算工作流工程中的每一个计算步骤，多个spark submit计算提交，构成了一个工作流程的计算。其中使用csv来作为多个计算步骤之间的中间结果存储文件，但是csv作为毫无压缩的文本存储方式显然有些性能不够，所以想要寻找一个存储文件效...

kwame211的博客 1295

Pyinstaller 打包 Pyzbar 时缺失 DLL 文件的排查与修复指南

本文详细解析了使用Pyinstaller打包Pyzbar库时，因缺失关键DLL文件导致程序闪退的常见问题。文章提供了从问题复现、错误诊断到最终修复的完整解决方案，核心在于通过修改.spec配置文件，手动将缺失的libzbar-64.dll等文件添加到打包过程中，确保生成的可执行文件能独立运行。

wdx012345的博客 504

别再傻傻分不清！一文讲透电子产品‘冲击’与‘碰撞’试验的区别与选用（附GB/T 2423标准解读）

本文详细解析了电子产品可靠性测试中冲击与碰撞试验的核心区别与应用场景，结合GB/T 2423标准提供实用指南。冲击测试模拟瞬时高强度事件（如跌落），而碰撞测试针对重复性力学环境（如运输颠簸）。通过参数对比和标准解读，帮助研发人员精准选择测试方案，提升产品可靠性验证效率。

weixin_42665255的博客 268

对比不同主流存储格式（csv, feather, jay, h5, parquet, pickle）的读取效率

引言 在遇到大数据时，不同数据处理工具包的优劣， 是否拥有丰富的数据处理函数； 是否读取数据够快； 是否需要额外设备（例如GPU）的支持等等。 但无论这些工具包处理数据的时间多快，在碰到例如10G以上的数据时，都还是会耗费一些时间的，快的可能几十秒，慢的可能几十分钟，然后再进行一些特征抽取等等，快的话也得几十分钟，而此时，为了节省时间消耗，我们就需要将这些中间结果线存储到磁盘上面，而不同格式的存储，带来的差别是巨大的，比如： 存储一个大的文件，存成csv格式需要10G，

David's Tweet 2万+

STM32CubeMX | HAL库实战：ADC多通道采集模式深度解析（轮询、DMA、TIM触发）

本文深度解析了基于STM32CubeMX与HAL库实现ADC多通道数据采集的三种核心模式：轮询、DMA以及TIM触发DMA。文章通过对比分析，详细阐述了各模式的配置要点、适用场景与潜在陷阱，旨在帮助开发者根据实时性、CPU占用及采样精度等需求，选择并实现高效稳定的多通道数据采集方案。

postgres8guard的博客 973

day63-Spark SQL下Parquet内幕深度解密

ＤＴ大数据梦工厂联系方式：新浪微博：www.weibo.com/ilovepains/微信公众号：DT_Spark博客：http://.blog.sina.com.cn/ilovepains一：sparkSQL 下的Parquet意义再思考存储空间包括：内存和磁盘，计算方面如果说HDFS是大数据时代分布式文件系统存储的事实标准的话，parquet则是整个大数据时代文件存储格式的事实标准。1、 速度

zhanglin200508的专栏 1513

OpenHarmony自定义Launcher

OpenHarmony源码版本：4.0release开发板：DAYU / rk3568DevEco Studio版本：4.0.0.600切换分支为OpenHarmony-4.0-Release，并下载源码。

Abner_Crazy的博客 1630

QGis软件 —— 2、QGis加载在线地图两种方式（谷歌地图、天地图）

QGis软件 —— 2、QGis加载在线地图两种方式（谷歌地图）

1万+

Spark 使用 parquet 列式存储格式优化速度

1）如果说 HDFS 是大数据时代分布式文件系统首选标准，那么 parquet 则是整个大数据时代文件存储格式实时首选标准。 2）速度更快：从使用 spark sql 操作普通文件 CSV 和 parquet 文件速度对比上看，绝大多数情况会比使用 csv 等普通文件速度提升10倍左右，在一些普通文件系统无法在 spark上成功运行的情况下，使用 parquet 很多时候可以成功运行。 3）p...

RayfunC的博客 4234

EMB电子机械制动器夹紧力预估策略分析

本文探讨了电子机械制动器(EMB)夹紧力的四种预估方法：1)基于电机电流的方法简单经济但易受干扰；2)基于位置传感器的方法实时性好但依赖模型精度；3)直接力测量精度最高但成本较高；同时提出未来将结合AI和数字孪生技术提升预估精度。研究显示，准确的夹紧力预估对制动安全性、能效和舒适性至关重要，当前面临温度稳定性、参数漂移等技术挑战。随着智能算法的发展，EMB夹紧力预估将实现更高精度和可靠性。

m0_59012156的博客 854

【pyspark】一 spark dataframe 读写parquet、json、csv等文件

pyspark 读写文件 环境：zeppelin中的spark 2.1 的notebook提交的代码 pyspark 读 json dataframe = spark.read.format(“json”).load("/tmp/testhdfsfile") #路径是hdfs上的 注意json文件中，一条记录是一条json，不能换行，格式如下： {“row”:“1”,“field1”:“valu...

百物易用是苏生 7018

【以太网硬件六】1000base-T物理层编码究竟是怎么编的？

详述1000base-T物理层4D-PAM5的编码过程

highman110的博客 5325

word多级列表为什么会变成黑块解决思路

今天在写文档时，发现WORD5级的标题都变黑块了，找了度娘的资料，终于解决了。 第一种 1、光标bai放在黑快的右边，按向左的箭头，然后ctrl+shift+s，点击重新应用。 2、点击“定义新的多级列表”（不知道从哪儿找这个按钮的百度下），直接点确定。 3、这里很重要！！！不要直接保存，而是直接关掉word，会提示保存还是不保存，这个地方再点击保存。 第二种 Word2016 使用宏代码修复方法 1.找到视图-宏，打开 查看宏 2.创建宏 3.贴...

霍力强的专栏 8584

orc parquet区别 spark_spark 存储 parquet

关于spark 存储 parquet的搜索结果回答1) 如果说HDFS 是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准 2) 速度更快：从使用spark sql操作普通文件CSV和parquet文件速度对比上看，绝大多数情况 会比使用csv等普通文件速度提升10倍左右，在一些普通文件系统无法在spark上成功运行的情况 下，使用parquet很多时...

weixin_39710179的博客 490

NTscan扫描工具

ntscan是一个扫描器，可以扫描没有密码和弱密码的共享，先到配置文件中填写猜测的用户名和密码，扫描过程中右侧出现的是扫描日志。

使用java操作Parquet文件

Parquet是一个强大的列式存储格式，适用于大数据场景，能够高效地进行数据压缩、查询和存储。它特别适合需要高性能查询、大规模数据处理和支持复杂数据结构的应用场景。使用 Apache Spark、Hive 或其他大数据框架时，Parquet 常常是首选的文件格式。使用 Apache Spark 读取和写入 Parquet 文件非常简单，通过 Spark SQL API，可以轻松地将数据处理流程集成到 Parquet 格式中，从而充分利用 Parquet 在大数据存储和查询中的优势。

翱翔-蓝天 2661

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表，创建专业级图表以简化复杂的信息。

从 CSV 到 Parquet：PySpark 处理不同格式数据的优化技巧

PySpark 是 Apache Spark 的 Python API，支持分布式数据处理。

2501_93876767的博客 759

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

数据存储与解析：深度剖析 Parquet 文件处理全流程

Parquet文件数据处理与解析

分享实践与思考 3463

Spark SQL下的Parquet使用最佳实践和代码实战

一：Spark SQL下的Parquet使用最佳实践1，过去整个业界对大数据的分析的技术栈的Pipeline一般分为一下两种方式：A）Data Source -> HDFS -> MR/Hive/Spark(相当于ETL) -> HDFS Parquet -> SparkSQL/impala -> Result Service(可以放在DB中，也有可能被通过JDBC/ODBC来作为数据服务使用)；B

sundujing的博客 1万+

Spark 使用 parquet 文件存储格式能带来哪些好处

1）如果说HDFS 是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准。 2）速度更快：从使用spark sql操作普通文件CSV和parquet文件速度对比上看，绝大多数情况会比使用csv等普通文件速度提升10倍左右，在一些普通文件系统无法在spark上成功运行的情况下，使用parquet很多时候可以成功运行。 3）parquet的压缩技术非常稳定出色，在spark sql中对压缩技术的处理可能无法正常的完成工作（例如会导致lost task，lost exe

weixin_59295776的博客 1328

parquet格式_使用Spark 解释大数据文件格式

了解Avro，Parquet和ORC的工作方式> Image Source: https://www.ellicium.com/orc-parquet-avro/在处理大型数据集时，就查询速度和存储成本而言，使用传统的CSV或JSON格式存储数据效率极低。> Figure 1: Shows a simple sql query performed using CSV, Parquet ...

weixin_39678525的博客 197

Kylin on Parquet 介绍和快速上手

Apache Kylin on Apache HBase 方案经过长时间的发展已经比较成熟，但是存在着一定的局限性。Kylin 查询节点当前主要的计算是在单机节点完成的，存在单点问题。而...

Focus on Lakehouse 779
上一篇： intelij Idea下sbt项目依赖包冲突
下一篇： 如何为Spark应用程序分配--num-executors，--execuor-cores和--executor-memory
点赞 1
评论 0
书签 书签 1
小糖宝
小糖宝
博客等级 码龄9年 47粉丝 46原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值