pandas dataframe和spark dataframe处理大数据的一点建议

进击的西西弗斯

于 2021-11-02 18:27:35 发布

阅读量1.7k

点赞数

分类专栏：知识总结文章标签： spark 大数据 python hadoop

本文链接：https://blog.youkuaiyun.com/qq_42216093/article/details/121106167

版权

本文探讨了在处理15GB Hive表时，从spark dataframe转换为pandas dataframe导致的内存问题。虽然可以通过调整spark配置参数暂时解决问题，但面对更大规模数据时，pandas的单节点限制凸显，推荐使用spark dataframe进行大数据处理，特别是在hadoop集群上，其分布式计算能力更能应对超大型文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

遇到问题

我有一个15GB的Hive表，我想用pandas处理，于是我在pyspark中用spark.sql()读入为spark dataframe，然后使用pandas_df = spark_df.toPandas()命令将spark dataframe转换为pandas dataframe，但这个时候报错：

org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow. Available: 0, required: 35776893. To avoid this, increase spark.kryoserializer.buffer.max value.

解决方法

上述报错是因为spark缓存区大小不足，因此我们按照报错中的建议，在spark-submit中调整参数，将以下参数改为（原本没有则添加）\--conf spark.kryoserializer.buffer.max=256m \--conf spark.kryoserializer.buffer=64m

问题解决。

但是遇到新问题

上一个错误解决了，但是现在运行pyspark程序的时候又遇到新的报错：

org.apache.spark.SparkException: Job aborted due to stage failure: Total size of serialized results of

最低0.47元/天解锁文章