parquet压缩格式参数设置以及简单操作

最新推荐文章于 2025-06-04 18:14:48 发布

卡奥斯道

最新推荐文章于 2025-06-04 18:14:48 发布

阅读量1w

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： parquet 压缩

本文链接：https://blog.youkuaiyun.com/kaaosidao/article/details/78087946

spark 专栏收录该内容

33 篇文章

订阅专栏

本文介绍了Parquet文件格式在Spark中的使用及默认压缩方式。默认情况下，Spark使用gzip压缩Parquet文件，但也可选择uncompressed、snappy或lzo等其他压缩编解码器。示例代码展示了如何读取和显示Parquet文件内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Parquet 文件会在 gzip 中自动压缩，因为 Spark 变量 spark.sql.parquet.compression.codec 已在默认情况下设置为 gzip。您还可以将压缩编解码器设置为 uncompressed、snappy 或 lzo

object Save2Parquet {
    def main(args: Array[String]): Unit = {
        val conf = new SparkConf().setAppName("Save2Parquet").setMaster("local[2]")
//        conf.set("spark.sql.parquet.compression.codec","uncompressed")
        val sc = new SparkContext(conf)
        val sqlContext = new SQLContext(sc)
//        val DF = sqlContext.read.json("F:/03.hadoop/data/spark/sql/sqldf.json")
//        DF.repartition(1)
//        DF.write.parquet("F:/03.hadoop/data/a")
        val DF = sqlContext.read.parquet("F:/03.hadoop/data/a/part-r-00000-7cb2b83b-9237-4e11-86a7-663eafa71fc7.gz.parquet")
        DF.show()
        sc.stop()
    }
}