parquet压缩格式参数设置以及简单操作

原创于 2017-09-25 18:05:24 发布 · 1w 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#parquet #压缩

spark 专栏收录该内容

32 篇文章

订阅专栏

本文介绍了Parquet文件格式在Spark中的使用及默认压缩方式。默认情况下，Spark使用gzip压缩Parquet文件，但也可选择uncompressed、snappy或lzo等其他压缩编解码器。示例代码展示了如何读取和显示Parquet文件内容。

Parquet 文件会在 gzip 中自动压缩，因为 Spark 变量 spark.sql.parquet.compression.codec 已在默认情况下设置为 gzip。您还可以将压缩编解码器设置为 uncompressed、snappy 或 lzo

object Save2Parquet {
    def main(args: Array[String]): Unit = {
        val conf = new SparkConf().setAppName("Save2Parquet").setMaster("local[2]")
//        conf.set("spark.sql.parquet.compression.codec","uncompressed")
        val sc = new SparkContext(conf)
        val sqlContext = new SQLContext(sc)
//        val DF = sqlContext.read.json("F:/03.hadoop/data/spark/sql/sqldf.json")
//        DF.repartition(1)
//        DF.write.parquet("F:/03.hadoop/data/a")
        val DF = sqlContext.read.parquet("F:/03.hadoop/data/a/part-r-00000-7cb2b83b-9237-4e11-86a7-663eafa71fc7.gz.parquet")
        DF.show()
        sc.stop()
    }
}