sparksql parquet 分区推断Partition Discovery

最新推荐文章于 2025-05-13 17:24:09 发布

weixin_30667301

最新推荐文章于 2025-05-13 17:24:09 发布

阅读量183

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 scala java

原文链接：http://www.cnblogs.com/tele-share/p/10385670.html

本文详细介绍了如何在Spark中使用分区推断功能。通过设置数据源的basePath，可以在读取Parquet格式的数据时进行分区推断，从而更高效地处理大规模数据集。文章提供了Java和Scala两种语言的代码示例，展示了如何正确配置SparkSession并加载分区数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

网上找的大部分资料都很旧,最后翻了下文档只找到了说明

大概意思是1.6之后如果想要使用分区推断就要设置数据源的basePath,因此代码如下

java

 1 public class ParitionInfer {
 2     private static SparkConf conf = new SparkConf().setAppName("partitioninfer");
 3     private static JavaSparkContext jsc = new JavaSparkContext(conf);
 4     private static SparkSession session = new SparkSession(jsc.sc());
 5 
 6     public static void main(String[] args) {
 7 
 8         // 加载数据源
 9         Dataset<Row> dataset = session.read().option("basePath", "hdfs://hadoop002:9000/spark_sql/users/")
10                 .parquet("hdfs://hadoop002:9000/spark_sql/users/gender=male/country=us/users.parquet");
11 
12         dataset.printSchema();
13         dataset.show();
14 
15         session.stop();
16         jsc.close();
17     }
18 }

(注意basePath与实际的parquet文件的路径,basePath是分区推断列之前的路径)

scala

 1 object PartitionInfer {
 2   def main(args: Array[String]): Unit = {
 3     val conf = new SparkConf().setAppName("partitioninfer").setMaster("local")
 4     val sc = new SparkContext(conf)
 5     val sqlContext = new SQLContext(sc)
 6 
 7     val df = sqlContext.read.option("basePath", "f:/").parquet("f:/gender=male/country=us/users.parquet")
 8 
 9     df.printSchema()
10     df.show()
11   }
12 }