spark SQL 执行测试

原创已于 2023-03-08 17:01:27 修改 · 347 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#java

于 2023-03-08 15:46:06 首次发布

java后端学习专栏收录该内容

10 篇文章

订阅专栏

该代码演示了如何使用SparkSQL从JSON文件中读取数据，将其转换为DataFrame，创建临时视图，然后执行SQL查询来获取特定条件下的最大值和最小值。

public class SparkSQLTest16 {
    public static void main(String[] args){
        SparkSession spark = SparkSession
                .builder()
                .appName("SparkSQLTest16")
                .config("spark.some.config.option", "some-value")
                .getOrCreate();

        Dataset<Row> df = spark.read().json("file:///home/pyspark/test.json");
        df.createOrReplaceTempView("compmtesttable");
        String tmpSql = "select inst_no,max(score),min(score) " + 
                       " from compmtesttable where age = 12 group by inst_no";
        spark.sql(tmpSql).show();

        spark.stop();
    }