Spark数据源

最新推荐文章于 2025-05-14 09:06:05 发布

小黄鸭and小黑鸭

最新推荐文章于 2025-05-14 09:06:05 发布

阅读量874

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据生态圈 spark学习笔记

本文链接：https://blog.youkuaiyun.com/qq_29721419/article/details/82353375

教程：

http://spark.apache.org/docs/latest/sql-programming-guide.html#hive-metastore-parquet-table-conversion

多种类型数据源加载和保存

 // $example on:generic_load_save_functions$
    Dataset<Row> usersDF = spark.read().load("examples/src/main/resources/users.parquet");
    usersDF.select("name", "favorite_color").write().save("namesAndFavColors.parquet");
    // $example off:generic_load_save_functions$
    // $example on:manual_load_options$
    Dataset<Row> peopleDF = spark.read().format("json").load("examples/src/main/resources/people.json");
    peopleDF.select("name", "age").write().format("parquet").save("namesAndAges.parquet");
    // $example off:manual_load_options$
    // $example on:manual_load_options_csv$
    Dataset<Row> peopleDFCsv = spark.read().format("csv")
            .option("sep", ";")
            .option("inferSchema", "true")
            .option("header", "true")
            .load("examples/src/main/resources/people.csv");
    // $example off:manual_load_options_csv$
    // $example on:direct_sql$
    Dataset<Row> sqlDF =
            spark.sql("SELECT * FROM parquet.`examples/src/main/re