Spark SQL——通用的load和save操作

一、通用的load和save操作

对于Spark SQL的DataFrame来说,无论是从什么数据源创建出来的DataFrame,都有一些共同的load和save操作。load操作主要用于加载数据,创建出DataFrame;save操作,主要用于将DataFrame中的数据保存到文件中。

基于java

DataFrame df = sqlContext.read().load("users.parquet");
df.select("name", "favorite_color").write().save("namesAndFavColors.parquet");

基于scala

val df = sqlContext.read.load("users.parquet")
df.select("name", "favorite_color").write.save("namesAndFavColors.parquet")

二、手动指定数据源类型

  • 也可以手动指定用来操作的数据源类型。数据源通常需要使用其全限定名来指定,比如parquet是org.apache.spark.sql.parquet。但是Spark SQL内置了一些数据源类型,比如json,parquet,jdbc等等。实际上,通过这个功能,就可以在不同类型的数据源之间进行转换了。比如将json文件中的数据保存到parquet文件中。默认情况下,如果不指定数据源类型,那么就是parquet。

基于java

package cn.spark.study.sql;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.sql.SaveMode;

/**
 * 手动指定数据源类型
 */
public class ShouDongDataSource_5 {

    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setMaster("local").setAppName("ShouDongDataSource_5");
        JavaSparkContext sc = new JavaSparkContext(conf);
        SQLContext sqlContext = new SQLContext(sc);

        DataFrame peopleDF = sqlContext.read().format("json").load("E:\\sparktext\\people.json");
        //peopleDF.select("name").save("E:\\sparktext\\peoplename_java", SaveMode.Overwrite);
        //peopleDF.select("name").save("E:\\sparktext\\peoplename_java", SaveMode.Append);
        //peopleDF.select("name").write().format("parquet").save("E:\\sparktext\\peoplename_java");

        //peopleDF.saveAsParquetFile("E:\\sparktext\\peoplename_java");
    }
}

基于scala

val df = sqlContext.read.format("json").load("people.json")
df.select("name", "age").write.format("parquet").save("namesAndAges.parquet")

三、 Save Mode

Spark SQL对于save操作,提供了不同的save mode。主要用来处理,当目标位置,已经有数据时,应该如何处理。而且save操作并不会执行锁操作,并且不是原子的,因此是有一定风险出现脏数据的。

Save Mode意义
SaveMode.ErrorIfExists (默认)如果目标位置已经存在数据,那么抛出一个异常
SaveMode.Append如果目标位置已经存在数据,那么将数据追加进去
SaveMode.Overwrite如果目标位置已经存在数据,那么就将已经存在的数据删除,用新数据进行覆盖
SaveMode.Ignore如果目标位置已经存在数据,那么就忽略,不做任何操作
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值