scala:Mysql to Hive的部分代码案例及说明

1 ,创建一个conf对象

    val conf = new SparkConf()
      .setAppName("moxie")
      .setMaster("local[*]")

因为需要连接hive 所以set一下参数

      .set("spark.driver.allowMultipleContexts", "true")
      .set("hive.metastore.uris", "thrift://192.168.157.133:9083")
      .set("spark.sql.warehouse.dir", "/user/hive/warehouse/") 

**spark.driver.allowMultipleContexts: ** If true, log warnings instead of throwing exceptions when multiple SparkContexts are active.

* * spark.driver。allowMultipleContexts: **如果为true,当多个sparkcontext处于活动状态时,日志警告而不是抛出异常。

 **hive.metastore.uris**  hive的metastore地址

**spark.sql.warehouse.dir** hive中的数据库在hadoop该路径下 需要将该路径权限改成777

hdfs dfs -chmod 777 /

 2,创建sparkSession对象

    val spark = new SparkSession
    .Builder()
      .config(conf)
      .enableHiveSupport() //开启hive支持
      .getOrCreate()

3,连接Mysql

    val url = "jdbc:mysql://localhost:3306/mydb"
    val df = spark.read.format("jdbc")
      .option("url",url)
      .option("driver","com.mysql.jdbc.Driver")
      .option("dbtable","mytable")
      .option("user","root")
      .option("password","123456")
      .load() // 加载

​

url:mysql的地址

driver:连接驱动

dbtable:表名   //数据库在url后面写

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值