Lunch Hive Task By SpringBoot

原创已于 2022-02-11 16:27:18 修改 · 置顶 · 931 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Hive

于 2021-11-19 16:16:51 首次发布

Big Data Storage 专栏收录该内容

37 篇文章

订阅专栏

本文介绍如何使用SpringBoot结合JDBC连接Hive，并通过HiveServer提交任务到MapReduceOnYarn进行计算。文中详细解释了核心配置及任务提交的具体步骤。

序言

本Demo是基于SpringBoot 创建Hive 任务并提交到 MapReduce On Yarn 上进行计算.

那SpringBoot连接Hive的整体思路其实很简单就是通过JDBC.针对Hive的任务并提交到Yarn上就是通过SQL(当然实际的任务是MapReduce,那我们只是通过SQL的形式交由程序去自动创建cuiyaonan2000@163.com) 前提是要启动Hive Server

如下所示:

参考信息:

Apache Hive TM

整合方案

正如官网所说的,我们直接以JDBC的形式进行整合就行了,就像你使用Mybatis整合MySql一样.

如此我们就可以了解到,在我们自己的工程中可以同时整合Mysql,Oracle,Hive进行多数据源的操作.整合的要求参考不同JPA的技术实现,你可以把Hive看成就是Mysql.只是使用了不同的驱动.

核心配置^_^

spring:
  jmx:
     default-domain: gateway
  output:
    ansi:
      enabled: DETECT
  datasource:
    druid:
      url: jdbc:hive2://172.17.15.2:10000/default
      driver-class-name: org.apache.hive.jdbc.HiveDriver
      username: cuiyaonan
      password: cuiyaonan
      initial-size: 5
      max-active: 20
      min-idle: 5
      max-wait: 60000
      validationQuery: SELECT 1