Lunch Hive Task By SpringBoot_springboot 如何提交hivesql到yarn上执行-优快云博客

本文链接：https://blog.youkuaiyun.com/cuiyaonan2000/article/details/121404814

本文介绍如何使用SpringBoot结合JDBC连接Hive，并通过HiveServer提交任务到MapReduceOnYarn进行计算。文中详细解释了核心配置及任务提交的具体步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

序言

本Demo是基于SpringBoot 创建Hive 任务并提交到 MapReduce On Yarn 上进行计算.

那SpringBoot连接Hive的整体思路其实很简单就是通过JDBC.针对Hive的任务并提交到Yarn上就是通过SQL(当然实际的任务是MapReduce,那我们只是通过SQL的形式交由程序去自动创建cuiyaonan2000@163.com) 前提是要启动Hive Server

如下所示:

参考信息:

Apache Hive TM

整合方案

正如官网所说的,我们直接以JDBC的形式进行整合就行了,就像你使用Mybatis整合MySql一样.

如此我们就可以了解到,在我们自己的工程中可以同时整合Mysql,Oracle,Hive进行多数据源的操作.整合的要求参考不同JPA的技术实现,你可以把Hive看成就是Mysql.只是使用了不同的驱动.

核心配置^_^

spring:
  jmx:
     default-domain: gateway
  output:
    ansi:
      enabled: DETECT
  datasource:
    druid:
      url: jdbc:hive2://172.17.15.2:10000/default
      driver-class-name: org.apache.hive.jdbc.HiveDriver
      username: cuiyaonan
      password: cuiyaonan
      initial-size: 5
      max-active: 20
      min-idle: 5
      max-wait: 60000
      validationQuery: SELECT 1