Spark SQL之jdbc方式访问

最新推荐文章于 2025-11-03 09:25:18 发布

原创最新推荐文章于 2025-11-03 09:25:18 发布 · 803 阅读

0 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

33 篇文章

订阅专栏

本文介绍如何检查并启动ThriftServer，通过在pom.xml中添加hive-jdbc依赖，实现SparkSQL ThriftServer的JDBC连接。示例代码展示了如何使用Java进行连接，执行SQL查询并获取结果。

首先看thriftserver状态

使用jps查看thriftserver运行状态和端口。如果没启动则需要启动thriftserver
在这里插入图片描述

添加依赖

pom.xml文件内容如下：

    <!-- jdbc -->
    <dependency>
      <groupId>org.spark-project.hive</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>1.2.1.spark2</version>
    </dependency>

编写jdbc代码

package cn.ac.iie.spark

import java.sql.DriverManager

/**
 * 通过JDBC 方式
 */
object SparkSQLThriftServerApp {
  def main(args: Array[String]): Unit = {
    Class.forName("org.apache.hive.jdbc.HiveDriver")
    val conn = DriverManager.getConnection("jdbc:hive2://manager:10000", "iie4bu", "")
    val pstmt = conn.prepareStatement("select transactionid, customerid from sal")
    val rs = pstmt.executeQuery()
    while(rs.next()) {
      println("transactionid:" + rs.getInt("transactionid") + ", customerid:" + rs.getString("customerid"))
    }
    rs.close()
    pstmt.close()
  }

}