spark running thrift server

最新推荐文章于 2025-08-13 22:04:55 发布

原创最新推荐文章于 2025-08-13 22:04:55 发布 · 208 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

spark 专栏收录该内容

3 篇文章

订阅专栏

本文详细介绍了如何使用Spark启动ThriftServer，包括启动命令及参数设置，并展示了通过JDBC连接ThriftServer的过程。同时，提供了相关依赖包的引入，确保了代码的正确运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark running thrift server

1 启动 thrift server

cd $SPARK_HOME/

sh sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=yf-hive01 --master spark://testnode:7077 --driver-class-path /home/test/hadoop/spark-1.2.0-bin-1.0.3/lib/mysql-connector-java-5.1.32-bin.jar --executor-memory 10g

其实也也可以直接 sh sbin/start-thriftserver.sh 默认端口10000

或直接配置一个端口号

sh sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=8000

2 JDBC 连接

  Class.forName("org.apache.hive.jdbc.HiveDriver").newInstance();
 Connection conn = DriverManager.getConnection(url, name, pwd);
 Statement stat = con.createStatement();
   stat.executeQuery("select * from test");

需引入包

<dependency>
			<groupId>org.spark-project.hive</groupId>
			<artifactId>hive-exec</artifactId>
			 
		</dependency>
		<dependency>
			<groupId>org.spark-project.hive</groupId>
			<artifactId>hive-jdbc</artifactId>
		 
		</dependency>
		<dependency>
			<groupId>org.spark-project.hive</groupId>
			<artifactId>hive-service</artifactId>
			< 
		</dependency>
		<dependency>
			<groupId>org.spark-project.hive</groupId>
			<artifactId>hive-common</artifactId>
			 
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
		 
		</dependency>