spark running thrift server

本文详细介绍了如何使用Spark启动ThriftServer,包括启动命令及参数设置,并展示了通过JDBC连接ThriftServer的过程。同时,提供了相关依赖包的引入,确保了代码的正确运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

spark running thrift server 

1 启动 thrift server 

   cd $SPARK_HOME/

   sh sbin/start-thriftserver.sh  --hiveconf hive.server2.thrift.port=10000  --hiveconf hive.server2.thrift.bind.host=yf-hive01 --master spark://testnode:7077 --driver-class-path /home/test/hadoop/spark-1.2.0-bin-1.0.3/lib/mysql-connector-java-5.1.32-bin.jar --executor-memory 10g

  其实也也可以直接    sh sbin/start-thriftserver.sh  默认端口10000

  或直接配置一个端口号

  sh sbin/start-thriftserver.sh  --hiveconf hive.server2.thrift.port=8000

2 JDBC 连接

   

  Class.forName("org.apache.hive.jdbc.HiveDriver").newInstance();
 Connection conn = DriverManager.getConnection(url, name, pwd);
 Statement stat = con.createStatement();
   stat.executeQuery("select * from test");

    需引入包

    

<dependency>
			<groupId>org.spark-project.hive</groupId>
			<artifactId>hive-exec</artifactId>
			 
		</dependency>
		<dependency>
			<groupId>org.spark-project.hive</groupId>
			<artifactId>hive-jdbc</artifactId>
		 
		</dependency>
		<dependency>
			<groupId>org.spark-project.hive</groupId>
			<artifactId>hive-service</artifactId>
			< 
		</dependency>
		<dependency>
			<groupId>org.spark-project.hive</groupId>
			<artifactId>hive-common</artifactId>
			 
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
		 
		</dependency>

 

    

 

参考

http://blog.youkuaiyun.com/wind520/article/details/44061563

 

 

 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值