SparkSQL之thriftserver/beeline的使用

本文介绍如何启动ThriftServer及Beeline客户端,详细解释通过不同端口配置实现多客户端共享数据的方法,并对比ThriftServer与Spark-shell/Spark-sql的区别。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

启动thriftserver

使用命令启动:./start-thriftserver.sh --master local[2] --jars /home/iie4bu/software/mysql-connector-java-5.1.35.jar
然后使用jps -m查看,可以看到SparkSubmit
在这里插入图片描述
同样可以通过浏览器进行访问。实际上beeline访问端口则需要访问10000
在这里插入图片描述

启动客户端beeline

使用命令:bin/beeline -u jdbc:hive2://manager:10000 -n iie4bu
在这里插入图片描述
上面的图展示了正确连接的情况。
使用命令查看表:show tables;
在这里插入图片描述
查询语句:select * from sal s join people p on s.transactionid=p.id;
在这里插入图片描述
可以在浏览器中查看到作业:
在这里插入图片描述
可以查看详细的执行计划。
当我们在启动一个beeline时,会出现两个session:
在这里插入图片描述

修改thriftserver启动时的默认端口

首先将上面的beeline和thriftserver停止。
然后启动thriftserver时,指定端口号:14000。
./start-thriftserver.sh --master local[2] --jars /home/iie4bu/software/mysql-connector-java-5.1.35.jar --hiveconf hive.server2.thrift.port=14000
在这里插入图片描述
然后启动beeline客户端:
beeline -u jdbc:hive2://manager:14000 -n iie4bu,启动成功:
在这里插入图片描述

thriftserver与spark-shell/spark-sql区别

spark-shell和spark-sql启动时每次都需要重新申请资源,都是一个新的spark application。
thriftserver不管启动多少个客户端(beeline/jdbc方式),永远都是一个spark application。好处一:是只要在启动时申请一次就可以了,不需要在申请资源了。好处二:当一个客户端修改一个表之后,另一个客户端可以看到,解决了数据共享的问题,多个客户端可以共享数据。

### 回答1: Spark SQL是一个用于处理结构化数据的模块,它提供了一种基于SQL的编程接口,可以让用户使用SQL语句来查询数据。ThriftServer是Spark SQL的一个组件,它提供了一个基于Thrift协议的服务,可以让用户通过网络连接到Spark SQL,并使用SQL语句来查询数据。Beeline是一个用于连接到ThriftServer的命令行工具,它可以让用户通过命令行界面来执行SQL语句。 使用ThriftServerBeeline可以让用户通过网络连接到Spark SQL,并使用SQL语句来查询数据。首先需要启动ThriftServer,可以使用以下命令: ``` ./sbin/start-thriftserver.sh ``` 启动成功后,可以使用Beeline连接到ThriftServer,可以使用以下命令: ``` ./bin/beeline -u jdbc:hive2://localhost:10000 ``` 连接成功后,就可以使用SQL语句来查询数据了。例如,可以使用以下命令查询表格: ``` SELECT * FROM table_name; ``` 使用ThriftServerBeeline可以方便地查询Spark SQL中的数据,特别是在需要远程访问数据时非常有用。 ### 回答2: ThriftServer(又称HiveServer2)和Beeline都是Spark SQL中常用的工具,用于连接和操作Spark SQL。 ThriftServer是一个支持Hive/Spark SQL的服务,它允许用户通过多种编程语言(如Java、Python等)来访问和查询数据。ThriftServer通过Thrift协议提供了基于网络的服务,允许远程客户端连接到Spark集群并执行Spark SQL查询。ThriftServer可以通过配置来启用或禁用Kerberos身份验证,以实现安全连接。 Beeline是一个基于命令行的工具,它是Hive和Spark SQL的原生客户端。可以使用Beeline连接到ThriftServer,并通过命令行界面执行Spark SQL查询。Beeline支持多种连接方式,例如通过JDBC连接到ThriftServer、通过Kerberos进行身份验证等。用户可以通过Beeline执行SQL语句、管理数据库、查看查询结果等。 使用ThriftServerBeeline的步骤如下: 1. 首先,确保Spark集群已经启动,并且ThriftServer已经启动。可以通过spark-sql或spark-sql2启动ThriftServer,默认情况下会监听端口10000。 2. 使用Beeline连接到ThriftServer。可以通过命令beeline -u jdbc:hive2://hostname:port进行连接,其中hostname是ThriftServer所在的主机名或IP地址,port是ThriftServer监听的端口号。此外,还需要提供用户名和密码进行身份验证。 3. 连接成功后,可以在Beeline中执行SQL语句。输入SQL语句后,按下回车键即可执行。查询结果会显示在命令行界面上。还可以使用Beeline提供的命令来管理数据库、查看表、导入导出数据等操作。 ThriftServerBeeline使用简单而方便,能够有效地连接和操作Spark SQL。它们为用户提供了一种灵活的方式来查询和管理数据,便于开发人员和数据分析师使用Spark SQL进行数据处理和分析。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值