thriftserver & beeline 用法

最新推荐文章于 2024-08-14 21:41:59 发布

路飞DD

最新推荐文章于 2024-08-14 21:41:59 发布

阅读量432

点赞数 1

CC 4.0 BY-SA版权

分类专栏： SparkSQL Spark 大数据 Hive Hadoop Spark 文章标签： thriftserver beeline spark sparksql spark SQL 操作 hive

本文链接：https://blog.youkuaiyun.com/weixin_37417954/article/details/94591567

大数据同时被 3 个专栏收录

25 篇文章

订阅专栏

Spark

21 篇文章

订阅专栏

Spark

21 篇文章

订阅专栏

本文详细介绍了如何启动Hive ThriftServer服务端，包括配置JDBC连接，通过beeline进行连接，并提供了操作hive数据的步骤。同时，文章还介绍了如何在WebUI上查看状态以及关闭thriftserver的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

启动 thriftserver 服务端

[hadoop@hadoop2 sbin]$ ./start-thriftserver.sh \
--master local[2] \
--jars /opt/module/hive-1.2.2/lib/mysql-connector-java-5.1.27-bin.jar

WebUI 查看

启动 beeline 进行连接

# -n 后面加当前用户名
[hadoop@hadoop2 bin]$ ./beeline -u jdbc:hive2://localhost:10000 -n hadoop

操作 hive 数据

WebUI 查看

关闭 thriftserver

找到进程号 kill 掉就可以了

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

路飞DD

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Spark Thrift Server HA 解决方案

主要分享大数据相关的知识，如Spark、Hudi

05-11

1068

本文为组内同事整理,这里稍作改动记录。本文主要修改Spark源码，实现Spark Spark Thrift Server 注册到到ZK，通过ZK连接实现负载均衡；另外可以通过使用Kyuubi实现HA，这里不做详细描述。

【八】thriftserver和beeline的使用

Sid小杰的博客

07-26

1094

thriftserver和spark-shell/spark sql的区别： 1.每次启动一个spark-shell/spark sql它都是一个spark application，每次都要重新启动申请资源。 2.用thriftserver，无论启动多少个客户端（beeline），只要是连在一个thriftserver上，它都是一个spark application，后面不用在重新申请资源。能...

参与评论您还未登录，请先登录后发表或查看评论

SparkSQL之thriftserver/beeline的使用

vincent_duan的专栏

03-27

664

启动thriftserver 使用命令启动：./start-thriftserver.sh --master local[2] --jars /home/iie4bu/software/mysql-connector-java-5.1.35.jar。然后使用jps -m查看，可以看到SparkSubmit 同样可以通过浏览器进行访问。实际上beeline访问端口则需要访问10000 启动客户...

thriftserver&beeline的使用

zghgchao

12-22

481

启动thriftserver:：默认端口是10000 ，可以修改 ./sbin/start-thriftserver.sh --master local[2] 2.启动beeline ./bin/beeline -u jdbc:hive2://localhost:10000 -n hadoop0: jdbc:hive2://localhost:10000> show table

Hive thrift服务--beeline使用

松门一枝花

03-11

3872

hive提供了thrift服务，只要客户端符合thrift标准就可以与它对接。这样可以以在一台服务器上启动一个hive，其他用户通过thrift访问hive。 hive自带了一个thrift的客户端-------bin/beeline 启动方式： 1、hadoop的core-site.xml增加配置 hadoop.proxyuser.hadoop.groups

Hive的hiveserver2和beeline的使用以及spark thritfserver的启动

a18792721831的博客

02-24

6307

Hive的hiveserver2和beeline的使用以及spark thritfserver的启动Hive 的hiveserver2介绍hiveserver2 的配置beeline连接hiveserver2配置hiveserver2的界面spark thriftserver的配置beeline 连接spark thriftserverthriftserver和spark-sql对比spark sql 程序连接thriftserver Hive 的hiveserver2介绍 HiveServer2 (HS2

企业大数据实战：Kyuubi 与 Spark ThriftServer 的全面对比分析

NetEaseResearch的博客

03-19

7367

网易数帆旗下易数大数据团队开源的 Kyuubi，和 Spark 社区的Spark Thrift Server，都是通过纯 SQL 语言和 JDBC 接口的方式降低大数据使用门槛的项目。本文从企业大数据应用场景关注的问题出发，对比了 Kyuubi 与 Spark Thrift Server 的差异与优劣，并引入HiveServer2 进行全面的分析。

CDH5.5.0中配置运行Spark SQL的Thrift Server

oufuji的博客

12-16

5091

CDH5.5.0里面阉割了spark-sql和sparkR，目录里面都没有start-thriftserver.sh，哪怕是spark Standalone部署。前面帖子讲到，CDH5.5.0 spark-sql没有的情况下，在一个节点部署外面社区版的spark1.5.2，spark on yarn后，spark-sql shell的方式可以查询了。但是问题来了，jdbc如何使用s

beeline连接远程mysql_Beeline使用

weixin_39558317的博客

02-23

1299

背景hadoop2的hive采用了新的hive server，称为HiveServer2，HiveServer2中的CLI客户端不建议使用hive CLI，而是建议使用Beeline这个客户端，今天就说说这个客户端的用法。介绍HiveServer2提供了一个新的命令行工具beeline来连接hiveserver2，beeline是基于SQLLine CLI的JDBC客户端，因此SQLLine文档也...

beeline安装_hive使用beeline配置远程连接

weixin_39606575的博客

12-19

794

hive以hadoop集群为基础，提供hdfs的SQL支持；hive一般可以以mysql为元数据存储，默认Derby；hadoop，hive安装自行百度吧；介绍hive的远程访问：未配置之前使用beeline的话，每次都要为连接输入用户名密码，较为麻烦；实现目标：在非集群节点上敲beeline命令，直接进入到hive的命令行1，在hive服务的安装节点的hive-site.xml配置文件中添加以下...

Hive客户端hive与beeline的区别

Java/Python大数据随笔

11-18

1849

1、背景描述2、hive客户端3、beeline客户端4、hive与beeline的关系5、hive与beeline执行SQL。

Hive(十七)beeline

技术博客

08-14

803

在嵌入式模式下，运行嵌入式的Hive(类似Hive CLI)，而远程模式可以通过Thrift连接到独立的HiveServer2进程上。Hive客户端工具后续将使用Beeline 替代HiveCLI ，并且后续版本也会废弃掉HiveCLI 客户端工具,Beeline是 Hive 0.11版本引入的新命令行客户端工具,它是基于SQLLine CLI的JDBC客户端。beeline在连接过程中可能会受到hadoop的权限验证的限制，所以在启动beeline之前，需要去更改Hadoop的配置。

hive的HiveServer2/beeline配置及使用

Null的博客

04-09

6032

第一：修改 hadoop 集群的 hdfs-site.xml 配置文件：加入一条配置信息，表示启用 webhdfscd /home/hadoop/apps/hadoop-2.7.5/etc/hadoop&lt;property&gt; &lt;name&gt;dfs.webhdfs.enabled&lt;/name&gt; &lt;value&gt;true&lt;/value...

[spark]解决beeline连接thrift-server加载数据权限问题

卧龙居

05-07

4230

1.如果期望spark的表存放到hive的hdfs中需要在环境变量及conf/spark-env.sh中配置 HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop 2.如果期望用beeline连接thrift-server时不报权限错误需要在环境变量及conf/spark-env.sh中配置 HADOOP_USER_NAME=有hdfs权限的用

一.SparkSQL中thriftserver和beeline的使用

飞翔的宇宙

10-08

3492

使用的前提是你已经安装好了spark,在这里我使用的版本是spark-2.0.2-bin-hadoop2.7,建议使用该版本,因为试了几个版本都不理想,最后找到了这个版本感觉挺好的,学习Spark SQL很方便. 1. 首先是启动thriftserver服务端: 服务器端是在spark目录下的sbin目录下,但是启动的时候不能直接使用./start-thriftserver.sh进行启动,会报没有...

thriftserver的SparkSQL命令行操作Hive表

九师兄

07-04

1937

参考：http://spark.apache.org/docs/2.2.0/sql-programming-guide.html#running-the-thrift-jdbcodbc-server Spark SQL也可以使用其JDBC / ODBC或命令行界面作为分布式查询引擎。在这种模式下，最终用户或应用程序可以直接与Spark SQL交互以运行SQL查询，而无需编写任何代码。运行...

如何在Spark平台搭建ThriftServer

遥望......

10-27

2059

Thrift JDBC Server描述 Thrift JDBC Server使用的是HIVE0.12的HiveServer2实现。能够使用Spark或者hive0.12版本的beeline脚本与JDBC Server进行交互使用。Thrift JDBC Server默认监听端口是10000。使用Thrift JDBC Server前需要注意： 1、将 1234567

Spark Sql之ThriftServer和Beeline的使用

weixin_30304375的博客

11-07

173

概述 ThriftServer相当于service层，而ThriftServer通过Beeline来连接数据库。客户端用于连接JDBC的Server的一个工具步骤 1：启动metastore服务 ./sbin/start-thriftserver.sh 2：连接 [rachel@bigdata-senior01 spark-2.2.0-bin]$ ./bin/beelin...

beeline没反应