使用beeline/jdbc 连接hive,impala,sparksql

最新推荐文章于 2024-06-05 14:15:24 发布

原创最新推荐文章于 2024-06-05 14:15:24 发布 · 3k 阅读

1 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

9 篇文章

订阅专栏

本文介绍了如何通过Beeline客户端连接Hive与SparkSQL的方法，包括配置细节与连接验证步骤。此外，还提供了更改SparkThriftServer端口来区分两者的解决方案，并简述了连接Impala的过程。

hive和sparksql的端口号都是10000，所以在连接时我们要区分连接的是sparksql还是hive。

连接hive:

beeline -u jdbc:hive2://cdh1:10000/default

当出现Connected to: Apache Hive 字样时，表示连接hive成功。

连接sparksql:

在cdh2上启动spark thirft-server服务：

/opt/cloudera/parcels/CDH/lib/spark/sbin/start-thriftserver.sh

再使用beeline连接sparksql：

beeline -u jdbc:hive2://cdh2:10000/default

当出现Connected to: Spark SQL 字样时，表示连接spark sql成功。

从上可以看出，连接hive和连接sparksql的方式是一样的，端口号都是10000。当连接的是hiveserver2所在的节点（即jdbc:hive2://cdh1中的cdh1）时，连接的是hive；当连接的是spark thirft-server所在的节点时，连接的是sparksql。

为了方便连接，我们可以修改spark thrift-server的端口号，如改成10010.

连接impala:

beeline -u jdbc:hive2://cdh1:21050/default

端口号是21050.

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

midNightParis

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

beeline 连接SPARK /Hive

lgshendy的专栏

05-06

1545

hiveclient所在主机的jdk 1.7_51，hive 0.12和hadoop 2.3.0是从服务器端拷贝过来的，环境变量一切OK. 执行连接报了Invalid URL的错误： $ beeline Beeline version 0.12.0 by Apache Hive beeline> !connect jdbc:hive2://cloud011:10000 scan com...

java impala_Java使用JDBC连接Impala

weixin_34280468的博客

02-16

2467

前段时间，有一个项目在连接Impala的时候，可以测试连接成功，但是查询不出表。但是通过impala-shell的时候，是可以查询出来的，我觉的这种方式查询出来的话，可能和jdbc的方式不一样，因为impala-shell连接的端口是21000，jdbc连接的端口是21050。我通过beeline的方式使用jdbc:hive2:的方式查询，因为impala和hive使用同一个metastore服务...

参与评论您还未登录，请先登录后发表或查看评论

用 beeline 连接 SparkSQL

wzy0623的专栏

03-28

1万+

用 beeline 连接 SparkSQL

用beeline连接SparkSQL

SunWuKong_Hadoop的博客

01-11

1383

1. 在$SPARK_HOME/conf/hive-site.xml文件中添加下面的属性 vi $SPARK_HOME/conf/hive-site.xml <configuration> <property> <name>hive.metastore.uris</name> <value>thr...

36.Beeline连接Impala

大勇若怯任卷舒

08-24

696

36.1 实验环境 CM和CDH版本为5.11.2和5.13.0 Kerberos环境和非Kerberos环境 36.2 实验操作 Impala JDBC驱动部署下载Impala JDBC驱动包下载地址：https://downloads.cloudera.com/connectors/impala_jdbc_2.5.41.1061.zip 将驱动包解压至 /root/impaladriver目录 [root@ip-172-31-6-148 impaladriver]# pwd /root

hadoop 如何连beeline_如何使用Beeline连接Impala

weixin_39759600的博客

12-29

443

1.文档编写目的Beeline是HiveServer2提供的一个新的命令行工具，基于SQLLine CLI的JDBC客户端。Beeline有两种模式：嵌入和远程模式。嵌入模式类似于运行Hive CLI，而远程模式可以通过thrift连接。支持连接Hive、MySQL、Oracle、Impala等。本篇文章主要讲述如何使用Beeline连接Impala。内容概述1.Impala JDBC驱动部署2....

基于beeline连接kerberos认证的impala

张不帅

08-11

2088

文章目录基础配置jdbc 连接连接池基础配置下载impala驱动 https://downloads.cloudera.com/connectors/impala_jdbc_2.5.41.1061.zip 将TCLIServiceClient.jar 以及 ImpalaJDBC4.jar 两个文件夹存放在hive 的本地目录下,只需要配置hiveserver2的节点即可连接 beeline -d "com.cloudera.impala.jdbc41.Driver" -u "jdbc:impala:

cdh 中 hive impala on sentry权限使用

zhangxiping

05-06

1560

背景现在我们公司有一些数据分析的场景，主要实现方式通过impala实现在线分析，现在接入我们cdh大数据平台的日志有很多，数据接入流程很简单，业务方所有的数据都发送至kafkak总线，flume二次开发，支持写入parquet格式数据，通过flume写入hdfs，db库数据通过dataX写入hdfs，格式为orc格式，这两种格式在压缩，和在线分析都有不错的性能提升。在线分析场景，由于各个业务方只...

【hive/beeline/spark】建表多分隔符，报：org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe

Jack_Roy的博客

01-19

3513

【hive/beeline/spark】建表多分隔符，报：org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe前言HIVE SHELL调整报错解决方案BEELINE调整报错解决方案SPARK调整解决方案后记前言大数据平台数据入湖逻辑执行方式从Impala改为beeline（连接hive）的方式后，在sql语句层面上做了一些调整（如DDL语句、分区字段等）。而后又发现，切换后hive默认不支持多字符作为行分隔符，设置多个字符==!@!==，但只会识

使用Beeline连接Impala

wn147258369的博客

10-29

227

1.环境 CDH 5.16.1 集群未集成Kerberos 2.下载Impala JDBC驱动下载地址：https://downloads.cloudera.com/connectors/impala_jdbc_2.5.41.1061.zip 3.将压缩包下的ImpalaJDBC41.jar，TCLIServiceClient.jar拷贝到 /opt/cloudera/parcels/CDH/...

使用beeline连接hive

不会心跳的博客

06-05

3189

使用beeline连接hive的前提是hive已经部署完毕，Hive单机部署可以看：http://t.csdnimg.cn/54WMQ。

hive beeline连接

weixin_42458562的博客

01-05

679

hive需要的jar包(可以在hive/lib里拿) hadoop-common hive-exec hive-jdbc hive-metastore hive-service hive-service-rpc (可能和上方jar包冲突，加exclusion) httpclient httpcore slf4j-api beeline 连接Hive Hive的连接方式： 1.cli方式在bin目录下执行hive，相当于执行的hive --service cli 2.通过客户端beeline访问hive

Hive beeline连接

Java_Road_Far的博客

02-29

603

启动hiveserver2服务 [kino@bigdata01.sutpc hive]$ bin/hiveserver2 启动beeline [kino@bigdata01.sutpc hive]$ bin/beeline Beeline version 1.2.1 by Apache Hive beeline> 连接hiveserver2 beeline> !connect ...

【spark-sql】使用thriftserver/beeline,spark访问hive

06-06

673

一、使用thriftserver/beeline,spark访问hive 1.启动thriftserver：默认端口是10000 （端口可以修改） cd /opt/spark/sbin ./start-thriftserver.sh --master local[2] --jars /opt/mysql-connector-java-5.1.22-bin.jar 2.启动beeline -n 用户名 ./beeline -u jdbc:hive2://localhost:10000 -n root

hive beeline 链接impala

ChengYanan的博客

12-20

1395

beeline -d "com.cloudera.impala.jdbc41.Driver" \ -u "jdbc:impala://xxxx:21050/;AuthMech=1;KrbRealm=.COM.LOCAL;KrbHostFQDN=xxx;KrbServiceName=impala"

使用beeline工具连接Hive

BrightMoons的博客

09-01

1351

###使用beeline工具连接Hive ####第一步:修改hadoop的hdfs-site.xml文件在该文件中添加以下内容,开启HDFS的REST接口功能: <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> ####第二步:修改hadoop的core-site.xml文件在文件中添加以下内容,设置代理用户:

使用beeline命令行访问Impala集群

skyyws的博客

04-15

3087

Impala本身提供了两种接口进行访问：beeswax和hs2，其中beeswax是impala自己开发的api，而hs2是兼容hive的。由于beesswax的连接方式需要使用impala自己提供的python脚本，而且不支持HA，因此这里就不再多做介绍。本文主要介绍如何使用hive的beeline客户端来连接impala集群。目前我们内部的Impala集群都支持zk的高可用，来解决单点故障的问...

hive之beeline连接与操作

最新发布

06-27

<think>我们正在回答用户关于Beeline的问题。根据引用资料，Beeline是HiveServer2提供的一个命令行工具，基于SQLLineCLI的JDBC客户端。它可以连接多种数据库，包括Hive、Impala、MySQL、Oracle等。使用Beeline有两种模式：嵌入模式和远程模式。用户的问题包括三个部分：定义、基本用法和在Linux系统中的连接方式。我们将按照以下结构回答：1.Beeline的定义2.Beeline的基本用法（包括两种模式）3.在Linux系统中通过Beeline连接数据库或服务的具体步骤（以连接Impala或Hive为例）注意：引用资料中提供了多个引用，我们将适当引用这些资料。另外，根据系统级指令，我们需要在回答中自然地添加引用标识，例如在引用资料的末尾加上[^1]等。同时，我们还需要生成相关问题。开始回答：</think>### Beeline工具的定义与使用指南 #### **1. Beeline的定义** Beeline是由HiveServer2提供的**命令行工具**，基于SQLLine CLI开发的JDBC客户端[^1][^2]。它用于通过JDBC协议连接支持SQL的数据库或大数据服务（如Hive、Impala、MySQL等），替代传统的Hive CLI工具。核心特点包括： - **两种运行模式**： - **嵌入模式**：在本地直接运行（类似Hive CLI）。 - **远程模式**：通过Thrift协议远程连接服务端（生产环境常用）[^1]。 - **安全性**：支持Kerberos认证和SSL加密传输。 - **跨平台**：纯Java实现，可在任何支持Java的系统中运行[^2]。 #### **2. Beeline的基本用法** ##### **(1) 安装与启动** - Beeline通常随Hive或Hadoop生态组件预装。若需独立安装，需包含以下包： ```bash hive-jdbc.jar, hive-service.jar, libthrift.jar # JDBC驱动依赖 ``` - 启动命令： ```bash beeline # 进入交互式命令行 ``` ##### **(2) 连接服务端语法** 通用连接格式： ```bash !connect jdbc:<database_type>://<host>:<port>/<database_name> ``` - **参数说明**： - `<database_type>`：数据库类型（如 `hive2`、`mysql`）。 - `<host>:<port>`：服务端地址与端口（HiveServer2默认端口10000）。 - `<database_name>`：目标数据库名（如Hive中的 `default` 库）。 ##### **(3) 操作示例** ```bash # 连接HiveServer2 beeline> !connect jdbc:hive2://node01:10000/default Enter username: hive_user # 输入用户名 Enter password: ********* # 输入密码 # 执行SQL查询 0: jdbc:hive2://node01:10000> SELECT * FROM employee; ``` #### **3. Linux系统中连接数据库/服务的步骤** 以连接**Impala**和**MySQL**为例： ##### **(1) 连接Impala** ```bash beeline -u "jdbc:hive2://impala-server:21050/default;auth=noSasl" -n impala_user ``` - **关键参数**： - `auth=noSasl`：Impala通常禁用SASL认证[^1]。 - `-n`：直接指定用户名（避免交互式输入）。 ##### **(2) 连接MySQL** ```bash beeline -u "jdbc:mysql://mysql-server:3306/metastore" -d com.mysql.jdbc.Driver -n root ``` - **参数说明**： - `-d`：指定JDBC驱动类（需提前将`mysql-connector-java.jar`放入`$HIVE_HOME/lib`）[^4]。 ##### **(3) Kerberos认证连接（安全环境）** ```bash beeline -u "jdbc:hive2://hive-server:10000/default;principal=hive/_HOST@REALM.COM" ``` #### **4. 常见问题排查** - **连接拒绝**：检查服务端是否启动（Hive需启动`hiveserver2`服务[^3]）。 - **驱动缺失**：将数据库JDBC驱动JAR包放入`$BEELINE_HOME/lib`。 - **权限错误**：确认用户名/密码或Kerberos票据有效。 > **注意**：Beeline命令需在配置Hadoop生态环境变量的Linux终端执行，且确保网络可访问目标服务端[^1][^3]。 --- ###