Zeppelin集成Hive的jdbc连接

原创已于 2024-05-13 11:01:03 修改 · 442 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#zeppelin集成 #hive

于 2021-05-20 10:06:44 首次发布

大数据技术专栏收录该内容

6 篇文章

订阅专栏

本文介绍如何在Zeppelin中集成Hive。通过继承通用JDBC解释器实现集成过程。首先创建并配置Interpreter，设置HiveServer2的IP地址及对应的URL。接着配置依赖项，包括Hive和Hadoop的相关jar包。

zeppelin集成hive，是通过继承通用jdbc解释器来实现。

创建Interpreter

选择Interpreter

选择Create，Interpreter group选择jdbc，Interpreter Name自己随便起个名。

配置Properties

注意，将jdbc:hive2://X.X.X.X:10000/default的jdbc连接串中的X.X.X.X替换成自己集群hiveserver2的IP地址。

Name	Value
default.driver	org.apache.hive.jdbc.HiveDriver
default.url	jdbc:hive2://X.X.X.X:10000/default
default.user	hive

配置Dependencies

需要配置hive的依赖jar包，hadoop的依赖jar包。在配置后，zeppelin会下载相关依赖jar包到zeppelin-0.9.0-bin-all的local-repo目录下。根据下载网速不同，可能需要等待几分钟到几十分钟不等。具体的Dependencies配置如下：

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九万里大数据

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Zeppelin与Hive的集成：实现大数据分析

PixelInk的博客

09-02

273

Zeppelin与Hive的集成：实现大数据分析Apache Zeppelin是一个开源的大数据分析和可视化工具，而Apache Hive则是一个构建在Hadoop之上的数据仓库和分析工具。通过将Zeppelin与Hive集成，可以实现对大数据的高效分析和可视化展示。本文将介绍如何配置和使用Zeppelin与Hive的集成，并提供相应的源代码示例。

zeppelin jdbc mysql_【数据可视化】Zeppelin JDBC 数据可视化(WEB方式)

weixin_39984578的博客

01-19

373

前面有篇文章，介绍Zeppelin MySQL Interpreter 的功能，可以访问MySQL数据库，并实现数据可视化，今天，有更好更方便的方式来访问MySQL，那就是 Zeppelin JDBC 方式，当然，你得有Spark和scala编程知识。虽然是一大挑战，但是值得你付出。不行咱们来看……理解概念Zeppelin: Apache Zeppelin 是一个让交互式数据分析变得可行的基于网页...

1 条评论您还未登录，请先登录后发表或查看评论

Zeppelin组件配置和使用：使用JDBC连接Hive

机器熊的技术大杂烩

04-28

2640

Zeppelin使用JDBC方式提供对hive组件的支持，本文介绍如何在Zeppelin中配置hive的解释器。版本信息 JDK：1.8 Zeppelin： 0.8.1 Hive： 2.3.4 Hadoop： 2.7.3 前提条件要在Zeppelin中使用hive，以下服务必须启动： hiveserver2 配置hive解释器新建一个继承自jdbc的解释器，命名为hive，如图所示。...

zeppelin环境搭建及连接hive使用--简易版一看就会

我玩的很开心的博客

07-12

6808

zeppelin环境搭建及连接hive使用一、准备工作1.zepeelin简介2.安装包下载3.环境要求二、解压安装三、修改配置文件1.修改配置文件zeppelin-site.xml2.修改zeppelin的环境文件四、启动zepeelin五、配置hive解释器1.配置hive的环境变量至zeppelin中2.在web页面配置集成hive2.1需先启动hadoop和hive服务2.2启动zeppelin服务2.3打开网页创建hive集成环境六、使用Zepplin的hive解释器1.创建notebook节点2

Zeppelin【实例 01】Generic JDBC Interpreter for Apache Zeppelin（通用JDBC之MySQL解释器使用完整指南）

シ風

03-09

772

Generic JDBC Interpreter for Apache Zeppelin（通用JDBC之MySQL解释器使用完整指南）

zeppelin的安装配置及连接hive使用

weixin_44168795的博客

06-24

2404

文章目录前言一、解压安装二、修改配置文件三、修改zeppelin的环境变量四、启动zeppelin五、在web页面配置集成hive1、创建interpreter2、参数配置3、配置Notebook4、验证hive解释器总结前言本文使用的zeppelin为：zeppelin-0.9.0-bin-all.tgz zepplin下载地址:http://zeppelin.apache.org/download.html 本文使用zepplin连接hive，所以需要虚拟机提前安装好hadoop以及hive 一

zeppelin 连接hive 认证方式_hive的三种部署模式，和使用

weixin_39727005的博客

12-01

188

hive的三种部署模式1、使用内置的derby数据库做元数据的存储使用内置的derby数据库做元数据的存储，操作derby数据库做元数据的管理。使用derby存储方式时，运行hive会在当前目录生成一个derby文件和一个metastore_db目录。这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库，目录不同时元数据也无法共享，不适合生产环境只适合练习。2、本地模式使用...

高级工具 zeppelin 整合hive教程

m0_48379126的博客

09-17

1412

安装环境：CentOS-7、JDK1.8、hadoop2.6、hive1.1 软件版本：zeppelin-0.8.1-bin-all 资源路径：https://pan.baidu.com/s/1-R7Izt4R0bJD-Vb7dlLPmQ 提取码：zzzz 1、

一百零四、Zeppelin0.9.0 连接 Hive 3.1.2（踩坑，亲测有效）

tiantang2renjian的博客

04-14

457

Zeppelin0.9.0 连接 Hive 3.1.2

zeppelin配置hive解释器

麻雀加

10-22

3520

CDH安装配置zeppelin-0.8.0 1.下载zeppelin 下载网站：http://zeppelin.apache.org/download.html 2.解压并修改配置文件解压文件 tar -zxvf zeppelin-0.8.0-bin-all.tgz cd /opt/zeppelin-0.8.0-bin-all /conf cp zeppelin-env.sh.templa...

关于使用zeppelin连接hive不能切换数据库或者只能使用默认数据库deafult的问题

我玩的很开心的博客

07-15

894

问题：使用zeppelin连接hive时，hive能正常使用，但是指定使用某个数据库时， use 数据库名并不报错，但是查询该数据库下所有表时： show tables 不显示或者显示在hive默认的数据库default下创建的表，那怎么才能切换到其他数据库呢？首先介绍解决办法：关于zepeelin搭建hive集成环境的设置之前已描述过，请参考：https://blog.youkuaiyun.com/and52696686/article/details/107294726 正确设置下zeppelin 连接

使用zeppelin配置hive解析器小白亲测爽的一批

weixin_47737819的博客

06-16

768

我们已经安装并配置好了zeppelin（小声逼逼：我那个方法是不是很爽，是不是再也不用排队了吧） 1、Zepplin中没有默认的hive解释器，但是我们可以通过jdbc解释器进行添加。（1）环境变量配置 ①拷贝hive的配置文件hive-site.xml到zepplin081下。 cp /opt/hive/conf/hive-site.xml /root/zeppelin081/conf/ ②拷贝jar包拷贝下面两个jar包到zeppelin安装目录下interperter中。（版本根据自己安装版本来

zeppelin中添加hive

weixin_45779793的博客

03-19

364

zeppelin中添加hive 首先你要安装了zeppelin并且能够进入zeppelin页面如下：之后点击右上角的’anonymous’ 然后点击：Interpreter 进入Interpreter后点击右上角’Create’ 进入创建页面后编辑配置如下: 写完后点击Save ，并在搜索框搜索hive，等待依赖下载完下载完后，我们点击Notebook，点击Create new note 并选中hive 最后我们就可以使用zeppelin来操作hive仓库了！至此我们使用zepp

Zeppelin组件配置和使用：使用JDBC连接Mysql

机器熊的技术大杂烩

04-16

2445

本文介绍Zeppelin如何配置JDBC解释器以支持Mysql数据库的CRUD操作。本文针对的Zeppelin版本为0.8.1。 Zeppelin对JDBC的支持 Zeppelin通过JDBC支持对PostgreSQL、Mysql、Mariadb、Apache Drill、Amazon Redshift、Apache Tajo等数据库的操作，Zeppelin默认支持的数据库为PostgreS...

如何在Zeppelin中使用hive

qq_42844410的博客

04-22

494

如何在Zeppelin中使用hive 1、创建一个新的note 2、interpreter binding 3、interpreter 4、create 5 6配置 7依赖

Zeppelin安装&使用Hive

wsjslient的博客

11-12

650

PS： Zeppelin中使用Hive，请先安装好hadooph&Hive,并且启动Hadoop的服务&Hive的数据仓库服务必须启动才可以正常使用Zepppelin！ Hadoop安装地址：https://blog.youkuaiyun.com/wsjslient/article/details/109603446 &nbs

Zeppelin框架及Hive查询操作

NeilNiu

04-10

1210

Apache Zeppelin是一款基于Web交互式框架，支持多种语言，Scala、SparkSQL、Markdown，SQL、Shell、Python等。可以使用Zeppelin链接SparkSQL。Zeppelin提供数据分析、数据可视化。打开浏览器访问，xxxx:8090。Zeppelin安装和使用。一键启动集群中所有的组件。

Apache Zeppelin 中 JDBC通用解释器

片刻 - ApacheCN

06-16

5521

概述 JDBC解释器允许您无缝地创建到任何数据源的JDBC连接。在运行每个语句后，将立即应用插入，更新和升级。到目前为止，已经通过以下测试： Postgresql - JDBC驱动Mysql - JDBC驱动MariaDB - JDBC驱动程序Redshift - JDBC驱动Apache Hive - JDBC驱动Apache Phoeni

如何基于zeppelin JDBC Interpreter进行jdbc数据源的可视化交互分析

penriver的博客

01-13

3196

Zeppelin 是一个基于Web的notebook提供数据可视化交互分析的WEB程序。通过Zeppelin，你做出可数据驱动的、可交互且可协作的精美文档。通过zeppelin的JDBC Interpreter，可以针对所有jdbc数据源进行可视化交互分析，JDBC Interpreter目前除支持主流的RMDB数据库外，还支持基于spark、flink、hive计算框架进行SQL分析。

Zeppelin使用教程

最新发布

10-12

Apache Zeppelin允许用户使用创建的笔记之一作为Zeppelin主页，还能对Zeppelin安装进行品牌定制，根据用户需求调整指导，甚至翻译成其他语言。设置笔记作为Zeppelin主页的相关内容可参考相关文档 [^1]。 Zeppelin有两种版本，分别是zeppelin - 0.7.0 - bin - netinst.tgz和zeppelin - 0.7.0 - bin - all.tgz。netinst是net - install的简写，Interpreters需自己通过网络安装，具体安装教程可查阅官方文档（http://zeppelin.apache.org/docs/0.7.0/manual/interpreterinstallation.html ），例如spark interpreter的安装命令为： ./bin/install - interpreter.sh --name spark --artifact org.apache.zeppelin:zeppelin - spark_2.10:0.7.0（spark2.1.0版本）；而all版本则是Interpreters都集成在压缩包中，无需网络安装 [^2]。在依赖添加方面，当解释器进程启动时，一些依赖会被添加到类路径中，如： ``` /data/zeppelin-0.8.0-bin-all/local-repo/jdbc/hadoop-common-2.6.0-cdh5.13.1.jar /data/zeppelin-0.8.0-bin-all/local-repo/jdbc/hive-common-1.1.0-cdh5.13.1.jar /data/zeppelin-0.8.0-bin-all/local-repo/jdbc/hive-jdbc-1.1.0-cdh5.13.1-standalone.jar /data/zeppelin-0.8.0-bin-all/local-repo/jdbc/hive-serde-1.1.0-cdh5.13.1.jar /data/zeppelin-0.8.0-bin-all/local-repo/jdbc/hive-service-1.1.0-cdh5.13.1.jar /data/zeppelin-0.8.0-bin-all/local-repo/jdbc/curator-client-2.6.0.jar /data/zeppelin-0.8.0-bin-all/local-repo/jdbc/hive-cli-1.1.0-cdh5.13.1.jar ``` [^3] 如果安装的是cdh版本，需要进行如下操作： ```bash cp /opt/install/hadoop/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/install/zeppelin-0.8.1-bin-all/interpreter/jdbc cp /opt/install/hive/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar /opt/install/zeppelin-0.8.1-bin-all/interpreter/jdbc ``` 之后可在web界面配置集成hive [^4]。在数据处理示例中，以银行客户数据集为例，其操作如下： ```scala // 读取CSV文件 val bankText = sc.textFile("path/to/bank-full.csv") // 定义数据结构 case class Bank( age: Integer, job: String, marital: String, education: String, balance: Integer ) // 数据处理：分割字段、过滤表头、映射到Bank类 val bank = bankText .map(_.split(";")) .filter(_(0) != "\"age\"") .map(s => Bank( s(0).toInt, s(1).replaceAll("\"", ""), s(2).replaceAll("\"", ""), s(3).replaceAll("\"", ""), s(5).replaceAll("\"", "").toInt )) // 注册为临时表 bank.toDF().createOrReplaceTempView("bank") ``` [^5]