java连接Hive的几种方式

java通过Kerberos认证方式连接hive 在数据源管理功能中,需要适配mysql、postgresql、hive等数据源。mysql和postgresql连接方式一致,只需要驱动和jdbcurl即可,而hive背后是大数据集群,多采用Kerberos的方式保护集群环境,要想与大数据集群正常交互,需要经过kdc认证获取ticket,因此获取hive连接前需要先通过Kerberos认证。 阅读详情
 

测试环境 Hadoop 0.20.2版本、Hive-0.5.0版本、JDK1.6

 

1、一般来说我们对hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都存放一个元数据,各个之间都不相同,所以,对于这样的模式我建议是用来做一些测试比较合适,并不适合做产品的开发和应用。

 

2、JDBC连接的方式,当然还有其他的连接方式,比如ODBC等, 这种方式很常用,可以在网上随便找到,就不再累赘了。

不稳定,经常会被大数据量冲挂,不建议使用。

 

3、这种方式是直接利用Hive的 Driver class 来直接连接,感觉这种方式不通过JDBC,应该速度会比较快一点(未经验证)。我只是在local模式下测试过。

 

import org.apache.hadoop.hive.conf.HiveConf;
import org.apache.hadoop.hive.ql.Driver;
import org.apache.hadoop.hive.ql.session.SessionState;

 

public class Test {

    public static void main(String args[]) {
        Vector<String> res = new Vector<String>();
        String sql = "SELECT * from test";
        Driver driver = new Driver(new HiveConf(SessionState.class));
        int ret = driver.run(sql);
        try {
            driver.getResults(res);
        } catch(IOException e) {
            e.printStackTrace();
        }
        driver.close();
        System.out.println(driver.getMaxRows());
        try {
            System.out.println(driver.getSchema());
            //System.out.println(driver.getThriftSchema());
        } catch(Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }       
//        System.out.println(res);
//        System.out.println(ret);
    }
}

Java连接Hive踩坑血泪 Java连接Hive踩坑血泪 java.sql.SQLException: Method not supported 今天突然接到一个需求:为部署在医院内部系统增加Hive连接方式,在一顿操作之后加上JDBC驱动以及hadoop-common依赖 阅读详情

相关推荐

【Hive】Hive 常见连接方式介绍

hive 连接方式大全

在路上的专栏 2274

Java连接hive

注意:需要开启hive服务 首先建一个maven工程,导入依赖包导pom.xml <dependencies> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.1.0</version> </dependency.

绿萝蔓蔓绕枝生 6023

【Hive之Java api连接】

下面是基于hadoop的Hive数据仓库与JavaAPI简单调用的实例,hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI 1. CLI,即Shell命令行 2. JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 3. WebGUI是通过浏览器访问 Hive 本文主要介绍的就是第二种用户接口. 一、 首先先列出本文使用的hive的关键的配置信息( ...

W 2236

JAVA如何连接Hive

pom.xml <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.3</version&.

非著名程序猿 5928

基于紫光展锐平台的音频调用到hal层逻辑

基于紫光展锐平台的音频调用到hal层逻辑 1、数据流程图 AudioPolicyService和AudioFlinger的创建: 这两个服务都在audioserver中启动,文件路径: frameworks/av/media/audioserver/main_audioserver.cpp 从AudioFlinger和AudioPolicyService的创建,到output的打开,以及AudioFlinger开始往底层写入数据的具体流程如下图: #mermaid-svg-kjHL4XWwkQXN6NdA

weixin_55053963的博客 1355

Zynq UltraScale+ MPSoC-dp14 standalone

EDID HDCP AR# 64652 How to port the DisplayPort 1.4 TX subsystem example to a custom board dp v2.1 example design color format change DisplayPort-DP接口知识

zhuxl24的博客 2671

java连hive数据库

数据库的驱动 连接的是何种数据库。//加载hive驱动。

Werkple的博客 962

MFC+Modbus-Tcp协议实现温湿度传感器采集

本文简单介绍MFC使用-Tcp通信实现系列MODBUSTCP型温湿度传感器采集数据。

zhigang_zhao的博客 2830

Java 连接 Hive

Hive具有一个可选的组件叫做HiveServer后者HiveThrift,其允许通过指定端口访问Hive.访问Hive常用访问方式是通过CLI进行访问。不过,CLI设计使其不方便通过编程的方式访问。CLI是胖客户端。Hive提供了jdbc驱动,使得我们可以用Java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。同关系型数据库一样,我们也需要将Hive的服务打开;在Hive

Allen 的技术专栏 2707

相机标定原理与张氏标定法

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

heeweii的博客 2280

SOC-ATF 安全启动BL2流程分析(2)

Bl2的启动流程与bl1类似,主要区别是bl2的初始化流程比bl1更简单,但其可能需要加载更多的镜像,如bl31、bl32和bl33。由于bl2可以运行于el3或s-el1,它们的入口函数和处理流程都有所区别,为了简化分析我们选取比较常见的s-el1方式,以下为其总体执行流程:上图仅供参考,实际看一下代码结构:上面截图展示了 链接汇编文件,bl2_el3.ld.S 是指bl2 运行于el3;bl2.ld.S 是实现bl2运行于s-el1 .

z20230508的博客 1388

java连接Hive

1、Beeline 要与HiveServer2配合使用 服务端启动hiveserver2 客户的通过beeline两种方式连接到hive 1、beeline -u jdbc:hive2://node03:10000/default -n root 2、连接方式 beeline> !connect jdbc:hive2://:/;auth=noSasl root 123 默认用户名、密码不验证...

狂躁的辣条的博客 978

C#上位机+YOLO实时目标检测:摄像头采集+多线程推理+精度调优全流程

标注数据集:使用LabelImg工具标注目标对象,按YOLO格式整理数据集;模型训练:使用Ultralytics库训练自定义模型,提升特定目标的检测精度;训练参数优化:增加训练轮数(epochs=100200)、调整批次大小(batch=1632)、使用数据增强(flip、mosaic等)。摄像头采集:封装通用采集类,支持USB摄像头/网口相机,实现稳定帧读取与异常处理;多线程推理:采用“采集线程+推理线程+UI线程”解耦架构,使用线程安全队列传递帧数据,彻底解决界面卡顿;核心封装。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 673

java访问hive的方式

保证hive --service hiveserver 1、jdbc方式 hive的lib下的jar全部都包含进去,另外要包含hadoop-0.20.2-core.jar /**  *  通过jdbc方式访问hive  */ public class HiveClient {       privat

进击的数据菜鸟 1965

TMS320F28377D双核开发例程 - DSP开发

首先,我们需要创建一个新的工程来进行开发。然后,选择适当的目标设备为TMS320F28377D,并设置工程的名称和存储位置。在上面的代码中,我们定义了一个128个元素的输入数组和输出数组。然后,我们使用一个简单的数字信号处理算法,将输入数组中的每个元素平方,并将结果存储到输出数组中。这个芯片的双核架构提供了更高的计算能力和灵活性,使得数字信号处理的开发更加高效和可靠。希望本文对您有所帮助!当应用程序在TMS320F28377D芯片上运行时,它将对输入数组中的每个元素进行平方运算,并将结果打印出来。

IfllUnity的博客 2517

华为OD机考双机位C卷 - 区间交集(Java & Python& JS & C/C++ & GO )

华为OD机考双机位C卷 - 区间交集

算法大师! 1136

java通过jdbc驱动连接hive操作实例

基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似WebGUI是通过浏览器访问 Hive 本文主要介绍的就是第二种用户接口,直接进入正题。  1、Hive 安装:

零度的博客专栏 4426

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Hive几种数据导出方式

谈到了Hive中几种数据的导入方式,不同的数据导入方式用途不一样。今天我们再谈谈Hive中的几种不同的数据导出方式。可以根据导出的地方不一样,将这些方式分为三种:(1)、导出到本地文件系统;(2)、导出到HDFS中;(3)、导出到Hive的另一个表中。为了避免单纯的文字,我将一步一步地用命令进行说明。   一、导出到本地文件系统    hive> insert overwrite loca

xiao_jun_0820的专栏 7万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Hive的JDBC的连接方式

详细的讲解了idea如果远程访问hive2.3.7

Kayleigh520的博客 6915

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

hive中metastore服务、hiveserver2服务、hive客户端、beeline客户端连接元数据的方式

1.前言 hive是Hadoop的客户端,启动hive前必须启动hadoop,同时hive的元数据存储在mysql中,是由于hive自带的derby数据库不支持多客户端访问。 2.开启metastore服务的参数 hive-site.xml中打开metastore的连接地址。 <!-- 指定存储元数据要连接的地址 --> <property> <name>hive.metastore.uris</name> <va

不爱吃鱼的馋猫 7573

Java通过JDBC连接Hive并进行操作

1.工程需要的maven依赖 注意:hive的依赖包的版本需要hive中间件中的lib下对应的hive包的版本一致,否则可能会有版本兼容问题。 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sch..

houkai的博客 1万+

Spark连接Hive三种方式

1. 用Spark-Sql/Spark-Shell执行操作Hive 1.1 相关配置 hive中配置hive-site.xml(增加相关信息) <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.56.1:3306/hive-demo?useSSL=false&

serendipity 7438

Spark连接Hive的两种方式

一、使用hive-site.xml 第一步:将集群中的hive-site.xml的内容复制出来,并放在idea项目的resources下,要求文件命名为:hive-site.xml <configuration> <property> <name>datanucleus.schema.autoCreateAll</name> <value>true</value> </property> <pr

weixin_53299145的博客 8943
上一篇: 数据可视化解决方案-学习中ing~
下一篇: 【转】探索推荐引擎内部的秘密
jackfor001
博客等级 码龄22年 41粉丝 61原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值