一个jdbc链接hive的小例子

 

先启动Hive远程服务接口

hive --service hiveserver

 

import java.sql.Connection;  
import java.sql.DriverManager;  
import java.sql.ResultSet;  
import java.sql.ResultSetMetaData;
import java.sql.Statement;
import org.apache.hadoop.hive.jdbc.HiveDriver;;
public class HiveTest {

	public static void main(String[] args) throws Exception {  
        
        Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");  
          
        //String dropSQL="drop table javabloger";  
        //String createSQL="create table javabloger (key int, value string)";  
        //String insterSQL="LOAD DATA LOCAL INPATH '/work/hive/examples/files/kv1.txt' OVERWRITE INTO TABLE javabloger";  
        //String querySQL="SELECT a.* FROM javabloger a";  
        String querySQL="SELECT * FROM person";  
          
        Connection con = DriverManager.getConnection("jdbc:hive://127.0.0.1:10000/default", "", "");  
        Statement stmt = con.createStatement();  
        ResultSet rs = null;
        
        
       // rs = stmt.executeQuery("select * from rc_box_office");
        ResultSetMetaData meta2 = stmt.executeQuery("SELECT * FROM person").getMetaData();
        
        System.out.println(meta2.getColumnCount()+"  *0");
        
        System.out.println(meta2.getColumnName(1)+"  *1");
        
        System.out.println(meta2.getColumnType(1)+"  *2");
        System.out.println(meta2.getColumnType(2)+"  *3");
        System.out.println(meta2.getColumnType(3)+"  *4");
        //System.out.println(meta2.getCatalogName(1)+"  *4");
        
        
        //        stmt.executeQuery(dropSQL);  
//        stmt.executeQuery(createSQL);  
//        stmt.executeQuery(insterSQL);  
       /* ResultSet res = stmt.executeQuery(querySQL);  
          
        while (res.next()) {  
            System.out.println("Result: key:"+res.getString(1) +"  –>  value:" +res.getString(2));  
        } */ 
    }  
}  

 那天写个同步oracle和hive表的程序试试

Hive JDBC连接 任务目标 1.掌握Hive JDBC连接方法 阅读详情

相关推荐

python使用jdbc连接hive

At last,I figure it out finally. But I think is not a great idea to use this component to connect hive, it's depend lots of jar package, and you must install jar package with python-java debug REPL(mo...

ghostyusheng 's blog 4840

Hive:JDBC示例

1)本地目录/home/hadoop/test下的test4.txt文件内容(每行数据之间用tab键隔开)如下所示: [hadoop@master test]$ sudo vim test4.txt 1 dajiangtai 2 hadoop 3 hive 4 hbase 5 spark 2)启动hiveserver2 [hadoop@master t...

努力的凹凸曼的博客 589

DBeaver中连接Hive的JDBC驱动安装与配置指南

本文还有配套的精品资源,点击获取 简介:本文详细介绍了如何在DBeaver中安装和配置用于连接Hive数据库的JDBC驱动包——hive-jdbc-uber- . . . -292.jar。文章首先解释了Hive JDBC驱动的角色,然后分步骤讲解了下载、添加驱动、配置连接,并指导如何使用DBeaver来操作Hive数据库。此外,还提供了在实际使...

weixin_36064575的博客 4665

Hive用户接口(二)—使用Hive JDBC驱动连接Hive操作实例

Hive用户接口(二)—使用Hive JDBC驱动连接Hive操作实例原创 2015年01月12日 10:34:1113185问题导读:        1、Hive提供了哪三种用户访问方式?        2、使用HiveServer时候,需要首先启动哪个服务?        3、HiveServer的启动命令是?        4、HiveServer是通过哪个服务来提供远程JDBC访问的?  ...

大JAVA解决方案 1万+

hive jdbc 连接所需要的jar包

hive jdbc 连接所需要的所有jar包,很全的,不需要再下载其他的

CLIP-Count代码配置以及踩坑记录

CLIP-Count代码配置以及踩坑记录

学术菜鸡 1011

Hive JDBC Java示例项目

一、搭建Hive JDBC开发环境首先要启动hive监听程序hive --service hiveserver &默认端口10000创建Maven工程项目结构: 新建TestHiveJdbc工程 创建pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchem

猿来这样-谢厂节的博客 4088

OFDR解调全同弱反射光纤阵列

全同弱反射光纤光栅阵列是在一根光纤上密集刻写波长相同的WFBG,由于每个光栅的反射都比较弱,可实现一根光纤上复用成千上万个光栅,阵列上每个光栅栅区长度相同,相邻光栅之间栅距相同,呈周期性分布。2、获取测量信号:对弱栅阵列加载状态下,使用OFDR系统再次获取弱栅时域曲线,为测量信号。(这里需要注意的是对弱栅阵列加载后,不能使弱栅中心波长漂移到激光器波长扫描范围之外,若超出范围则OFDR技术不能获取弱栅反射信号,因此在选择弱栅阵列波长时尽量让其中心波长在激光器波长扫描范围中间,确保温度/应变测量范围。

m0_69386663的博客 1953

JDBC 链接Hive

JDBC链接Hive 使用JDBC链接Hive测试样例以及maven配置 测试代码 package mytest; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; public class HiveConnection { public stati

机器学习菜鸟 569

知识图谱本体建模之RDF、RDFS、OWL详解

(一)知识图谱本体建模之RDF、RDFS、OWL详解 1.语义网体系 知识图谱于2012年由Google提出,并不是新概念,而是由语义网络(Semantic Network)衍生而来。语义网络由相互连接的节点和边组成,节点表示概念或者对象,边表示他们之间的关系。RDF,RDFS与OWL都是基于语义网的知识表示框架,在节点和边的取值上做了约束,制定了统一标准,为多源数据的融合提供了便利。RDF,RDFS/OWL 属于语义网技术栈,它们的提出,使得语义网克服了语义网络的缺点。其语义网技术栈如下所示。 2.RD

周周的专栏 1万+

第三节: 串口通信(用CubeMX学习STM32)

用CubeMX学习STM32, 串口通信学习, 通过轮询方式和中断方式两种方式进行通信演示。 STM32F407zgt6

Kevin_8_Lee的博客 8903

java 实用 jdbc 链接 hive

此种方式 可以链接 zookeeper 集群hive package com.geotmt.billingcenter.common.utils; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.beans.factory.InitializingBean; imp...

转身那一瞬 320

[Cocos2d塔防游戏开发]Cocos2dx-3.X完成塔防游戏《王国保卫战》--地图(一)

上面3章图是完成后的效果图 游戏已完成,除了英雄外,基本还原了90%的游戏内容,一共13关,20种防御塔,30+种敌人,如上图,以假乱真吧 下面从地图模块起介绍我的方法,如有更好的方法,请留言一起讨论,游戏资源下载原版游戏数据包,解压即可 推荐一款软件,TextureUnpackerRelease1.04可以分割plist形式的图片,提高效率 经过一个月学习也发现之前有很多化简为繁的错误

7172

hive jdbc驱动_JDBC连接hive和impala驱动问题

最近在试用JAVA去访问hive ,impala服务(我使用的cloudera-manager版本是CDH5.1*.**)发现一个奇怪的问题,不管hive还是impala,jdbc的驱动都是jdbc:hive2开头,而且依赖都是 org.apache.hive hive-jdbc ${hive.version}这让我产生了疑问,我到底连的是hive还是impala?经过一番折腾,...

weixin_39638086的博客 2329

图神经网络实战(8)——图注意力网络(Graph Attention Networks, GAT)

图注意力网络 (Graph Attention Networks, GAT) 是对图卷积网络 (Graph Convolutional Network, GCN) 的改进,提出了一种通过自注意力 (self-attention) 过程计算的加权因子,而不是使用静态的归一化系数。在本节中,我们介绍了 GAT 架构。通过从线性变换到多头注意力的四个主要步骤,了解了 GAT 的工作原理,并在 NumPy 中从零开始构建了 GAT 层。最后,将 GAT 模型应用于 Cora 和 CiteSeer 数据集。

盼小辉丶的博客 1万+

实战:RK3568 Android14 集成 AP6212A WiFi/BT 二合一模块

AP6212A 的集成在 RK3568 上非常成熟。只要电源、32K 时钟、SDIO 线序、UART 流控这四点硬件没问题,软件上主要是 DTS 对应的 GPIO 别填错即可。希望这篇博文能帮你一次点亮 WiFi 和蓝牙!

qq_33427070的博客 1446

hive的客户端操作(jdbc链接)

最近在学习hive,今天学到hive的远程连接,以下是我在学习过程中遇到的一些问题,和大家分享一下:首先,你如果要使用hive的远程连接,你得先开启hive的远程服务:之前我看视频以及一些资料上写的是在命令行输入:hive --service hiveserver 这个命令是基于0.10的版本(好像是),然后我的hive版本是2.2.0的,所以在这里会报错,以下是报错内容:然后我网上查阅了一些资料...

a6822342的博客 4217

基于强化学习的多无人机路径规划

我们使用了Dueling Double Deep Q-Network(DDDQN)算法来训练智能体,这个算法在深度Q学习算法的基础上进行了升级,具有更快的收敛速度和更好的性能。本文提出了一种基于强化学习的算法,实现了多无人机路径规划,并提供相应的MATLAB代码。通过基于强化学习的多无人机路径规划算法,我们能够高效地解决复杂环境下的任务需求,并在实际应用中取得了良好的效果。首先,我们定义了状态空间和动作空间。实验结果表明,我们的方法能够有效地解决多无人机路径规划问题,提高了任务完成的效率和准确率。

DjjPython的博客 820

Hive数据交互的桥梁:JDBC/ODBC连接与操作全解析

在大数据技术快速发展的今天,Hive作为Hadoop生态系统中的关键组件,承担着数据仓库和SQL查询引擎的重要角色。它通过将结构化的数据文件映射为数据库表,并提供了类SQL的查询语言HiveQL,使得非编程背景的数据分析师也能轻松处理海量数据。然而,Hive本身运行在分布式环境中,如何让外部应用程序高效、安全地访问和操作其中的数据,成为一个亟待解决的问题。这就是JDBC和ODBC登场的背景。简单来说,Hive的设计初衷是提供大数据批处理能力,但它并不直接支持多种编程语言或工具的实时数据交互。

zuiyuelong的博客 1725

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Hive-JDBC操作

Java是通过beeline来连接Hive的。启动beeline最重要的就是配置好hive-site.xml。其中javax.jdo.option.ConnectionURL涉及到一个数据库,最好重新删掉原来的metastore数据库然后重新创建一个并初始化一下。truemysql用户名rootmysql密码root123hive用来存储不同阶段的map/reduce的执行计划的目录,同时也存储中间输出结果。

2501_90254065的博客 1390

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

java通过jdbc连接hive

版本说明 hadoop 3.2.2 hive 版本 3.1.2 安装好hive 之后,hive默认的用户名和密码都是空的,所以需要我们设置用户名和密码。 参考网上的,按照自定义的方式设置hive 的用户名和密码。 1.首先要打一个jar 包,我这里已经打好了,需要可以去下载。 2.也可以自己通过代码编译自行打包; package com.quant.flowcalculation.flinkapi.etl.hive; import java.sql.Connection; import java.sql.

启迪思维,精进技术 3212

Java HIVE 使用Jdbc连接Hive

1,使用Jdbc方式链接hive,首先需要启动hive的Thrift Server,否则会导致错误 hive --service hiveserver   是两”-“, Could not establish connection to localhost:10000/default: java.net.ConnectException: Connection refused 2,简单的

luyee2010的专栏 5426

使用JDBC操作Hive

首先启动 Hive 的远程服务:hiveserver2 &amp; 所需 jar 包的 pom 文件如下: &lt;dependencies&gt; &lt;dependency&gt; &lt;groupId&gt;org.apache.hive&lt;/groupId&gt; &lt;artifactId&gt;hive-jdbc&lt;/artifactId&gt; &

. 1157

java链接hive

首先引入jar文件,最好是使用idea开发工具,因为他写dependency有提示 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.2....

进行中 1263

java连接hive(jdbc)

进行以下操作时确保已经启动,mysql,hive创建java项目导入本地驱动包jdbc的代码 创建java项目 导入本地驱动包 驱动包在 F:\qq\qq文件\学习软件\hive-3.1.2-bin\apache-hive-3.1.2-bin\jdbc 第一步 Window–Preferences(预设)–Java–Build Path–User Libraries 点New,输入hive,点...

Pioneer_1的博客 1504
上一篇: 惊天大悲剧-Hadoop的rmr和trash
下一篇: 启动级别:init 0,1,2,3,4,5,6
java_doom
博客等级 码龄20年 6粉丝 199原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值