来学学Hive JDBC操作流程?

Hive-JDBC操作 按照上面的过程,4个月的时间刚刚好。当然Java的体系是很庞大的,还有很多更高级的技能需要掌握,但不要着急,这些完全可以放到以后工作中边用别学。学习编程就是一个由混沌到有序的过程,所以你在学习过程中,如果一时碰到理解不了的知识点,大可不必沮丧,更不要气馁,这都是正常的不能再正常的事情了,不过是“人同此心,心同此理”的暂时而已。道路是曲折的,前途是光明的!掌握,但不要着急,这些完全可以放到以后工作中边用别学。 阅读详情

一:启动Hadoop

1. core-site.xml 配置代理用户属性

特别注意:hadoop.proxyuser.<服务器用户名>.hosts 和 hadoop.proxyuser.<服务器用户名>.groups这两个属性,服务器用户名是hadoop所在的机器的登录的名字,根据自己实际的登录名来配置。这里我的电脑用户名为mengday。

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>file:/usr/local/Cellar/hadoop/3.2.1/libexec/tmp</value>
 </property>
 <property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost:8020</value>
  </property>
  <property>
      <name>hadoop.proxyuser.mengday.hosts</name>
      <value>*</value>
  </property>
  <property>
      <name>hadoop.proxyuser.mengday.groups</name>
      <value>*</value>
  </property>    
</configuration>
2. 启动hadoop
> cd /usr/local/Cellar/hadoop/3.2.1/sbin
> ./start-all.sh
> jps

启动成功后注意查看DataNode节点是否启动起来, 经常遇到DataNode节点启动不成功。

Hive JDBC操作

二:配置hive-site.xml

Java是通过beeline来连接Hive的。启动beeline最重要的就是配置好hive-site.xml。

其中javax.jdo.option.ConnectionURL涉及到一个数据库,最好重新删掉原来的metastore数据库然后重新创建一个并初始化一下。

mysql> create database metastore;
> cd /usr/local/Cellar/hive/3.1.2/libexec/bin
> schematool -initSchema -dbType mysql

hive-site.xml

<configuration>
  <property>
        <name>hive.metastore.local</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://localhost:9083</value>
        <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
      </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/metastore?characterEncoding=UTF-8&createDatabaseIfNotExist=true</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
    </property>
  <!--mysql用户名-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
  <!--mysql密码-->
  <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root123</value>
    </property>

 <!-- hive用来存储不同阶段的map/reduce的执行计划的目录,同时也存储中间输出结果
 ,默认是/tmp/<user.name>/hive,我们实际一般会按组区分,然后组内自建一个tmp目录存>储 -->

    <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/tmp/hive</value>
    </property>

    <property>
        <name>hive.downloaded.resources.dir</name>
            <value>/tmp/hive</value>
    </property>

    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/data/hive/warehouse</value>
    </property>

    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
    <property>
        <name>hive.server2.active.passive.ha.enable</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.server2.transport.mode</name>
        <value>binary</value>
        <description>
          Expects one of [binary, http].
          Transport mode of HiveServer2.
        </description>
    </property>
    <property>
        <name>hive.server2.logging.operation.log.location</name>
        <value>/tmp/hive</value>
    </property>
    <property>
        <name>hive.hwi.listen.host</name>
        <value>0.0.0.0</value>
        <description>This is the host address the Hive Web Interface will listen on</description>
    </property>

    <property>
        <name>hive.server2.webui.host</name>
        <value>0.0.0.0</value>
        <description>The host address the HiveServer2 WebUI will listen on</description>
    </property>

</configuration>

三:启动metastore

在启动beeline之前需要先启动hiveserver2,而在启动hiveserver2之前需要先启动metastore。metastore默认的端口为9083。

> cd /usr/local/Cellar/hive/3.1.2/bin
> hive --service metastore &

Hive JDBC操作

启动过一定确认一下启动是否成功。

Hive JDBC操作

四:启动hiveserver2

> cd /usr/local/Cellar/hive/3.1.2/bin
> hive --service hiveserver2 &

Hive JDBC操作

hiveserver2默认的端口为10000,启动之后一定要查看10000端口是否存在,配置有问题基本上10000端口都启动不成功。10000端口存在不存在是启动beeline的关键。

Hive JDBC操作

五:启动beeline

> cd /usr/local/Cellar/hive/3.1.2/bin
> beeline -u jdbc:hive2://localhost:10000/default -n mengday -p
  • -u: 连接的url,jdbc:hive2://<主机名或IP>:<端口默认>/<数据库名>,端口号默认10000 可通过 ```hiveserver2 --hiveconf hive.server2.thrift.port=14000 修改端口号,default是自带的数据库
  • -n: hive所在的那台服务器的登录账号名称, 这里是我Mac机器的登录用户名mengday, 这里的名字要和core-site.xml中的hadoop.proxyuser.mengday.hosts和hadoop.proxyuser.mengday.groups中mengday保持一致。
  • -p: 密码,用户名对应的密码

看到0: jdbc:hive2://localhost:10000/default>就表示启动成功了。

Hive JDBC操作

六:Hive JDBC

1. 引入依赖
<dependency>
   <groupId>org.apache.hive</groupId>
   <artifactId>hive-jdbc</artifactId>
   <version>3.1.2</version>
</dependency>
2. 准备数据

/data/employee.txt

1,zhangsan,28,60.66,2020-02-01 10:00:00,true,eat#drink,k1:v1#k2:20,s1#c1#s1#1
2,lisi,29,60.66,2020-02-01 11:00:00,false,play#drink,k3:v3#k4:30,s2#c2#s1#2
3. Java
import java.sql.*;

public class HiveJdbcClient {
    private static String url = "jdbc:hive2://localhost:10000/default";
    private static String driverName = "org.apache.hive.jdbc.HiveDriver";
    private static String user = "mengday";
    private static String password = "user对应的密码";

    private static Connection conn = null;
    private static Statement stmt = null;
    private static ResultSet rs = null;

    static {
        try {
            Class.forName(driverName);
            conn = DriverManager.getConnection(url, user, password);
            stmt = conn.createStatement();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    public static void init() throws Exception {
        stmt.execute("drop database if exists hive_test");
        stmt.execute("create database hive_test");
        rs = stmt.executeQuery("show databases");
        while (rs.next()) {
            System.out.println(rs.getString(1));
        }

        stmt.execute("drop table if exists employee");
        String sql = "create table if not exists employee(" +
                " id bigint, " +
                " username string, " +
                " age tinyint, " +
                " weight decimal(10, 2), " +
                " create_time timestamp, " +
                " is_test boolean, " +
                " tags array<string>, " +
                " ext map<string, string>, " +
                " address struct<street:String, city:string, state:string, zip:int> " +
                " ) " +
                " row format delimited " +
                " fields terminated by ',' " +
                " collection items terminated by '#' " +
                " map keys terminated by ':' " +
                " lines terminated by '\n'";
        stmt.execute(sql);

        rs = stmt.executeQuery("show tables");
        while (rs.next()) {
            System.out.println(rs.getString(1));
        }

        rs = stmt.executeQuery("desc employee");
        while (rs.next()) {
            System.out.println(rs.getString(1) + "\t" + rs.getString(2));
        }
    }

    private static void load() throws Exception {
        // 加载数据
        String filePath = "/data/employee.txt";
        stmt.execute("load data local inpath '" + filePath + "' overwrite into table employee");

        // 查询数据
        rs = stmt.executeQuery("select * from employee");
        while (rs.next()) {
            System.out.println(rs.getLong("id") + "\t"
                    + rs.getString("username") + "\t"
                    + rs.getObject("tags") + "\t"
                    + rs.getObject("ext") + "\t"
                    + rs.getObject("address")
            );
        }
    }

    private static void close() throws Exception {
        if ( rs != null) {
            rs.close();
        }
        if (stmt != null) {
            stmt.close();
        }
        if (conn != null) {
            conn.close();
        }
    }

    public static void main(String[] args) throws Exception {
        init();

        load();

        close();
    }
}

Spark SQL【Java API】 Spark SQL 【Java API】 阅读详情

相关推荐

从零开始的大数据学习

Java:大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struct、Spring、Hibernate,Mybites都是JavaEE方向的技术在大数据技术里用到的并不多,只需要了解就可以了,当然Java怎么连接数据库还是要知道的,像JDBC一定要掌握一下,有同...

qq_41842579的博客 1424

Jtti:Java中使用jdbc连接数据库中文出现乱码如何解决

1、jdbc不设置characterEncoding=utf8,服务端character_set_server为latin1,jdbc以latin1字符集连接数据库,数据库服务端将latin1转成utf8然后存储到磁盘(因为character_set_connection和创建表指定的字符集都是utf8),这时就造成了乱码。查阅官方文档,jdbc在连接数据库时,会先查询服务端的character_set_server值,再确定连接时使用的编码。character_set_results:查询结果字符集。

JttiSEO的博客 1112

大数据技术有哪些 应该重点学哪些知识

大数据有很多方向,目前我们口中经常说的大数据的主要就业方向是:大数据研发,大数据分析与挖掘,深度学习,人工智能等方向。 大数据已经成为时代发展的趋势,很多人纷纷选择学习大数据,想要进入大数据行业。大数据技术体系庞大,包括的知识较多,系统的学习大数据可以让你全面掌握大数据技能。学习大数据需要掌握哪些知识? 在这里还是要推荐下我自己建的大数据学习交流群:199427210,群里都是学大数据开发的,...

juan189的博客 920

Hive入门教程<3>| 使用JDBC操作hive的两种方式

JDBC操作Hive一、启动hadoop集群二、在hive的安装目录下的bin/目录下启动hiveserver2三、两种JDBC的操作方式一、虚拟机中的hive的beeline端二、Windows本地idea集成开发环境1、创建maven项目并添加依赖到pom.xml文件2、代码编写:2、执行程序 一、启动hadoop集群 hive是基于hadoop 二、在hive的安装目录下的bin/目录下启动hiveserver2 ./hive2server2 三、两种JDBC的操作方式 一、虚拟机中的hive的b

懵懂bigdata象 7898

Manus通用AI智能体完全使用指南(2025最新版)——从注册到高阶技巧全解析

Manus通用AI智能体完全使用指南(2025最新版)——从注册到高阶技巧全解析

m0_69718028的博客 8119

【ESP32】ESP32连接JY61P并通过WIFI发送给电脑

ESP32S连接JY61P并通过WIFI把姿态数据发送给电脑1.采用Arduino IDE编译器;需要安装ESP32的开发板管理器;2.电脑接受数据是基于python的;

Doudou_Nai的博客 1136

JDBC原理&浅析HIVE-JDBC

目录 {:toc} 什么是JDBC? JDBC是Java DataBase Connectivity的缩写,它是Java程序访问数据库的标准接口。Java8 JDBC API 使用Java程序访问数据库时,Java代码并不是直接通过TCP连接去访问数据库,而是通过JDBC接口来访问,而JDBC接口则通过JDBC驱动来实现真正对数据库的访问。 例如,我们在Java代码中如果要访问MySQL,那么必须编写代码操作JDBC接口。注意到JDBC接口是Java标准库自带的,所以可以直接编译。而具体的JDBC驱动是.

梦境迷离 3583

Polyworks脚本开发学习笔记(一)-脚本开发环境

详细的总结和记录了利用Polyworks进行脚本开发的一些方法和心得

qq_43662503的博客 6823

Hive的JDBC的连接方式

详细的讲解了idea如果远程访问hive2.3.7

Kayleigh520的博客 6916

保姆级拆解:HP 1312NF/CM1415打印机进纸离合器清洁与更换全记录(附B站/油管视频指路)

本文详细记录了HP 1312NF打印机进纸离合器故障的诊断与修复全过程,包括故障判断、工具准备、拆解步骤、清洁更换技巧及预防措施。特别针对离合器内部海绵老化粘连问题,提供了电工胶布和硬纸片两种实用替代方案,并附有B站/油管视频指路,帮助用户轻松完成打印机维修。

weixin_31102231的博客 382

数据获取竟如此简单——全球SRTM 90m DEM V4.1数据

SRTM(Shuttle Radar Topography Mission)是由NASA联合国际合作伙伴开展的雷达地形测绘项目,通过航天飞机搭载的合成孔径雷达系统,于2000年通过发射并接收地表反射的雷达信号,获取全球三维地形数据,这一任务填补了高精度全球地形数据的空白。而本文通过十余行的python代码,就更简单、方便地获取这些数据。

m0_38065162的博客 1402

深入浅出解析Hive?

Hive是Apache(ASAF)官方提出的一个基于HDFS文件系统的一个外围小工具。我们称之为“数据仓库”。数据仓库意思就是存储数据的地方。实则不然,他并不存储数据!他的文件数据都存在HDFS上。当然除了HIVE本身的那些元数据以外(后面会讲到)。那么笔者认为,Hive的意思就是提供了一个工具、一个渠道,一个方式,一个概念,通过它去操作HDFS的数据,包括上传、下载、导入、导出等。 ...

weixin_43236191的博客 393

TikTok Shop API密钥获取与PHP实战对接指南

本文详细介绍了TikTok Shop API密钥的获取流程与PHP实战对接方法。从开发者后台创建应用、获取核心的API密钥开始,逐步解析OAuth 2.0授权机制,并提供了完整的PHP封装类示例,涵盖签名生成、API调用、令牌刷新及错误处理,帮助开发者快速实现与TikTok Shop的数据对接与自动化操作。

weixin_29300241的博客 405

零基础学习大数据人工智能从入门到精通学习路线图

大数据处理技术怎么学习呢?首先我们要学习Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。 请输入图片描述 很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:199427210,有大量干货(零基础以及进阶的经典实战)分享给大家,并...

juan189的博客 1612

自动化控制软件:Beckhoff TwinCAT二次开发_(7).HMI开发基础

TwinCAT HMI是Beckhoff公司为TwinCAT自动化平台开发的专用HMI软件。Web技术基础:基于Web技术,支持HTML5、CSS3和JavaScript,可以轻松集成第三方库和框架。多平台支持:可以在多种设备上运行,包括PC、平板电脑和智能手机。高效开发:提供丰富的组件库和开发工具,简化开发过程。安全性:支持多种安全机制,确保数据和系统的安全性。可扩展性:支持自定义组件和脚本,满足不同应用场景的需求。Button:按钮组件,用于触发操作。Label:标签组件,用于显示文本信息。

2401_87715305的博客 996

从零手搓大模型(一)文本如何变成 LLM 的输入

本文介绍了从原始文本到LLM输入向量的完整处理流程。主要内容包括: 文本预处理:通过正则表达式将原始文本分割成token列表,处理标点和空格。 词表构建:创建token到ID的映射字典(vocabulary),这是文本数字化的关键步骤。 简单tokenizer实现:封装了编码(encode)和解码(decode)功能,完成文本与token ID的相互转换。 处理流程:原始文本 → 分词 → token ID → 嵌入表示 → 最终输入向量。 数据形状变化:从字符串逐步转换为(batch_size, cont

echo的博客 1007

一篇文章带你了解2018 大数据开发工程师必备那些技能

你好,成为一名大数据开发工程师,你需要具备的技能比较多,具体的,可以参看下面的这些点。 Java 大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多...

qq_41842579的博客 7726

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

需要同时掌握AVA和Linux,才可以继续大数据课程的学习

大数据包含的技术知识很多,如果是从头学起,一般是从两个方面入手,一是基础;二是专业技能。下面我们不妨从这两个方面给出一个简单的学习过程。希望对你有所帮助。 一、基础 学大数据的两大基础就是JAVA和Linux,学习顺序不分前后。需要同时掌握,才可以继续大数据课程的学习。 Java:大家...

chizang4812的博客 237

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

大数据要学javaweb吗_学习大数据需要学习javaee的内容吗?

你好,成为一名大数据开发工程师,你需要具备的技能比较多,具体的,可以参看下面的这些点。Java大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多,只需要...

weixin_39943442的博客 368

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

我JAVA几乎零基础,可以学好大数据吗?

java与大数据的关系你应该明确一下。学习大数据一般要先学java,但并不代表要将java的所有内容都学习,只要学习与大数据相关的知识点就可以。下面是关于学习大数据的一些知识点,你可以大致了解一下,希望对你有所帮助。学习大数据的两大基础就是JAVA和Linux,学习顺序不分前后。需要同时掌握,才可以继续大数据课程的学习。Java:大家都知道Java的方向有JavaSE、JavaEE、JavaME,...

weixin_34417635的博客 595

学习大数据需要什么基础?大数据要学哪些内容?

大数据只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struct、Spring、Hibernate,Mybaits都是JavaEE方向的技术在大数据技术里用到的并不多,只...

congcangnuo6739的博客 272

现在在学大数据,想从事大数据开发,对一个没有工作经验来说,该具备怎么样的大数据技能?到什么程度?...

下面是从事大数据开发相关工作需要具备的技能,希望对你有所帮助。Java大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多,只需要了...

bingyi2406的博客 504

大数据技术有哪些应该重点学哪些知识

大数据有很多方向,目前我们口中经常说的大数据的主要就业方向是:大数据研发,大数据分析与挖掘,深度学习,人工智能等方向。 我自己建的大数据学习交流群:199427210,群里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴加...

qq_41842579的博客 1992

如何进行大数据学习,有什么学习思路呢?

Java:大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多,只需要了解就可以了,当然Java怎么连接数据库还是要知道的,像JDBC一定要掌握一下...

juan189的博客 270

大数据开发工程师必备那些技能

成为一名大数据开发工程师,你需要具备以下这些技能 Java 大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术在大数据技术里...

weixin_34254823的博客 120

python开发工程师需要掌握什么技能 知乎_大数据开发工程师需要具备哪些技能?...

谢邀。你好,成为一名大数据开发工程师,你需要具备的技能比较多,具体的,可以参看下面的这些点。Java大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多,...

weixin_39803552的博客 300
上一篇: 5分钟掌握JVM常用选项及相关知识,工作面试够用了
下一篇: Nginx系列:https配置
JavaCaiy
博客等级 码龄6年 1万+粉丝 95原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值