hbase和hive交互

Spark与Hadoop生态系统集成:HDFS、Hive和HBase的交互使用 为了更好地利用这两个框架的优势,很多企业将Spark与Hadoop生态系统进行集成,实现数据的高效处理和存储。首先,需要将Hive的相关jar包添加到Spark的classpath中,然后在Spark中创建一个HiveContext或SparkSession对象,就可以使用Hive的SQL查询功能了。Spark可以通过Hadoop的API直接访问HDFS上的数据,实现数据的读取和写入。Spark通过集成Hive,可以直接使用Hive的元数据和SQL查询功能,实现对Hive表的数据处理。 阅读详情

1.将hbase的相关jar包的软连接放入到hive的lib下

ln -s $HBASE_HOME/lib/hbase-common-1.3.1.jar $HIVE_HOME/lib/hbase-common-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-server-1.3.1.jar $HIVE_HOME/lib/hbase-server-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-client-1.3.1.jar $HIVE_HOME/lib/hbase-client-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-protocol-1.3.1.jar $HIVE_HOME/lib/hbase-protocol-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-it-1.3.1.jar $HIVE_HOME/lib/hbase-it1.3.1.jar
ln -s $HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar $HIVE_HOME/lib/htrace-core-3.1.0-incubating.jar
ln -s $HBASE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-hadoop-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop-compat-1.3.1.jar

2.在hive-site.xml下配置zookeeper连接(因为hbase也是依靠zookeeper的)

<property>
 <name>hive.zookeeper.quorum</name>
 <value>hadoop102,hadoop103,hadoop104</value>
</property>
<property>
 <name>hive.zookeeper.client.port</name>
 <value>2181</value>
</property>

3.注意: hive和 hbase在新版中无法兼容, 只能重新编译hive-hbase-handler-1.2.2.jar了

  • 将hive的lib下的包和hbase下的lib包放到eclipse当中进行重新编译,再把hive-hbase-handler-1.2.2.jar放入到hive的lib下去, 就ok了, 就可以建立联系了

利用hive做数据分析计算, hbase来进行管理存储

两种情况:

  1. 直接创建hbase和hive表进行映射
  2. 对已经存在的hbase表中的数据进行映射hive表,需要创建外部表.

案例:

CREATE TABLE hive_hbase_emp_table(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

注意:

  • 这样的hive表不能通过load data 的情况进行添加数据,一般都需要创建一个临时表,添加到临时表中,再insert进行添加数据
  • 当hbase表已经存在的时候.只能创建外部表
如何将Hive与HBase整合联用 特别说明:该专栏文章均来源自微信公众号【大数据实战演练】,欢迎关注! 版本说明: HDP:3.0.1.0 Hive:3.1.0 HBase:2.0.0 一、前言 之前学习 HBase 就有疑惑,HBase 虽然可以存储数亿或数十亿行数据,但是对于数据分析来说,不太友好,只提供了简单的基于 Key 值的快速查询能力,没法进行大量的条件查询。 不过,Hive 与 HBase 的整合可... 阅读详情

相关推荐

AntV G6边动画实战:手把手教你实现数据流向箭头与虚线流动效果

本文详细解析了如何使用AntV G6实现数据流向箭头与虚线流动效果,通过自定义边动画提升数据可视化的动态表现力。从基础环境搭建到核心概念讲解,再到虚线流动动画和箭头路径动画的具体实现与参数调控,帮助开发者掌握G6边动画的高级技巧,适用于网络流量监控、数据传递等场景。

weixin_28487433的博客 268

HBase与Eclipse集成

1 开发环境 1、系统:Windows 2、IDE工具:Eclipse-Juno 3、HBase-0.98.4-hadoop1 2 前提条件 1、已经按照“Hadoop”目录中“HBase安装”文章,搭建起了HBase集群,并且集群已经启动。 3 项目布局 4 开发流程 4.1 新建项目 可以普通项目,也可以Web项目。此处新建Java Web项目:...

weixin_34247299的博客 171

LabVIEW与三菱PLC通讯实战:ActiveX控件在FX5U上的应用技巧

本文深入探讨了如何利用三菱MX Component中的ActiveX控件,在LabVIEW中实现与FX5U系列PLC的高效、稳定通讯。文章从环境配置、ActiveX控件生命周期管理、数据读写性能优化及容错机制等实战角度,分享了构建工业级健壮通讯程序的核心技巧与架构设计思路。

qsc9012345的博客 891

HBase与Hive集成使用详解

文章目录前言一、导入HBase下的jar包二、添加Zookeeper配置三、通过Hive创建HBase表测试1、进入Hive的shell创建表:2、插入数据总结 前言 HBase作为分布式的NOSQL数据库,并不支持传统的SQL查询,通过将Hive框架与HBase进行集成,我们可以实现使用HQL对HBase的数据进行操作,本文对具体的操作流程进行演示与使用测试: 一、导入HBase下的jar包 当我们使用HBase与Hive集成,其本质是Hive作为HBase的客户端。 因此我们需要让Hive能够读取到H

HoppingMad的博客 1415

锂电池寿命预测 | Python实现基于LSTM长短期记忆神经网络的锂电池寿命预测

锂电池寿命预测 | Python实现基于LSTM长短期记忆神经网络的锂电池寿命预测

算法如诗的博客 1903

计算数列位置N的值

本文介绍了一个数列生成问题,要求根据输入的两个整数M和N生成特定规则的数列,并输出第N个位置上的数值。数列生成规则为:前M个元素为1到M;后续元素根据前M个元素是否重复来决定计算方式(求和或求差)。文章提供了C++、Java和Python三种语言的实现方案,均包含输入处理、数列初始化、循环计算和结果输出等步骤。各语言实现中均使用集合去重特性判断重复元素,并通过内置函数或自定义方法求取最大值和最小值。该问题主要考察基础编程能力,包括数组/列表操作、最值计算和重复元素判断等基本编程技巧。

面试高手的博客 664

8. HBase与Hive整合

hive 与hbase整合

cl2010abc的专栏 261

Uni-App 使用极光推送完整指南

Uni-App集成极光推送的完整指南:从注册极光账号到代码实现。包含前期准备(获取AppKey、注册厂商账号)、Uni-App配置(插件导入、初始化代码)、高级功能(角标设置、Java后台接口)及常见问题排查。详细说明了推送监听、registrationID获取、消息接收处理等核心功能实现步骤,并提供两种推送接口示例(按平台推送和统一推送)。适合需要在Uni-App项目中实现推送功能的开发者参考。

cyj0919的博客 433

Hadoop完全分布搭建(这里以3台主机为例)+Hbase+Eclipse连接

总共要修改的配置文件全部都在hadoop/etc/hadoop目录下,其中hdfs-site.xml这个文件需要设置3个目录来存放一些hadoop运行过程中的临时数据,也就是在hadoop目录下,创建一个dfs和tmp,再在dfs目录下创建name和data目录。分别是hadoop-env.sh,yarn-env.sh,mapred-env.sh。打开Eclipse软件 --> 新建Java项目(File --> New --> Other --> Java Project --> 输入项目名称)

weixin_60263012的博客 3420

YOLOv10改进策略【模型轻量化】| 替换骨干网络为MoblieNetV2,含模型详解和完整配置步骤

本文记录的是。采用深度可分离卷积将标准卷积分解为深度卷积和1×1卷积。同时,引入来,避免非线性层导致的性能下降问题。本文将应用到YOLOv10中,借助其高效的结构和特性,在保持一定精度的前提下,显著降低YOLOv10的计算复杂度和内存占用。

Limiiiing的博客 533

小卫星多普勒频偏MATLAB代码

多普勒频偏是由于发射机和接收机之间的相对运动而引起的频率变化。对于小卫星,由于其速度和高度的变化,多普勒频偏会变得更加明显。本文将探讨小卫星多普勒频偏的原理、影响因素以及补偿方法。多普勒频偏的原理当发射机和接收机之间存在相对运动时,接收到的信号频率会发生变化。这种频率变化称为多普勒频偏。其原理可以描述如下:设发射机和接收机之间的距离为 d,发射信号的频率为 f0,发射机和接收机的相对速度为 v。则接收到的信号频率 f 为:其中 c 为光速。

qq_59747472的博客 248

【Hive总结】2. Hive整合HBase(亲测)

一、环境准备 Hadoop 2.7.2 HBase 1.3.1 Hive 2.0.0 二、具体步骤 首先删除$HIVE_HOME/lib下HBase和ZooKeeper相关的jar包 然后重新拷贝$HBASE_HOME/lib下的HBase和ZooKeeper相关的jar包至Hive下 hive-site.xml修改hive.zookeeper.quorum属性 <...

FullStackDeveloper0的博客 372

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Hive和Hbase数据整合交互

1、通过 Hive 与 HBase 整合,可以将 HBase 的数据通过 Hive 来分析,让 HBase 支持 JOIN、GROUP 等 SQL 查询语法。 2、Hive和Hbase是两种基于Hadoop的不同技术,Hive是一种类SQL的引擎,并且运行MapReduce任务,Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。这两种工具是可以同时使用的。就像用Google来搜索,用FaceBook进行社交一样,Hive可以用来进行统计查询,HBase可以用来进行实时查询,数据也可以

idataduck的博客 846

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Hive整合HBase

版本如下: hadoop-2.7.2 zookeeper-3.4.6 hive1.2.1 hbase-1.2.11 Hive整合Hbase,其实原理非常简单,因为hive实际存储也是存储在HDFS上,HBase的存储也是依赖于HDFS的,所以实际上还是做了表的维护,也就是元数据的构建,数据本身一直是在HDFS的。 1、修改hive-site.xml文件,是在hive的conf目录下 &lt;pro...

xiaozhaoshigedasb的博客 250

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Hadoop(四)Hive整合HBase及JDBC方式操作Hive

前言 学习是一种乐趣,更是一种戒不掉的习惯。 准备环境 Hadoop-0.20.2运行环境 HBase-0.92.1运行环境 Hive-0.10.0运行环境 以上环境,最好都参照标题中的来,因为涉及到HBase的handler的版本问题。 配置Hive 复制相关jar: 复制$HBASE_HOME/hbase-0.92.1.jar到$HVIE_HOME/lib下,并覆盖(删除)之

XiaoM的专栏 1510

Hive映射HBase表的几种方式

1.Hive内部表,语句如下 CREATE TABLE ods.s01_buyer_calllogs_info_ts( key string comment "hbase rowkey", buyer_mobile string comment "手机号", contact_mobile string comment "对方手机号", call_date string co...

508

Hive与HBase的整合

Step 1:把hive的Lib目录下hive-hbase-handler-1.2.1.jar cp到hbase/lib 下 同时把hbase中的所有的jar,cp到hive/lib执行命令:cp /opt/apps/hive/apache-hive-1.2.1-bin/lib/hive-hbase-handler-1.2.1.jar /opt/apps/HBase/hbase-1.1.3/li

Star-Technology 480

HBase实践 —— hive-hbase交互集成实践总结

hive和hbase那些版本是相互兼容的 官网说,hive0.90与hbase0.92是兼容的, 早期的hive版本与hbase0. 890.0兼容; hive1.x与hbase0.98.x或则更低版本是兼容的。 hive2.x与hbase1.x及比hbase1.x更高版本兼容; 由于笔者在实践中使用的是hbase1.x与hive1.x。如果想hbase1.x与hive1.x整合,需要编译hive-hbase-handler代码。 交互配置: 1、配置hive、hbase环境变量,已有不在配 #配置

qq_41018861的博客 477

Hbase 和Hive表关联

hbase.columns.mapping表示HBase里面的数据列和Hive表数据列的映射关系 :key表示RowKey映射到Hive表的key字段,请注意RowKey不要漏写最前面的冒号 cf1:col1表示column family cf1的col1列 对于INT和DOUBLE类型,需要在mapping中追加#b,表示以binary形式来解释 hbase.table.name表示指定HBase里面的表的名字 创建完成之后即可按照HiveQL来进行操作 参考: 创建hive...

诸葛子房的博客 2360

hive hbase 整合

Hadoop Hive与Hbase整合 用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库  本次试验目的讲述如何让Hbase和Hive能互相访问,让Hadoop/Hbase/Hive协同工作,合为一体。

既认准这条路,又何必在意要走多久 1654

Hive映射Hbase表的几种方式

1.Hive内部表,语句如下 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 CREATETABLEods.s01_buyer_calllogs_info_ts( keystring comment"h...

weixin_41228362的博客 3572

hive与hbase关联表

关于 hbase 和 hive 关联表 详细介绍: hive 创建 关联hbase表有2种形式: 第一种:hive> create table hive(id string,name string, age int) > stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' > wit...

319

sqoop2 mysql hbase_sqoop2如何写自动化脚本到hive,或者hbase?

Hbase不支持SQL语句查询,如果要实现count\group等操作需要借助Mapreduce程序,门槛较高;Hive对于SQL的支持有强大的功能,我们不需要写过多的自定义函数就能实现较为复杂的查询优点:1、Hive方便地提供了Hive QL的接口来简化MapReduce的使用,而HBase提供了低延迟的数据库访问。如果两者结合,可以利用MapReduce的优势针对HBase存储的大量内容进行离...

weixin_29382667的博客 163

hive删除hbase数据_如何用hive查询hbase中的数据

第一步,启动hadoop,命令:./start-all.sh第二步,启动hive,命令:./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hive-0.6.0/lib/hbase-0.20.3.jar,/home/dream-victor/hive-0.6.0/l...

weixin_39717029的博客 168

浅谈hive和hbase的区别

hive和hbase是大数据领域常见的两个组件,常常会被放在一起比较,于是略微总结了一下两者的区别,通过不同的维度对二者进行一下分析,以供参考。 概念 Apache hive是构建在Hadoop基础之上的数据仓库,支持使用hive SQL(又称hql,这是一种类sql语言)语句对hdfs上的数据进行查询,这种语句最终回被转换成map-reduce任务进行执行。但是不支持交互式查询,因为查询的都是...

暁洣的博客 571
上一篇: mr读取写入hbase配置
下一篇: HBase的优化
First_____
博客等级 码龄6年 132粉丝 150原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值