Hive映射Hbase表的几种方式

Hbase数据映射到hive 今天同事过来问我hbase和hive字段类型之间的对应关系,我就顺带问了一下,她在干什么,她说要将hbase的数据映射到hive中去,建一个hbase的映射表,问我是建一个内部表映射呢,还是外部表映射呢。恰好最近正在做知识总结,我就来总结下这个映射关系吧。 内部表映射 首先说一下Hbase数据到hive内部表的映射,代码如下: create table stu_info{ key string... 阅读详情

1.Hive内部表,语句如下

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

CREATE TABLE ods.s01_buyer_calllogs_info_ts(

key string comment "hbase rowkey",

buyer_mobile string comment "手机号",

contact_mobile string comment "对方手机号",

call_date string comment "发生时间",

call_type string comment "通话类型",

init_type string comment "0-被叫,1-主叫",

other_cell_phone string comment "对方手机号",

place string comment "呼叫发生地",

start_time string comment "发生时间",

subtotal string comment "通话费用",

use_time string comment "通话时间(秒)"

)

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'    

WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,record:buyer_mobile,record:contact_mobile,record:call_date,record:call_type,record:init_type,record:other_cell_phone,record:place,record:start_time,record:subtotal,record:use_time")    

TBLPROPERTIES("hbase.table.name" = "s01_buyer_calllogs_info_ts");

   建好表之后,进入hbase shell执行list能看到表s01_buyer_calllogs_info_ts,hive drop掉此表时,hbase也被drop。

2.Hive外部表,语句如下,

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

create 'buyer_calllogs_info_ts', 'record', {SPLITS_FILE => 'hbase_calllogs_splits.txt'}

 

CREATE EXTERNAL TABLE ods.s10_buyer_calllogs_info_ts(

key string comment "hbase rowkey",

buyer_mobile string comment "手机号",

contact_mobile string comment "对方手机号",

call_date string comment "发生时间",

call_type string comment "通话类型",

init_type string comment "0-被叫,1-主叫",

other_cell_phone string comment "对方手机号",

place string comment "呼叫发生地",

start_time string comment "发生时间",

subtotal string comment "通话费用",

use_time string comment "通话时间(秒)"

)    

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'    

WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,record:buyer_mobile,record:contact_mobile,record:call_date,record:call_type,record:init_type,record:other_cell_phone,record:place,record:start_time,record:subtotal,record:use_time")    

TBLPROPERTIES("hbase.table.name" = "buyer_calllogs_info_ts");

   从方式需要先在hbase建好表,然后在hive中建表,hive drop掉表,hbase表不会变。

3.Hive映射HBase的列族

CREATE EXTERNAL TABLE hiveFromHbase(
rowkey string,
f1 map<STRING,STRING>,
f2 map<STRING,STRING>,
f3 map<STRING,STRING>
) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:,f2:,f3:")
TBLPROPERTIES ("hbase.table.name" = "hbase_test");
hive> select * from hiveFromHbase;
OK
r1      {"name":"zhangsan"}     {"age":"20"}    {"sex":"male"}
r2      {"name":"lisi"} {"age":"30"}    {"sex":"female"}
r3      {"name":"wangwu"}       {"age":"40"}    {"sex":"male"}
Time taken: 0.158 seconds, Fetched: 3 row(s)

 

《Spark系列》建立Hive和Hbase的映射关系,通过Spark将Hive表中数据导入ClickHouse 创建列簇 按行导入数据 阅读详情

相关推荐

hive建立内部表映射hbase_Hbase 表与Hive 表的映射操作

一、环境准备需要将HBase的jar包拷贝到Hive中,以便Hive运行时能访问到Hbase这里演示创建软连接的方式ln -s $HBASE_HOME/lib/HBase-common-1.3.1.jar $HIVE_HOME/lib/HBase-common-1.3.1.jarln-s $HBASE_HOME/lib/HBase-server-1.3.1.jar $HIVE_HOME/lib/...

weixin_39901558的博客 434

【Hive】Hive 整合映射 HBase

文章目录## 一、前言二、适用场景三、依赖条件四、具体使用4.1、Hive 表映射到 Hbase 中4.2、HBase 表映射到 Hive 表中4.3、Hive Map 类型在 HBase 中的映射4.4、 使用 Hive 集成 HBase 表的需注意五、来源 ## 一、前言 HBase 只提供了简单的基于 Key 值的快速查询能力,没法进行大量的条件查询,对于数据分析来说,不太友好。 hive ...

w1992wishes的博客 1029

PX4飞控CAN总线通信深度配置:从menuconfig到驱动加载的完整指南

本文详细解析了PX4飞控中CAN总线通信的深度配置流程,从menuconfig选项设置到驱动加载的完整指南。涵盖硬件抽象层、驱动层和应用层的配置细节,提供实际验证方法和故障排查技巧,帮助开发者高效实现CAN通信,特别适用于无人机和机器人底盘运动控制等场景。

weixin_30374009的博客 499

Hive 与 Hbase表映射(内部表与外部表),Hbase常用命令

Hive 与 Hbase表映射(内部表与外部表),Hbase常用命令

Mogeko1的博客 1万+

【自动驾驶】控制算法(十)深度解析车辆纵向控制 | Carsim 油门刹车标定表的制作...

写在前面: ???? 欢迎光临 清流君 的博客小天地,这里是我分享技术与心得的温馨角落。???? ???? 人生如戏,我们并非能选择舞台和剧本,但我们可以选择如何演绎 ????感谢您的支持与关注,让我们一起在知识的海洋中砥砺前行~~~文章目录引言一、油门标定原理1.1 油门与速度、加速度的关系1.2 油门控制曲面模型的构建二、油门标定表的制作流程...

qq_35485206的博客 2139

1.毫米波雷达心率、呼吸原理实现(一)实例

毫米波雷达心率、呼吸检测原理本项目分两到三篇文章写完,第一阶段借鉴TI开源项目以及根据自己的见解适当更改信号处理链通过AWR1843汽车雷达传感器和DCA1000采集卡采集数据完成人体呼吸和心跳检测算法的实现。第二阶段将仿真成功的代码搬移TIAWR1843传感器并通过串口数据实现生命体征的实时处理。本文即为第一阶段实现过程。本文首先概述毫米波雷达呼吸心跳检测的原理,紧接着概述本项目信号处理流程,另外本项目第一阶段通过matlab仿真验证算法的有效性,仿真源码可关注小编并私信可取。1.概述。

Poulen的博客 2万+

Hive映射Hbase

Hive映射Hbase

qq_57151931的博客 1181

【信号与系统实战解析】—— 拉普拉斯变换在电路分析中的关键应用

本文深入解析了拉普拉斯变换在电路分析中的关键应用。通过将时域微分方程转换为复频域的代数方程,系统化处理初始条件,并利用零极点图分析电路稳定性与频率响应。文章以RLC串联电路为例,详细演示了s域建模、性质运用及综合分析方法,为工程师提供了分析动态电路的强大工具与清晰视角。

weixin_29093017的博客 174

Hbase--Hbase数据表映射到Hive中

Hbase数据表映射到Hive中

Natsu_natsu的博客 934

Tiff、jpg图片怎么样添加地理坐标信息

Tiff、jpg图片怎么样添加地理坐标信息 一般,外业调查只有地图资料,如专题图、或者地形图,如何把这些地图资料的扫描地图带上坐标信息,从而内业实现信息化处理?以上问题,可以解决,但根据不同情况有不同的处理方法。     第一种,上面有经纬度外框,图片是矩形,但是没有地理信息。 通过图框的两个角的坐标确定范围,分别是左上(140°E,30°N);右下(150°W,30°N) 解决方

树木_xzw的博客 2万+

1、初探 Tiny Machine Learning

Tiny Machine Learning(TinyML)是机器学习与嵌入式系统的融合领域,致力于在资源受限的微控制器上运行AI模型。本文介绍了机器学习基础、TinyML的核心概念、应用领域(如智能家居、工业物联网、医疗保健)、面临的挑战(如资源限制、模型压缩、数据质量),以及从硬件准备到模型部署的实践步骤。通过利用训练与推理的资源不对称性,可在PC上训练模型并部署至低功耗设备进行实时推理,推动边缘智能的发展。

loss4bartender的博客 121

hive 创建 hbase表 的映射关系

--建表 create table hive_tableName ( rowkey string, field_name1 string, field_name2 string ... ) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serde...

hongchenshijie的博客 905

从Overleaf上导出Latex论文发布到arxiv详细教程(常见问题与解决)

如果是做cv的论文请选择“Computer Vision and Pattern Recognition”,选择“Artificial Intelligence”可能会被on hold,貌似这个指的是传统的人工智能?我用公司邮箱注册发布一篇论文,一个多月还是“on hold”状态,换成edu邮箱第二天就被发布了。3、有可能是subject class选错了,编辑会帮你手动选择,然后发一封邮件告知你解除……报错缺失bbl等文件,这是因为从Menu中下载的话,是没有bbl文件的。论文被on hold。

沉迷单车的追风少年 3584

Hive映射HBase表的几种方式

1.Hive内部表,语句如下 CREATE TABLE ods.s01_buyer_calllogs_info_ts( key string comment "hbase rowkey", buyer_mobile string comment "手机号", contact_mobile string comment "对方手机号", call_date string co...

508

《网络安全自学教程》- OSI七层模型分层及作用,数据封装与解封过程,数据传输过程。

OSI分哪七层,每层的作用是什么,解释数据在七层模型中是怎样传输的,封包和解封过程,数据包在每一层是怎么封装和解封的。

wangyuxiang946的博客 1万+

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

hive建立内部表映射hbase_Hive映射HBase表的几种方式

1.Hive内部表,语句如下CREATE TABLE ods.s01_buyer_calllogs_info_ts(key string comment "hbase rowkey",buyer_mobile string comment "手机号",contact_mobile string comment "对方手机号",call_date string comment "发生时间",call...

weixin_39658716的博客 402

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Hbase表映射Hive表三种方法

一、准备 1.1 官方文档 https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration 1.2 依赖服务 Hive3.1.1:https://blog.youkuaiyun.com/qq_39680564/article/details/89714184 Hbase2.1.0:https://blog.youkuaiyun.com/qq_396805...

刘李404not_found的博客 6617

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

hive表数据导入到Hbase

hive数据导入到Hbase中有两种方式。 方式一 —— 内部表映射 适用于数据量不是特别大的场景。 首先说一下Hbase数据到hive内部表的映射,代码如下: create table stu_info{ key string comment '主键', name string comment '名字', age int comment'年龄' } STORED BY 'org.ap...

暁洣的博客 6618

Hbase和Hive整合,Hive读Hbase的表内容

经过一下午,终于测试成功。前期:Hapood平台、Zookeeper、Hbase、Hive都安装好。(安装可以参考其它资源)本Demo版本:jdk1.8.0_171,hadoop-2.7.3,zookeeper-3.4.9,mysql-5.6.40-linux-glibc2.12-x86_64,hbase-1.2.4,apache-hive-2.1.1-binroot@master lib]#...

Mafeng 的博客 1897

Hive映射已存在的HBase表

1、首先要确保/usr/lib/hive/lib下HBase的jar包的版本要和实际环境中HBase的版本一致,需要用/usr/lib/hbase/li/目录下得jar包做软连接,如下: ln -s /usr/lib/hbase/lib/hbase-client-1.0.0-cdh5.4.3.jar /usr/lib/hive/lib/hbase-client.jar ln -s /usr

GoFastX的博客 7394

Hive小项目之mysql、hbase、hive之间的表迁移、映射和查询

本文任务:创建关系型数据库,导入表。将多表结合起来,导入到hbase,然后通过hive映射hbase的数据进行查询。 目录一、MySql表关联概念二、建表三、多表结合四、数据迁移—mysql->hbase五、建立hive映射六、查询 一、MySql表关联概念 关系型数据库的搭建,需要遵循三大范式,而三大范式反过来逼着我们不可避免的要将多个表关联起来。在表关联这一块,如果稍有差错,可能半个小时就完成的工作会因为不断的删表建表搞两三个小时。先说几个概念, 1、外键:如果一张表中有一个非主键的字段指向了另一

小小鱼 1392

hive建立内部表映射hbase_【Hive】Hive 整合映射 HBase

@[toc]一、前言HBase 只提供了简单的基于 Key 值的快速查询能力,没法进行大量的条件查询,对于数据分析来说,不太友好。hive 整合 hbase 为用户提供一种 sqlOnHbase 的方法。Hive 与 HBase 整合的实现是利用两者本身对外的 API 接口互相通信来完成的,其具体工作交由 Hive 的 lib 目录中的 hive-hbase-handler-xxx.jar 工具类...

weixin_42421187的博客 1224

hive映射hbase表数据

hive映射hbase表【说明】 一般来说,hive映射表数据都是映射hdfs上的数据,直接通过location 指定映射目录,然后可以查询数据。但是hive映射hbase表数据,是直接映射hbase中的表。 hbase需要被hive映射的表的建表语句 create 'events_db:user_friend', 'uf' 【注释】 events_db: 是命名空间 user_friend: 是hbase中的表名 uf: 是列族 hive创建表映射hbase中user_friend表 开启动态分区

lyq7269的博客 994

【Hive】如何在 Hive 中创建外部表映射 Hbase 中已存在的表

文章目录一、上传完整的jar文件到hive/lib中二、修改hive-site.xml三、修改hive-env.sh四、在hive和hbase中分别创建相关联的表并通过hive向hbase表中加载数据五、在hive中创建外部表映射hbase中已存在的表六、特别注意 一、上传完整的jar文件到hive/lib中 删除hive/lib下所有文件 解压上传hive所有的jar到该目录下 二、修改hi...

云祁QI 5686

hive中创建关联hbase表的几种方案

【运行环境】hive-1.2.1    hbase-1.1.2【需求背景】有时候我们需要把已存在Hbase中的用户画像数据导到hive里面查询,也就是通过hive就能查到hbase里的数据。但是我又不想使用sqoop或者DataX等工具倒来倒去。这时候可以在hive中创建关联表的方式来查询hbase中的数据。【创建关联表的几种方案】前提是:hbase中已经存在了一张表。既可以在hive中关联此表的...

宝罗Paul 的博客 9786
上一篇: hive整合hbase
下一篇: centos6.7内核版本升级2.6升级为4.4 安装docker前置条件
刘sir--
博客等级 码龄9年 20粉丝 33原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值