phoenix也能实现sql查询为什么在数仓中不用hbase代替hive

最新推荐文章于 2024-08-07 20:30:38 发布
原创 最新推荐文章于 2024-08-07 20:30:38 发布 · 520 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了HBase与Hive在数据仓库应用中的局限性，指出HBase不适合作为数据仓库的主要使用方式，因为它无法满足数据仓库调度对于数据体系依赖分析及元数据管理的要求。同时，Hive虽然适用于大数据分析，但在某些方面仍存在争议，如Spark是否能完全取代Hive成为数据分析的新标准。
网上相关文章较少, 得到了一些结论:

1 . 无法满足数据仓库调度对于数据体系依赖分析及 元数据管理相关要求，故不能作为数据仓库的主要使用方式.

2. hbase主要海量数据的存储，hive比较适合数据仓库分析

相关


lbzz
关注
HBase与Hive集成：实现SQL查询HBase数据
操作系统内核探秘的博客
09-17 809
你有没有过这样的困惑？用HBase存了大量用户行为数据（比如点击、浏览），想统计"上周年龄18-25岁用户的点击量"，但HBase的Shell命令只能一行行查，根本搞不定复杂统计；用Hive写SQL很顺手，但Hive的表存在HDFS里，实时写入速度慢，没法存动态变化的数据。我们的目标：把HBase的"实时存储能力"和Hive的"SQL分析能力"结合起来——让HBase负责"存数据"，Hive负责"查数据"，用最熟悉的SQL语句从HBase里捞出想要的结果。
Phoenix集成 HBase和HBase与Hive集成（三）
May_J_Oldhu的博客
01-07 457
Phoenix集成 HBase和HBase与Hive集成一.Phoenix集成 HBase1.Phoenix字段类型2.操作（1）启动（2）创建表（3）查看表（4）查看表的所有列（5）插入数据（6）查询数据（7）删除数据（8）表关联操作（9）退出二.HBase与Hive的集成1.Hive（1）数据仓库（2）用于数据分析、清洗（3）基于 HDFS、MapReduce2.HBase（1）数据库（2）用于存储结构化和非结构化的数据（3）基于HDFS（4）延迟较低，接入在线业务使用3.HBase与Hive集成使用（
大数据大比拼：Hive vs HBase，你知道两者的区别和适用场景吗？
陈书予
03-09 2953
Apache Hive和Apache HBase是两个非常流行的分布式数据存储技术。尽管两者都是Apache软件基金会的项目，但它们被设计用于不同的用例。在本篇博客中，我们将介绍Hive和HBase的基本概念，以及它们的区别和应用场景。
Hive和Hbase
Rachel715的专栏
07-07 578
初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了，我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂，不要紧糊涂的不止你一个，如某个菜鸟的帖子的疑问，when to use Hbase and when to use Hive？....请教了^_^没关系这里我帮大家理清每个技术的原理和思路。 Pig 一种操作hadoop的轻量级脚本语言，最初又雅
HBase：NoSQL数据库（END-6.HBase的优化）
weixin_44824495的博客
06-07 625
文章目录1.高可用(HA)2.预分区2.1意义2.2 实现2.2.1 实现一2.2.2 实现二2.2.3实现三2.2.4 API实现3.Rowkey的设计4.布隆过滤器5.内存优化6.基础优化6.1 允许在HDFS的文件中追加内容6.2 优化DataNode允许的最大文件打开数6.3 优化延迟高的数据操作的等待时间6.4 优化数据的写入效率6.5 设置RPC监听数量6.6 优化HStore文件大小6.7 优化HBase客户端缓存6.8 指定scan.next扫描HBase所获取的行数6.9 flush、co
Hive和HBase比较
cndn20120225的博客
02-19 2550
Hive和HBase比较 Hive：本质上是一个用于进行数据仓库管理的工具，在实际过程中经常用于对数据进行分析和清洗，提供了相对标准的SQL结构，底层会将SQL转化为MapReduce来执行，因此Hive的效率相对较低，更适合于离线开发的场景。Hive一般针对历史数据进行分析，一般只是提供增加和查询的能力，一般不会提供修改和删除的功能。 HBase：本质上是一个非关系型数据库，在实际过程中，用于存储数据。因为HBase的读写效率较高，吞吐量较大，因此一般使用HBase来存储实时的数据，最终数据会落地到H
几句话说下hive与hbase之间的区别：
persuit的专栏
05-19 748
1、hive封装的是MR，其实就是MR的接口而已。但是HBASE是noSQL的数据库。 2、hive不支持常规的数据库操作，如不能插入，删除，更新等，一般是用来处理大量的静态数据，但是hbase可以执行插入等方面的操作。 3、hive的运行时间一般比较的长，所以适合大的静态数据，但是hbase则不需要，可以进行大规模的实时查询。
如何用sql在1分钟从1T数据中精准定位查询？Hive离线数仓 Spark分析
最新发布
李文昊的博客
08-07 4132
在大数据-Hadoop体系中 ，spark批处理和hive离线数仓可以说是对立并行的两个大分支技术栈，，，建议主攻其一，另一个灵活使用就行。他们是2015出现在国内，2017年之后国外各大公司纷纷采用，国内2020采用的，目前属于很前沿，并且很主流，很顶层的技术。（注：19年国内云计算开始起势，大数据的发展与云计算和人工智能等密切相关，更离不开芯片，硬件存储技术等相关支撑，它们之间相辅相成
Sqoop通过Phoenix导hbase数据到hive
11-06
at org.apache.sqoop.manager.SqlManager.importQuery(SqlManager.java:748) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:515) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:...
hadoop：hbase：apache-phoenix连接hbase，实现类sql查询（附DBeaver连接方式）
不花的花和尚的博客
08-21 2670
学校
电商数仓hbase
noob9527的博客
05-06 342
尚硅谷电商数仓hbase
数据仓库—Hbase
zenglaoshi的博客
11-28 918
Overview ​ HBase是Hadoop数据库，是一个分布式，可扩展的大数据存储。当您需要对大数据进行随机、实时读/写访问时，请使用HBase。该项目的目标是托管非常大的表 - 数十亿行X百万列 - 在商品硬件集群上。HBase是一个开源的，分布式的，版本化的非关系数据库，模仿Google的Bigtable：结构化数据分布式存储系统。正如Bigtable利用Google文件系统提供...
分布式数据仓库 HBase
BlueProtocolBlog
10-23 1933
HBase作为一个高可靠性、高性能、面向列、可伸缩的分布式数据库，提供海量数据存储功能，用来解决关系型数据库在处理海量数据时的局限性。
HBase适用&不使用情形
jameshaper的专栏
11-10 1073
HBase不能完全替代HDFS或者关系型数据库管理系统 HBase并没有针对传统的应用或者关系型分析做优化。同时也不适用于替代HDFS来进行大型的MapReduce操作。 适用： 如果你的应用的模式很多变并且每一行都有些许不同，那么你应该选择HBase。例如使用传统关系型数据库时你不能快速的添加新列，同时多数情况下这些列都是空的。并且，如果你的数据是一些混合型数据
HBase与Hive的关系
qq_40772429的博客
08-09 357
什么是HBase? 1.首先它是一个非关系型数据库,不对数据进行计算、加工，仅限于查询与存储，该数据库里面存储的是结构化与非结构化数据，因此不适合对其进行关联查询，像SQL语言那种JOIN操作是无法实现的。 2.基于hadoop架构，将数据存储至HDFS的DataNode中,提供高容错的支持，HBase中的RegionServer对其以region的格式进行管理，里面存储数据的模式是K-V键值对形式 3.需要zookeeper的支持以及提供master的高可用、RegionServer的监控、元数..
上海久耶基于 HBase 实时数仓探索实践
qianshanding0708的博客
04-29 657
文章从六个方面介绍，首先是久耶第一代离线数仓以及第二代实时数仓。接下来介绍下公司业务场景和业务开发，基于 HBase 的开发流程，然后公司 CDH 集群调优监控，最后分享...
HBase 与 Hive 的区别和关系
Andrew的成长之路
01-10 1万+
看到了很多博文中对HBase 与 Hive 的区别做了一些说明，关于这个问题，在刚开始学习 HBase 和 Hive 时就有了这个问题在我脑海中，所以在看到这些博文后，忽然觉得茅塞顿开，可能还需要一段时间的消化和吸收，但是已经比之前明白了许多，写下这篇博文，供日后使用。一 由简入繁，通俗的说看到一篇博文，是这样理解的。 hive是什么？ 白话一点再加不严格一点，hive可以认为是map-reduc
HBase与Hive整合的必要性
象在舞的技术专栏
08-17 2183
Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统，Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce。Hive可以理解为一个客户端工具，将我们的sql操作转换为相应的MapReduce jobs，然后在Hadoop上面运行。          HBase全称为Hadoop Database，即HBase是Hadoop的数
一篇文章让你了解Hive和HBase的区别
热门推荐
wshyb0314的博客
08-07 11万+
相信做大数据开发的朋友对hive和HBase一定不会陌生。 HBASE 想了解更多大数据相关知识可以点击“了解更多” Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。HBase是Hadoop的数据库，一个分布式、可扩展、大数据的存储。单个的从字面意思上或许很难看出二者...
Phoenix与HBase集成实现高效SQL操作
它将SQL查询编译成一系列的HBase扫描操作，通过索引加速这些扫描操作，从而能够实现在大数据上的快速查询。它支持使用标准的SQL语法进行数据查询、更新、插入和删除操作，并且可以集成Hadoop生态系统中的其他组件，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值