greenplum + pgsql和Hadoop+hive+hbase

最新推荐文章于 2022-10-02 15:54:01 发布
最新推荐文章于 2022-10-02 15:54:01 发布
阅读量728 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop/spark/Hbase/Hive/pig/Zookeeper/HAWQ/cloudera/Impala/Oozie 文章标签： 大数据 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/tao_wei162/article/details/84825489
本文对比了Hadoop+Hive+hbase与GreenPlum+PostgreSQL两种架构的特点。Hadoop支持新增节点且无需重启，适用于大规模数据处理，而GreenPlum则更侧重于传统BI工具的支持。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在做的项目用的架构是greenplum+postgresql，Hadoop+Hive+hbase模式

 

 A. Hadoop + Hive 
支持新增节点，过程中不需要重启
支持jdbc访问hive数据库
支持sql的方式获取数据
在技术过程中，数据是以批量的方式来执行。如果Hadoop集群中架设了tez引擎，则计算数据会提高不少
如果想支持即席查询，则需要drill，impala组件辅助
集群规模可达到上万
容灾性比较好，一两台机器出现问题不影响整体
可视化工具方面比较少，常用hue，zepplin等
能与当前的Hadoop生态其他组件完全融合，有很多弹性的选择。
开源生态最健壮

B. GreenPlum + PostGreSQL
支持新增节点，但过程中需要重启
集群规模很少有上千的，一般都是几十上百台
支持jdbc访问数据库
支持sql的方式获取数据
支持即席查询
与当前的传统BI工具可很好的结合

Greenplum MPP 与 Hadoop大PK？
MyySophia的博客
10-26 3359
MPP和Hadoop都是为了解决大规模数据的并行计算而出现的技术，两种技术的相似点在于： 分布式存储数据在多个节点服务器上 采用分布式并行计算框架 支持横向扩展来提高整体的计算能力和存储容量 都支持X86开放集群架构 但两种技术在数据存储和计算方法上，也存在很多显而易见的差异： MPP按照关系数据库行列表方式存储数据（有模式），Hadoop按照文件切片方式分布式存储（无模式） 两者采用的数据分布机制不同，MPP采用Hash分布...
大规模金融交易数据分析的高性能解决方案：Greenplum + GPText
Greenplum中文社区
11-04 515
了解更多Greenplum技术干货，欢迎访问Greenplum中文社区网站 “…大多数行业专家都认同，全球80％至90％的数据是非结构化数据。在这庞大的数据中，如今却只有0.5％被有效地分析和使用。 在商业世界中，大多数非结构化数据都位于与客户相关的文本中。可惜，大多数公司都不知道如何从非结构化的客户数据中有效地提取有用的信息来帮助预测和分析。但是，如果做对了，从大量文本中提取有价值的预测见解仅需几秒钟。” ——Osvaldo Driollet (博士) 高级数据科学家, 美国征信巨头FICO GPT.
greenplum 与 hbase的区别
tao_wei162的博客
12-12 4407
hadoop的hdfs支持海量数据量存储    mapreduce支持对海量数据的分布式处理oracle虽然可以搭建集群  但是当数据量达到一定限度之后查询处理速度会变得很慢  且对机器性能要求很高其实这两个东西不是同类    hadoop是一个分布式云处理架构，倾向于数据计算   而oracle是一个关系型数据库，倾向于数据存储。要说比较可以比较hbase与oracle。hbase是一种no...
深入HBase、Spark、Alluxio、Greenplum、StreamSQL等大数据技术及其架构设计
博客
05-22 4255
2017年6月10-11日，由优快云主办的SDCC 2017·深圳站大数据技术实战峰会将在深圳举办，峰会秉承干货实料的内容原则，邀请业内顶尖的架构师、大数据总监和PMC共话弹性计算、大数据平台构建、优化提升大数据平台的各项性能、Spark部署实践、企业流平台实践，以及实现应用大数据支持业务创新发展等核心话题，旨在通过来自国内一线互联网公司的实践案例，为开发者提供一个最有价值的高效技术交流平台。日...
PostgreSQL和GreenPlum对比
justlpf的专栏
12-19 2502
参考文章：PostgreSQL和GreenPlum对比 一、数据库对比 性能 学习成本 兼容 MySql MySQL更加灵活 postgreSQL PostgreSQL 的社区支持是非常棒的，还有来自于独立厂商的商业支持。 可靠性是PostgreSQL的最高优先级。它以坚如磐石的品质和良好的工程化而闻名，支持高...
greenplum 简介及数据库对比
08-21
greenplum 简介及数据库对比 。 greenplum hive infobright 对比。
Greenplum + PostGIS 在地理空间大数据分析的应用
Greenplum中文社区
03-31 1206
...
Greenplum+Hadoop大数据实战课程：开发案例与薪酬解析
本资源是一份深入讲解Greenplum和Hadoop的开发案例视频教程，针对大数据应用提供全方位的实战培训。课程共96个课时，由经验丰富的讲师授课，特别针对云计算和大数据领域的需求，旨在培养具备高薪潜力的复合型人才。...
最全的大数据大厂面试宝典，大数据面试题，大数据面试，王傲旗的大数据之路，大数据成神之路，Flink,Spark,Hadoop,Hbase,Hive,Impala,Hbase,MapReduce.zip
最新发布
01-01
目录大纲功能说明 导演 了解數據采集 Flume、Logstash、Canal Maxwell、Databus、NIFI数据同步 DataX、Sqoop、Kettle FlinkX悲痛 HDFS、HBase、Kudu、MongoDB、Elasticsearch、MySql TiDB、IotDB、數據計算 ...
关系型数据库mysql和非关系型数据库redis
confessiontotime的博客
09-14 446
文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import
GreenPlum 与hadoop
tao_wei162的博客
11-24 8547
gp 可以处理大量数据, hadoop 可以处理海量. gp 只能处理湖量,或者河量. 无法处理海量.   greenplum采取的是PostgreSQL框架，是PostgreSQL系的重要应用。从这个角度上可以知道GreenPlum是关系型数据库。Hadoop框架是一种分布式的平台设计理念。它本身不是数据库。其中Impala可以认为是一种非关系型的数据库, Hive相当于SQL。   ...
阿里曾文旌：Greenplum和Hadoop对比，架构解析及技术选型-优快云公开课-专题视频课程...
csdngkk的博客
04-06 4962
本主题通过介绍 Greenplum 架构实现，及其亮点特性，辅之对比传统关系型数据库，这几年新兴的分布式大数据处理框架 Hadoop。
greenplum-kudu-hive数据类型比对
Mavey__的博客
06-07 1155
gp数据类型 kudu数据类型 hive数据类型 描述 int8 BIGINT BIGINT 负2^63 至 2^63-1 int4 INTEGER INT 负2^31 至 2^31-1 int2 SMALLINT SMALLINT 负2^15 至 2^15-1 float4 float FLOAT 负2^127 至 2^127-1 float8 double DOUBLE 负2^1023 至 2^1023-1 numeric decimal DECIMAL kudu中：...
初见Greenplum、Infobright及又见Hive
枫枫的抽屉
03-22 631
GreenPlum 今天做的第一件事是安装单机的Greenplum。装的时候才晓得，这是基于POSQL开发的一款云数据库，基于我粗浅的理解，认为是PGSQL的分布式解决方案。 下载它是一件痛苦的事，因为根本找不到安装包，在全网都找不见。好在抱着试一试的心理上Github逛了逛，果然有人给出了办法。下面是引用： 安装 [root@localhost root]# git clone https://gitee.com/inrgihc/greenplum_singlenode.git [root@localh
对比目前流行的几个大数据查询引擎：Hive、SparkSQL、Presto、Impala、HAWQ、 ClickHouse、Greenplum。
dragon_blog的博客
10-02 2123
大数据仓库
开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum) ...
weixin_33724659的博客
01-21 8545
本文为博主公司原创文章，仿冒必究，转载请回复留言** 开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum) 易观CTO 郭炜 序现在大数据组件非常多，众说不一，在每个企业不同的使用场景里究竟应该使用哪个引擎呢？这是易观Spark实战营出品的开源Olap引擎测评报告，团队选取了Hiv...
Hadoop集群下配置Hive元数据库为PostgreSQL
zhbzhbzhbbaby的博客
06-21 4268
1下载hive 下载地址：http://hive.apache.org/downloads.html 点击上图的Download release now! 如图： 点击上图的某个下载地址，我点击的是国内的这个地址：http://mirror.bit.edu.cn/apache/hive/ 如图： 点击进入：...
HBase API 获取数据（get）
qq_59947103的博客
04-06 6093
1.配置文件和连接信息 // 两个变量的声明： private static Connection connection = null; private static Admin admin = null; static{ try { // 1.获取配置文件信息 Configuration configuration = HBaseConfiguration.create();
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值