GBase 8a 内存需求评估（一）

最新推荐文章于 2024-02-06 15:06:55 发布
原创 最新推荐文章于 2024-02-06 15:06:55 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分布式 #数据仓库 #database #数据库 #sql

本文探讨了在处理大规模数据时GBase集群节点的内存需求，包括参与运算的数据量、中间结果集大小及并发数等因素。针对不同类型的数据库运算提出了具体的配置建议。

复杂应用的内存配置建议

从以下几个方面考量数据库运算过程中单个GBase集群节点（gnode）各算子的内存需求（假定10节点集群）：

参与运算的数据量

以一个2亿行的表与3千万行的表进行join运算，并对join运算结果进行group by聚集，最终得到的结果行数为1.5亿行的场景为例，参与运算的数据量为2.3亿行，超过100GB（不含不参与运算的字段），得到的结果集也超过80GB；对于10节点集群，每节点承载的运算数据量超过10GB。

sql执行过程中的中间结果集大小

最低0.47元/天 解锁文章
GBase 8a 管理员手册元数据管理
weixin_62941622的博客
12-27 472
1. 限制表实例数量 参数名：_gbase_express_table_limit 数值范围：最小值 16，最大值 1024*1024，默认值 16*1024 说明：当引擎层打开表数量达到参数设定的值时，不会立即触发清理动作。 而是由后台线程每 5 秒检测一次，如果达到上限才会触发清理动作。 2. 限制表实例元数据总大小 参数名：_gbase_express_table_metadata_limit 数值范围：gnode 下默认值为 temp 堆大小一半，gcluster 下默认值为 1GB， 最..
GBase 8a-MPP大规模并行计算技术
DAISER的博客
11-26 2026
GBase8aMPPCluster为非对称部署的联邦架构，GClusterCluster和GCwareCluster单独部署为一个集群，最大节点数为64，GNodeCluster单独部署为一个集群。
GBase 8a 部署（centos8）
GNAIXGNAHZ的博客
11-30 1569
GBase 8a 部署（centos8）
趣说GBase 8a数据库集群（一）
weixin_47390342的博客
01-20 1837
言归正传，“趣说”（一）作为开篇，我们从GBase 8a是谁，GBase 8a从哪里来，GBase 8a到哪里去开始。
GBase 8a 虚拟集群
GNAIXGNAHZ的博客
11-19 910
GBase 8a 虚拟集群
GBase 8a MPP企业级大数据平台-性能测试报告.pdf
10-14
GBase 8a MPP（大规模并行处理）企业级大数据平台是一款专为处理海量数据设计的数据库系统，尤其适用于数据分析、数据仓库和实时决策支持等场景。本性能测试报告详细记录了对GBase 8a MPP在不同条件下的性能表现，...
GBase8a-MPP-Cluster-NoLicense-8.6.2-build43-R11-redhat7.3-x86-64
11-06
GBase 8a MPP Cluster 是...对于从事数据分析、数据仓库建设、商业智能(Business Intelligence，简称 BI)等领域的专业人士和企业，GBase 8a MPP Cluster 提供了一种可靠且强大的工具，以满足其日益增长的数据处理需求。
mysql数据库迁移到postgresql的gbase数据库
最新发布
12-04
- 引用[2]：介绍了GBase Migration Toolkit工具，它支持从多种源数据库（包括MySQL）迁移到GBase8a、GBase8t、GBase8sV8.7。这是一个C/S结构的工具，有图形界面。 - 引用[3]：提到数据库迁移的挑战，如数据一致性、...
【Skylake平台的可扩展性】：满足不断增长计算需求的关键
Skylake平台作为英特尔推出的先进处理器架构，拥有众多创新特性，包括核心架构改进、高级缓存结构、DDR4内存支持和高速内存访问优化等。本文首先介绍了Skylake平台的核心特性和可扩展性，并探讨了其在多处理器配置、...
GBase8a.rar
04-27
gbase 8a 免验证版 亲测可用 附安装教程 单机版的GBase 8a 目前支持主流的linux系统，如redhat、suse、centos等 南大通用数据技术有限公司推出的自主品牌的数据库产品，目前在国内数据库市场具有较高的品牌知名度
Gbase8A用户手册
05-06
Gbase8A用户手册，提供gbase所有操作的指南，用户可以根据这个使用
GBase 8a 数据库技术白皮书
09-26
数据库技术：在过去的十年里，数据的有效利用已经成为各单位议事日程上最优先的项目 之一。近几年来，企业和政府机构已经完成了信息化建设的初步阶段，即数据的 采集和事务应用。但是如何对已有海量数据进行有效利用，如何对数据进行挖掘、 分析，如何从历史数据中获取规律性，以指导公司的规划和决策，以及怎样支持 海量数据的即席查询、比对，这些方面是信息化建设新的阶段和发展方向。
GBASE 8S数据库内存管理
03-24
GBASE 8S数据库内存管理
GBase 8a 资源管理
GNAIXGNAHZ的博客
01-30 428
GBase 8a 资源管理
GBase 8a 内存需求评估（二）
Mr_dar的博客
03-25 543
简单查询类的内存配置建议 主要应用场景为电信行业的话单查询业务。 针对该类型场景的内存评估，主要依赖于热数据的比例和数据量。热数据的总量即为内存需求量。 以某运营商的云话单为例，以月表方式存储6+1个月的历史数据；每天的数据量为600GB；全数据生命周期内的总数据量为600GB/天 * 30天/月 * 7个月 = 126T； 云话单查询主要以当月数据查询为主，可定义当月的话单数据即为热数据，假设话单查询的字段个数只占总字段个数的1/3，则热数据的总量约为18TB/3=6TB，即在最理想情况下GBas
GBase 8a 部署（centos7 v9.5）
GNAIXGNAHZ的博客
09-22 3662
GBase 8a 部署（9.5）
GBase 8a 资源管理——环境配置
ljx123456666的博客
11-28 429
步骤3 查看cgroup服务是否启动成功。
国内自主研发的首款分析型数据库GBase 8a发布了
雨翰数据库修复
06-24 3270
今天下午作为公司的代表参加了南大通用数据技术有限公司在钓鱼台国宾馆举行的GBase 8a产品发布会。GBase 8a是国内首款具有自主知识产权的分析型数据库。GBase 8a采用了列式存储、智能查询、高效压缩、双向并行、自适应优化等多项新技术，打破了以往提高性能只能靠增加数据库的容量，建很多索引的常规，使得GBase 8a既有高性能又有很高的数据压缩比。宣称查询速度比传统关系型统数据库能够提升10倍以上，有5倍以上的存储压缩率。现在发布的单节点GBase 8a可以支撑大约10T的数据量，紧接着会发布GBas
国产数据库 GBase 8a 安装
水蜜桃桃桃的博客
02-06 5002
GBase 8a试用版安装，及客户端使用
GBase 8a 安装与操作指南
"GBase 8a 是一款由南大通用数据技术股份有限公司开发的分析型数据管理系统，本文档详细介绍了GBase 8a在Linux RHEL 6平台上的安装步骤和基本操作方法。该安装手册包含了版权信息、免责声明、系统要求以及一系列的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值