greenplum优化

最新推荐文章于 2024-03-29 11:28:04 发布
原创 最新推荐文章于 2024-03-29 11:28:04 发布 · 644 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#postgresql #数据库 #database

1、清理数据表大小

频繁进行修改删除的数据表，表占的空间大小膨胀的特别快，表查询速度也会越来越慢

使用临时表进行数据表重建

 2、系统表pg_attribute,pg_class,pg_type长时间不清理，膨胀的大小很影响查询速度

使用vacuum full analyze pg_attribute

3、清理日志

greenplum对于每个查询都有保留日志，长时间磁盘容量就被日志占满

使用crontab，建立定时清理日志的跑批

 

 

【greenplum 性能优化】greenplum 数据库集群 如何释放占用内存
赖德发的博客
06-07 2370
当一个进程被终止后，它使用的内存空间将被操作系统回收，从而释放内存。释放内存前，发现一台主节点 segment 内存很少，只有792M,正常来说应该10G左右，首先排查问题，主要定位在greenplum 上，因为这台只有这个最占用内存。这个SQL查询语句的作用是将指定数据库（这里是 byt）中未进行活动操作（即空闲状态）的进程关闭，以释放被这些进程占用的资源（例如内存、CPU等）。请注意，在进行上述操作时，需要对数据库的运行情况进行全面评估，并谨慎操作，以避免数据损坏或降低数据库的性能。
GreenPlum优化点之参数篇
JxiaoZhang的博客
10-22 3614
针对GP的性能优化目前可以参考做到的有SQL/索引、查询优化以及参数调整等方向，本篇针对参数调优做出详细规划
Greenplum优化实战
笑看云飞处 - 专注于:互联网 电子商务 大数据 欢迎来访!
11-20 7496
GP优化方案   一、   参数调整 1、块I/O参数 1)参数描述 此参数用来设置块设备参数。 2)现参数： 现没有设置块I/O参数。 3)加入参数： #vi /etc/rc.d/rc.local blockdev --setra 16384 /dev/sdb 注：master、standby节点不需修改。 2、I/O调度算法      由于数据仓库属于IO敏感性应用
greenplum 优化
11-13
greenplum优化与维护，日常使用和维护，基本功能的优化，注意事项
多年DBA实战经验：Greenplum数据库优化技巧与实践
ludongguoa的博客
11-05 1117
熟悉Greenplum的小伙伴都知道，Greenplum是一款分布式数据库。MPP架构相较于传统的SMP架构更能快速响应分析型应用的需求。利用MPP架构的优势，Greenplum可以处理海量数据。2021数据库大咖讲坛第6期《数据库性能优化技巧与最佳实践》活动中，来自Greenplum中文社区的阿福（苑泽福）发表演讲《Greenplum数据库优化技巧与实践》。下面让我们通过本篇文章回顾一下精华内容。 本篇内容主要包括三个部分，从架构入手，延伸到Greenplum的功能特点，针对不同的功能特点提出针对性优化
Greenplum深度优化技巧
weixin_34128411的博客
11-02 751
以下内容根据演讲PPT以及现场分享整理而成。 本次的分享将主要对云上的Greenplum进行介绍。有的同学往往有一些疑问就是Greenplum产品有什么优势？为什么要使用Greenplum？Greenplum能解决什么问题？在今天的分享中也将探讨这几个问题。最后还会提到一些阿里云Greenplum小组所做的工作。 本次的分享主要分为三个方面： 一、A...
Greenplum优化--SQL调优篇
我就是我的博客
02-28 1514
数据库查询预准备 1. VACUUM vacuum只是简单的回收空间且令其可以再次使用，没有请求排它锁，仍旧可以对表读写vacuum full执行更广泛的处理，包括跨块移动行，以便把表压缩至使用最少的磁盘块数目存储。相对vacuum要慢，而且会请求排它锁。定期执行：在日常维护中，需要对数据字典定期执行vacuum，可以每天在数据库空闲的时候进行。然后每隔一段较长时间（两三个月）对系统表
Greenplum优化与维护：SQL监控与配置建议
"本文主要介绍了Greenplum的优化与日常维护，包括其基本架构、特点、与其他数据仓库产品的对比，以及在硬件选择、参数配置和优化建议等方面的关键信息。" 在Greenplum数据库中，执行SQL监控是优化的重要环节。通过...
Greenplum优化与配置指南：选择与调整
本文主要探讨了在选择操作系统和进行Greenplum数据库优化时的一些关键考虑因素，包括操作系统、文件系统的选择以及段（segment）的数量计算和参数调整。 在操作系统选择上，文章提到了Solaris和Linux作为可能的选项...
Greenplum数据库性能下降时的调优方向汇总
灰哥数据智能的专栏
03-24 3804
一、硬件是否出现问题 服务器是否宕机 磁盘、内存性能是否正常 数据库的性能，归根到底就是依赖于硬件的性能，其中磁盘、内存的尤为重要。 网络是否畅通 分布式数据库集群在处理数据时，会产生大量的内部数据传输。GP官方建议内部网络为万兆网，否则会影响集群性能。当网络存在拥堵，无疑很容易影响数据库性能。 是否有失败的节点 GP不同的配置模型，在集群掉节点时，产生的性能下降有所一样。但无论怎么样，由于木桶效应，性能肯定会下降一大截。 磁盘空间使用比例是否...
Greenplum批量操作，数据库里面作删除更新速度最快
LMC技术人生专栏
12-26 4461
这是记一次线上GP大数据库 大量重复问题解决方案 1 建临时表，把重复的数据备份，2 在备份库用查询条件去删除正式表 最近在玩Greenplum 数据库， 一款分布式的数据库 ，MPP架构，但是有好的也有不如意的，总体感觉还是不错，底层数据库还是用PostgreSQL8.2版本， 因为我是GP4.2嘛， 最新版本的GP6.0是基本PostgreSQL9.2，在性能上提高了不少。 先说下，...
greenplum优化--1
weixin_34391854的博客
07-03 125
1、让锁表时间变小，对于每个SQL语句统计结果，存放到临时表，然后将临时表的数据插入目标表中。 例子：CREATE TEMPORARY TABLE test as select * from pg_stat_activity order by usename;2、vaccum 优化 CREATE TABLE new_table (LIKE old_tab...
greenplum-表膨胀问题分析处理
最新发布
qq_38195893的博客
03-29 1220
表膨胀是指在一张表的数据文件中积累的自由空间(free space)被旧数据行使用。这些空间已经被之前删除或者不再访问的数据使用。不能做表的维护以重用这些空间，导致表数据文件越来越大，所以表扫描需要更长的时间。
Greenplum性能优化之路 --（三）ANALYZE
jc_benben的专栏
07-11 839
为什么需要ANALYZE 首先介绍下RBO和CBO，这是数据库引擎在执行SQL语句时的2种不同的优化策略。 RBO（Rule-Based Optimizer） 基于规则的优化器，就是优化器在优化查询计划的时候，是根据预先设置好的规则进行的，这些规则无法灵活改变。举个例子，索引优先于扫描，这是一个规则，优化器在遇到所有可以利用索引的地方，都不会选择扫描。这在多数情况下是正确的，但也不完全如此： 比如 一张个人信息表中性别栏目加上索引，由于性别是只有2个值的枚举类，也就是常说的基数非常低的列，在这种列上
记一次greenplum集群数据库连接慢的问题定位
mirai_D_zoro的博客
07-05 1105
集群状态 gpstate -c 查看当前并发进程数量 select count(1) from pg_stat_activity; 查看死锁 SELECT distinct w.current_query as waiting_query, w.procpid as w_pid, w.usename as w_user, l.current_query as locking_query, l.procpid as l_pid, l.usename as l_user, t.s
Greenplum表空间管理
a6418720的博客
03-14 577
在GP系统中有表空间(tablespace)和文件空间(filespace)的概念。 有不同，在postgresq9.6中可以直接在创建表空间时指定路径。 在系统初始化时，只有两个表空间pg_default和pg_gloal。这两个表空间都在文件空间pg_system下。 select a.spcname,b.fsname from pg_tablespace a,pg...
MySQL增加普通索引
weixin_45739720的博客
12-09 692
1、查看索引 show index from student 2、增加主键索引 #增加主键索引 alter table student add primary key (sno); 3、增加普通索引 #增加普通索引 create index name_index on student(sname); 4、添加全文索引 5、查看执行计划 #查看执行计划 explain select * f...
mongodb 查询效率_MongoDB 存储和优化系列三
weixin_39687542的博客
11-21 470
上篇文章我们介绍了索引的基本概念，描述了不同类型索引的区别，工欲善其事，必先利其器，这篇文章，我们将展开介绍 explain 这个执行计划函数，进一步的了解Mongo的查询计划，来分析和诊断，提高查询的效率。explain()是MongoDB的一个重要的查询诊断工具，这个函数能够提供大量与查询相关的信息，该函数会返回查询计划、执行状态、服务器信息，根据这些信息可以有针对性的对性能进行优化...
greenplum日常维护命令
奔跑的蜗牛的博客
05-10 2088
具体内容可参考官方文档：https://cn.greenplum.org/docs/ 1. 数据库启动：gpstart 常用可选参数： -a : 直接启动，不提示终端用户输入确认 -m:只启动master 实例，主要在故障处理时使用 2. 数据库停止：gpstop： 常用可选参数：-a：直接停止，不提示终端用户输入确认 -m：只停止master 实例，与gpstart –m 对应使用 -M fast：停止数据库，中断...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值