a290450134的博客

描述自上次解决空间增长问题后，又出现了此问题。初步解决方案还是上次的步骤，但是感觉治标不治本，这不是个办法，而且只有一张或两张表有这个问题。这样就有了一个排查的入手点了。是因为频繁的插入删除么，还是频繁的更新新呢？GP物理空间使用的特性建议去了解一下 简单介绍一下，就是修改的动作，是逻辑删除，空间不释放 运行一段时间后有修改的表，需要进行真空处理发现其中一张表是有删除、插入动作，另一张表只有插入动作。尝试了一下真空还能释放空间，这就比较郁闷了。没有进行逻辑删除，那释放的空间是什么呢？.

场景描述：同样的系统部署在3个环境中，问题表 正常的增长范围是每天1M，某一天线上问题说是系统宕机了，然后看了一下系统状态日志，磁盘空间满了。处理流程：日志本来是7天循环的，先手动删除了一下。 有一张数据备份表，和业务流程日志表，这两个是可以删除的，然后进行了truncate。释放了10几个G的空间，然后启动服务，开始排查问题。select pg_size_pretty(pg_relation_size('table_name'));查看了表物理空间大小，发现有一张P表达到了300G，然后第

发生重分布与广播情况：join 聚合。目的：为了能在一个 segment上面进行数据join；举例：对于一个人员地理位置表，分布键是人员id，位置是name，如果对 name进行group by，就需要对name字段进行重复布， 在进行重分布之 前，先对每一个机器都进行局部group by，重分布之后，同一个name的 数据都会分布在同一个segment机器上面，最后提交给m...

左连接 不能将左表广播右连接 不能将右表广播关联表尽量使用相同的分布键，可以直接进行数据关联，不用进行重分布。内连接：情况1：select * from test_table_5000 as t1, test_table_10000 as t2where t1.id=t2.id关联键是分布键，不涉及重分布情况2：select * from test...

正在执行的sql：当有慢sql正在执行时，或者接口无法加载（连接数满）。select * wherexact_start is not null ORDER BY query_start;杀掉查询进程select pg_cancel_backend(procpid);杀掉其他SQL进程select pg_terminate_backend(procpid);数据...

greenplum是基于postgre的数据库，最大的特征就是分布式，多节点（segment）。保存的数据会根据分布键存储到不同的节点上，用于查询或者关联。如果分布键选择得当，数据散列均匀，各个节点的数据量就会保持平衡，量级基本一致。如果选择不当就是导致数据倾斜，某一个节点数据量特别大。直接影响就是木桶效应，其他节点不工作，一个节点处理所有的数据，再提交给master，效率低下。理想状态下关...

vacuum表 1.简单的回收磁盘资源,没有排它锁，速度快 2.将deadtuple的行的空间转换为能够使用的状态 vacuum full 表 1.彻底回收磁盘资源，包括块移动，有排它锁，速度慢 2.将空间碎片后面的数据上移 以下部分转自：https://blog.youkuaiyun.com/pg_hgdb/article/details/79490875...

vacuum：该选项主要是清理数据库表中的垃圾空间，该动作会消耗系统一定的资源，引起系统的IO上升，对有一定系统瓶颈来说容易造成堵塞，严重会把GP宕掉，造成数据库瞬断。一般不建议vacuum库中全表，通常做法是 vacuum 指定的表。GPDB 与PostgreSQL一样，在执行delete语句时，并没有将数据删除，而是标志为删。执行update，只是将旧数据标记为删除，重新再插入一...

使用了第三方数据库连接池Druid，没有声明事务管理器。Spring boot对事务管理会有默认配置，但不包含第三方插件，使用第三方插件时需要额外处理解决方法：使用druid数据源配置事务管理器@Bean(name="transactionManager")publicDataSourceTransactionManager transactionManager(){ret...

基础配置文件：postgresql.conf如下一共三个配置方案，可根据业务需求进行配置日志： logging_collector 是否打印log log_line_prefix 日志格式 log_directory 日志保存目录 log_state...

首先，执行以下sql获取数据库的OID，用于定位文件夹路径位置。oid：是隐藏字段，要单独加上，其他字段暂时不需要不做展示select oid,* from pg_database where datname='xn_report';执行结果：根据查询到的oid，进入GP的目录下cd /opt/data/master/gpseg-1/base现在可以看到刚才...

查看数据库物理大小select pg_size_pretty(pg_database_size('库'));查看所有数据库大小select datname,pg_size_pretty(pg_database_size(datname)) from pg_database;查看表大小：select pg_size_pretty(pg_relation_size('表'));...