Greenplum 性能优化之路 --(一)分区表

第四章 数据字典详解 gp 是基于 PostgreSQL开发的,大部分数据字典是一样的;gp 也有自动的一些数据字典,一般是以 gp_ 开头 4.1 oid 无处不在 oid 是一种特殊的数据类型,在 PG/GP 中,oid 都是递增的,每一个表空间、表、索引、数据文件名、函数、约束等都对应有一个唯一标识的 oid。oid 是全局递增的,可以把 oid 想象成一个递增的序列(SEQUENCE) 通过下面的语句可以... 阅读详情

一、什么是分区表

 

分区表就是将一个大表在物理上分割成若干小表,并且整个过程对用户是透明的,也就是用户的所有操作仍然是作用在大表上,不需要关心数据实际上落在哪张小表里面。Greenplum 中分区表的原理和 PostgreSQL 一样,都是通过表继承和约束实现的。

Greenplum 官方给出的分区表示例如下:

partitions.jpg

 

二、与分布的区别

 

分布:DISTRIBUTED

分区:PARTITION

Greenplum 中每个表都需要有一个分布键,如果你建表的时候没有显示使用语法DISTRIBUTED BY (column) 指定一个分布键,系统也会默认为你指定一个。分布目的是把数据打散到每个节点,打散的规则是 hash 或者 randomly。这样在计算时可以充分利用每个节点的资源进行并行计算。

分区特性在本文会详细介绍,两者比较如下:

  • 数据分布是在物理上拆分表数据,将数据打散到各个节点,使数据可以并行计算,这在 Greenplum 中是必须的。

  • 表分区是在逻辑上拆分大表的数据提高查询性能,也有利于数据生命周期的管理,这在 Greenplum 中是可选的。

  • 无论是分区表还是非分区表,在 Greenplum 中,数据都是分散到各个节点上的。

  • 分区不会影响数据在各个节点上的分布情况。

三、什么时候使用分区表

 

是否使用分区表,可以通过以下几个方面进行考虑:

  • 表数据量是否足够大:通常对于大的事实表,比如数据量有几千万或者过亿,我们可以考虑使用分区表,但数据量大小并没有一个绝对的标准可以使用,一般是根据经验,以及对目前性能是否满意。

  • 表是否有合适的分区字段:如果数据量足够大了,这个时候我们就需要看下是否有合适的字段能够用来分区,通常如果数据有时间维度,比如按天,按月等,是比较理想的分区字段。

  • 表内数据是否具有生命周期:通常数仓中的数据不可能一直存放,一般都会有一定的生命周期,比如最近一年等,这里就涉及到对旧数据的管理,如果有分区表,就很容易删除旧的数据,或者将旧的数据归档到对象存储等更为廉价的存储介质上。

  • 查询语句中是否含有分区字段:如果你对一个表做了分区,但是所有的查询都不带分区字段,这不仅无法提高性能反而会使性能下降,因为所有的查询都会扫描所有的分区表。

四、创建分区表

 

Greenplum 支持三种分区类型:

  1. 范围分区(Range Partition)

  2. 列表分区(List Partition)

  3. 组合分区(A combination of both types)

     

范围分区例子:

CREATE TABLE test_range_partition
(
    uid int, 
    fdate character varying(32)
)
PARTITION BY RANGE(fdate) 
(
        PARTITION p1 START ('2018-11-01') INCLUSIVE END ('2018-11-02') EXCLUSIVE, 
        PARTITION p2 START ('2018-11-02') INCLUSIVE END ('2018-11-03') EXCLUSIVE, 
        DEFAULT PARTITION pdefault
);

以上例子是按天建表,如果时间跨度比较大,会导致建表语句很长,书写起来也不方便,这时候可以使用以下语法:

CREATE TABLE test_range_partition_every_1 
(
    uid int, 
    fdate date
) 
partition by range (fdate) 
(
    PARTITION pn START ('2018-11-01'::date) END ('2018-12-01'::date) EVERY ('1 day'::interval), 
    DEFAULT PARTITION pdefault
);

 

列表分区例子:

CREATE TABLE test_list_partition
(
	uid int, 
	gender char(1)
)
PARTITION BY LIST (gender)
(
	PARTITION girls VALUES ('F'),
	PARTITION boys VALUES ('M'),
	DEFAULT PARTITION pdefault
);

多级分区例子:

CREATE TABLE test_muti_level_partition
(
	uid int, 
	gender char(1),
	fdate character varying(32)
)
PARTITION BY RANGE(fdate) 
SUBPARTITION BY LIST(gender)
SUBPARTITION template
(
	SUBPARTITION s1 VALUES ('F'),
	SUBPARTITION s2 VALUES ('M')
)
(
	PARTITION p1 START ('2018-11-01') INCLUSIVE END ('2018-11-02') EXCLUSIVE,
	PARTITION p2 START ('2018-11-02') INCLUSIVE END ('2018-11-03') EXCLUSIVE,
	DEFAULT PARTITION pdefault
)

五、管理分区表

 

分区表也是一张表,所以对于表的很多操作也可以作用于分区表上,这里列举了常用的一些操作:

清空子分区

ALTER TABLE test_range_partition TRUNCATE PARTITION p1;

删除子分区

ALTER TABLE test_range_partition DROP PARTITION p1;

注:DROP PARTITION 之后跟的是 partition name,而不是 partition table name,这两者之间是有区别的,如果是使用 EVERY 语法创建的分区表,你需要通过 pg_partitions 表查询到对应分区的 partition name。

新增子分区

ALTER TABLE test_range_partition ADD PARTITION p3 START ('2018-11-03') INCLUSIVE END ('2018-11-04') EXCLUSIVE;

注:如果分区表中含有 DEFAULT 分区,会出现如下错误,解决办法可以参见 滚动分区:

ERROR:  cannot add RANGE partition "p3" to relation "test_range_partition" with DEFAULT partition "pdefault"

滚动分区

通常按时间分区的表,都有一个特性,就是分区会不断往前滚动,比如一个按天分区,保存最近10天的分区表,每到新一天,就会要删除10天前的分表表,并且创建一个新的分区表容纳最新的数据。

如果是含有默认分区的,可以使用分区Split

ALTER TABLE test_range_partition SPLIT DEFAULT PARTITION START ('2018-11-03') INCLUSIVE END ('2018-11-04') EXCLUSIVE INTO (PARTITION p3, DEFAULT partition);

这样新分区就被添加,同时保留了默认分区,然后在删除老的分区就完成新老分区的更替。

交换分区

交换分区就是将一张普通的表和某张分区表进行交换,这个功能在数据分层存储十分有用。

比如我们会需要根据对象存储的不同目录设置分区,这个需求就可以使用交换分区完成,这样对于一张大表,他的较少查询的历史数据就可以放在对象存储上,语法如下:

ALTER TABLE {table_name} EXCHANGE PARTITION {partition_name|FOR (RANK(number))|FOR (value)} WITH TABLE {cos_table_name} WITHOUT VALIDATION;

查询分区

与分区相关的系统表或者视图如下:

pg_partition

pg_partition_columns

pg_partition_encoding

pg_partition_rule

pg_partition_templates

pg_partitions

查看分区基本信息:

t2=# select * from pg_partitions where partitiontablename = 'test_range_partition_1_prt_p1';
-[ RECORD 1 ]------------+---------------------------------------------------------------------------------------------------
schemaname               | public
tablename                | test_range_partition
partitionschemaname      | public
partitiontablename       | test_range_partition_1_prt_p1
partitionname            | p1
parentpartitiontablename | 
parentpartitionname      | 
partitiontype            | range
partitionlevel           | 0
partitionrank            | 1
partitionposition        | 2
partitionlistvalues      | 
partitionrangestart      | '2018-11-01'::character varying(32)
partitionstartinclusive  | t
partitionrangeend        | '2018-11-02'::character varying(32)
partitionendinclusive    | f
partitioneveryclause     | 
partitionisdefault       | f
partitionboundary        | PARTITION p1 START ('2018-11-01'::character varying(32)) END ('2018-11-02'::character varying(32))
parenttablespace         | pg_default
partitiontablespace      | pg_default

 

查看分区定义

t2=# select pg_get_partition_def('test_range_partition'::regclass,true);
-[ RECORD 1 ]--------+---------------------------------------------------------------------------------------------------------------
pg_get_partition_def | PARTITION BY RANGE(fdate) 
                     |           (
                     |           PARTITION p1 START ('2018-11-01'::character varying(32)) END ('2018-11-02'::character varying(32)), 
                     |           PARTITION p2 START ('2018-11-03'::character varying(32)) END ('2018-11-04'::character varying(32)), 
                     |           DEFAULT PARTITION pdefault
                     |           )

 

六、查询优化

 

分区表很大的用途在于提升分析性能,但并不是对大表进行分区就能简单的提升性能,也不是分区越多性能越好。

 

分区的粒度

通常像范围分区的表都涉及到粒度问题,比如按时间分表,究竟是按天,按周,按月等。粒度越细,每张表的数据就越少,但是分区表的数量就会越多,反之亦然。

关于分区表的数量,这里没有绝对的标准,一般来说分区表的数量在100左右已经算是比较多了。

分区表数目过多,会有多方面的影响,比如查询优化器生成执行计划较慢,同时很多维护工作也都会变慢,比如 vacuum,recovering segment,expanding the cluster, checking disk usage 等。

 

查询语句

为了充分利用分区表的优势,需要在查询语句中尽量带上分区条件。最终目的是扫描尽量少的分区表。

如下是一个静态分区消除的例子,可以看出 Partitions selected: 11 (out of 15),这里在15张分区表中选择了其中11张

t2=# explain select * from test_range_partition_every_1 where fdate >= '2018-11-05';
                                                         QUERY PLAN
                    
--------------------------------------------------------------------------------------------------------
--------------------
 Gather Motion 2:1  (slice1; segments: 2)  (cost=0.00..431.00 rows=1 width=8)
   ->  Sequence  (cost=0.00..431.00 rows=1 width=8)
         ->  Partition Selector for test_range_partition_every_1 (dynamic scan id: 1)  (cost=10.00..100.
00 rows=50 width=4)
               Filter: fdate >= '2018-11-05'::date
               Partitions selected: 11 (out of 15)
         ->  Dynamic Table Scan on test_range_partition_every_1 (dynamic scan id: 1)  (cost=0.00..431.00
 rows=1 width=8)
               Filter: fdate >= '2018-11-05'::date
 Optimizer status: PQO version 2.55.13
(8 rows)

 

注:Greenplum 最新一代的解析引擎 ORCA 是支持动态分区消除的,但是分区的选择并不会打印在执行计划中。

以下是官网的说明:

For queries that involve dynamic partition selection where the partitioning key is compared to a variable, the number of partitions that are scanned will be known only during query execution. The partitions selected are not shown in the EXPLAIN output.

七、从Redshift 迁移到数据仓库

 

使用过 Redshift 的朋友都知道,Redshift 是不支持分区表的,AWS 官方建议使用 sort key 和distribution key 来优化并行处理,官方建议如下:

CREATE TABLE Amazon Redshift does not support tablespaces, table partitioning, inheritance, and certain constraints. The Amazon Redshift implementation of CREATE TABLE enables you to define the sort and distribution algorithms for tables to optimize parallel processing. Amazon Redshift Spectrum supports table partitioning using the CREATE EXTERNAL TABLE command.

 

但是涉及到数据生命周期管理,Redshift 通常的做法是每个分区创建不同的表,而在所有表的基础上创建一个视图来管理这些表,仿造出一个分区的特性,这无疑是低效的。因此从Redshift 迁移过来的用户建议在合适的场景下使用分区特性。

 


 

 

关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

人大金仓分析型数据库使用之分区表 如果用户有一个表想要分区,用户必须创建一个分过区的表,把原始表的数据载入到新表,再删除原始表并且把分过区的表重命名为原始表的名称。使用一个子分区模板可以确保每一个分区都有相同的子分区设计,包括用户后来增加的分区。如果需要,用户可以使用同一个分区键列来创建子分区,例如按月分区然后按日建子分区。如果原始分区设计包括由一个子分区模板定义的子分区,新增加的分区也会根据该模板划分子分区。最常用的情景是删除旧的分区以及增加新的分区,以此在一种范围分区设计中维护数据的一个滚动窗口。命令从用户的分区设计中删除一个分区。 阅读详情

相关推荐

pg表分区

一旦分区存在,那样做就会导致错误,因为当分区存在时是不支持仅在分区表上增加或删除约束的。c.在分区表的键列上创建一个索引,还有其他需要的索引(键索引并不是必需的,但是大部分场景中它都能很有帮助)。这会自动在每个分区上创建一个索引,并且后来创建或者附着的任何分区也将会包含索引。不过,可以把一个包含数据的常规表或者分区表作为分区加入到另一个分区表,或者从分区表中移走一个分区并且把它变成一个独立的表。2.创建分区子表(约束在子表创建,无法在主表创建跨越所有分区的约束)3.索引创建(主表创建,分区也生效)

liangbo 2157

Oracle:ORA-14300:partitioning key maps to a partition outside maximum permitted number of partitions

Oracle报错:ORA-14300:partitioning key maps to a partition outside maximum permitted number of partitions

qq_45124566的博客 1123

Greenplum 将表未分区的数据修改为分区表

前言 在生产业务环境中,经常由于设计不规范,导致在数据库中存储的数据体量越来越庞大,那么带来的问题就是查询效率的低下和维护任务的增加。 在 Greenplum 数据库中,通过使用分区,可以实现大规模并行处理,并且子分区也可以拥有自己的分区,比如数据按照年份分区,再按照月份分区。在内部处理表分区的过程中, Greenplum 在父级表和子表之间是通过被继承实现,类似于 PostgreSQL 中的继承。 如何决定分区策略 · 表是否足够大 通常在数据仓库中,会区分维度表和事实表,而事实表通常需要存储大量的数据,

weixin_45694422的博客 2096

oracle安装30014,ORA-14300:partition key maps to a partition outside maximum pemitted number of partiti...

ORA-14300:partition key maps to a partition outside maximum pemitted number of partitionsORACLE VERSION:11.2.0.2错误描述:当向一个自动分区表中插入一条记录时报错:ERROR Description:partition key maps to a partition outside max...

weixin_42488179的博客 1393

StarRocks在千亿级日增数据场景下替换Greenplum的实践

原Greenplum集群在进行10亿*1亿的关联查询时达到极限,无法支撑更大数据量级的关联查询。使用StarRocks替换Greenplum构建新的集群,在进行736亿*15亿的超大量级数据关联查询时,不仅可以顺利完成,并且耗时很短,对业务的整体提升巨大。我司原有业务查询使用的数据库为Greenplum,在数据源变更后,数据量从原来的日增千万级别(近百G)暴增至日增千亿(10T)级别,原有的12台GP集群在数据量增长后存在以下痛点:原有的数据导入借助于gpload的工具,在有索引的情况下,数据导入随着数据量

StarRocks的博客 3157

用友U8其中一个账套提示演示期已到期-修复方法

【事件始末】 一朋友求助,反馈使用的用友U8,很多年了! 突然发现其中账套2021年的一个账套打不开,提示演示期限已到期! 但是其他账套完全正常,可以打开,没有任何问题。 不管是还原老旧备份,还是重装软件问题依旧,无法自己解决。 客户查询报表结算账期,情况比较紧急,于是求助我们。 经过多次反复琢磨和烟酒,终于于晚上23点59分给弄了出来,也总是圆满解决问题了。 【问题分析】 该用户打的是 U82X免狗补丁,估计是该补丁文件设置了 最大有效期,补丁到期了导致的。 也有可能是程序...

u010431289的博客 2万+

Greenplum性能优化之路 --(一)分区表

什么是分区表 分区表就是将一个大表在物理上分割成若干小表,并且整个过程对用户是透明的,也就是用户的所有操作仍然是作用在大表上,不需要关心数据实际上落在哪张小表里面。Greenplum中分区表的原理和PG一样,都是通过表继承和约束实现的。 Greenplum官方给出的分区表示例如下: partitions.jpg 与分布的区别 分布:DISTRIBUTED 分区:PARTITION Greenplum中每个表都需要有一个分布键,如果你建表的时候没有显示使用语法DISTRIBUTED.

jc_benben的专栏 1732

锐浪报表 Grid++Report 子报表 Delphi

锐浪报表 Grid++Report 是国内较好的报表控件,本人一直使用它,做出很多特色的报表。可以说你的报表设计出来,它基本上能做出来。 但是它帮助文件上,说的不深,近期因为要做一个有关社工的报表,大表中,嵌套2个子表。可以说,一个表到三个数据集,分别打印。 在认真看了帮助的基础上,网上探索,基本无此类,特别是Delphi的帮助,几乎为零。经二天摸索,做出来了。 一、设计思路 1、大表和二个小表,可以设计为三个表,分别使用三个GridppReport控件,取名...

lyhoo163的专栏 9077

【GreenPlum】记录GreenPlum的分区表

继上一篇GreenPlum的文章之后,过了挺长的一段时间(快1年了) 上一篇文章其实有点像杂记,有点散,没什么主题,都是一些测试和工作中的实际运用的记录 后面打算,稍微整理下第一篇文章,把一些基础知识和性能优化剥离开来,专门写一篇(工作中用到的)性能优化 GreenPlum系列: (一)关于GreenPlum的一些整理:https://blog.youkuaiyun.com/lsr40/article...

lsr40的博客 6167

IEEE Transaction期刊模板使用注意事项

本文将总结使用IEEE Transactions系列期刊的投稿模板时的一些注意事项,包括模板本身的使用规范、参考文献的正确格式等其他内容。

weixin_39529207的博客 2万+

独立站如何采集商品?外贸独立站采集教程

从这里Robert了解到还有国内有很多仿牌卖家、微商,都有类似的情况,他们出海的阻碍主要在于支付、物流、推广。8.插件“抓取任务”列表手动点同步,将商品同步到主商城后台商品管理列表(商品默认同步到下架列表中) 后台商品管理下架列表显示已同步商品。5.店铺信息修改完成后,可以开始采集商品,采集时弹窗中会自动识别当前平台及商品链接,分类和相册名称可以自定义 编辑修改。4. 打开采集目标站商品页面,点开谷歌浏览器扩展程序列表,找到Shopyy采集平台,打开配置页。打开弹窗中的“店铺管理”,添加店铺信息。

Jernnifer_mao的博客 1381

linux分区gp,greenplum下分区表的缺陷之处

gp版本:4.1.0.0在海量数据库中分区表是我们经常使用的技术,这样可以解决一些性能问题。在使用过greenplum的分区表和mysql的分区表技术后,发现oracle中分区表的操作和性能还是有很大优势的,尤其是到了11g以后,而且在字典表的管理方面,前两者与oracle还是不在同一个层次上,相差太远,当然这也与greenplum是基于postgre有关,毕竟是开源的,mysql也一样。不过,即...

weixin_34809240的博客 2372

STM32驱动电磁阀电路设计:从光耦选型到MOSFET驱动的实战解析

本文深入解析了STM32驱动24V电磁阀的完整电路设计,重点探讨了光耦选型与MOSFET驱动两大核心环节。针对电平转换与电气隔离需求,详细对比了EL357N与TLP2310等光耦在CTR、速度及耐压等关键参数上的差异与应用场景。同时,文章提供了MOSFET关键参数解读、驱动电路优化方案(如推挽驱动)以及完整的PCB布局、电源处理与调试避坑指南,旨在帮助工程师构建稳定可靠的工业控制电路。

weixin_29184371的博客 235

Greenplum安装准备

注:这是一个系列,其中初步计划说到下面的内容 GP安装、节点增加、数据迁移、监控安装、性能优化等 1.greenplum安装前准备(http://blog.youkuaiyun.com/jameswangcnbj/article/details/50697321) 2.greenplum安装(http://blog.youkuaiyun.com/jameswangcnbj/article/details/50729988

数据人 1283

/home 挂载点无法访问 怎么解决 指令可以进入Home目录 du: 无法访问“*“: 输入/输出错误

本文介绍了Linux系统中XFS文件系统损坏的故障排查与修复方法。当/home挂载点出现I/O错误时,通过dmesg发现XFS日志错误和磁盘I/O报错,判断可能是文件系统逻辑损坏或硬件故障。解决方案包括:1)尝试卸载分区;2)使用xfs_repair工具进行预检查和正式修复;3)在极端情况下使用-L参数强制清空日志;4)若存在硬件故障,建议优先进行数据抢救并更换硬盘。最后强调重要数据应先备份,再考虑系统重建。

专注于计算机研发知识和资讯分享 157

讲透 ABAP CDS 注解名称:简单名、结构化名、@ 与 @<、作用域与分组

本文从开发者角度梳理ABAP CDS注解的命名规则与实战写法,重点解析: 语法规则:@与@<的使用场景、结构化命名规范、作用域唯一性要求 评估机制:ABAP运行时与组件框架的注解处理差异 分组技巧:花括号分组简化重复前缀的书写 实战示例:包含完整CDS View Entity(演示注解分组与@<用法)和ABAP报表(读取打印注解) 常见问题:命名错误导致激活失败、框架忽略等注意事项 最后通过航空预订统计案例,展示如何结合多种注解类型实现业务需求。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 264

Greenplum常用SQL总结

Greenplum常用SQL总结查看各个节点数据的分布 查看各个节点数据的分布 SELECT gp_segment_id,count(*) FROM table_name GROUP BY gp_segment_id;

MasterLeon的博客 2213

YOLOv8性能突破:DySample超轻量动态上采样算子的创新应用与实现【附保姆级代码】

YOLOv8(You Only Look Once Version 8)作为YOLO系列模型的最新版本,延续了高效、准确的目标检测优势。其基础结构包含了骨干网络(Backbone)、检测头(Head)、以及特征融合层(Neck)。在特征融合阶段,YOLOv8需要对不同尺度的特征图进行上采样,以便将低分辨率的特征与高分辨率的特征进行融合。传统的上采样操作多使用插值(如双线性插值)或固定卷积,而这些方法可能无法很好地适应复杂的上下文信息。

一键难忘的博客 3124

Greenplum性能优化analyze

  为什么需要ANALYZE   首先介绍下RBO和CBO,这是数据库引擎在执行SQL语句时的2种不同的优化策略。   RBO(Rule-Based Optimizer)   基于规则的优化器,就是优化器在优化查询计划的时候,是根据预先设置好的规则进行的,这些规则无法灵活改变。举个例子,索引优先于扫描,这是一个规则,优化器在遇到所有可以利用索引的地方,都不会选择扫描。这在多数情况下是正确的,但也不完全如此:   比如一张个人信息表中性别栏目加上索引,由于性别是只有2个值的枚举类,也就是常说的基数非常

代元培 2030

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

GreenPlum (一) 初识

在开始了解GreenPlum之前,应该对这种产品的诞生有基本的了解,搭建一个基本的知识框架。对以下历史有基本了解之后应对下文术语进行基本阅读。​ 阅读目标: 阅读完成后需要对相关术语以及greenplum有基础理解。文案基本互联网相关blog进行整体汇总,原文全部在参考链接中。

Amarone'blog 1589

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Greenplum 实时数据仓库实践(9)——Greenplum监控与运维

Greenplum监控与运维:权限与角色管理、数据导入导出、性能优化、例行监控、例行维护、推荐的监控与维护任务

wzy0623的专栏 3323

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Greenplum 性能优化之路 --(二)存储格式

一、存储格式介绍 Greenplum(以下简称 GP)有2种存储格式,Heap 表和 AO 表(AORO 表,AOCO 表)。 Heap 表:这种存储格式是从 PostgreSQL 继承而来的,目前是 GP 默认的表存储格式,只支持行存储。 AO 表: AO 表最初设计是只支持 append 的(就是只能 insert ),因此全称是Append-Only,在4.3之后进行了优化,目前已经可以 update 和 delete 了,全称也改为 Append-Optimized。AO ..

cloudbigdata的博客 3103

GreenPlum ANALYZE

ANALYZE Collectsstatistics about a database. 概要 ANALYZE [VERBOSE][ROOTPARTITION [ALL]] [table[(column [,...])]] 描述 分析有关的表的数据库中的系统表pg_statistic里的内容,并存储该结果收集统计信息。随后,Greenplum数据引擎使用这些数据来帮助判断查询的最有效的...

MyySophia的博客 1631

greenplum分区表详解

分区:按照字段逻辑进行逻辑划分的区域,把一张大表进行按照适合的维度进行分割,通过表的继承,规则,约束实现的,有助于提高数据查询性能,利于数据仓库的维护工作。 分区分类: (1)列表分区 --为表p的id2字段创建列表分区 create table p( id1 integer, id2 varchar(10)) distribute by(id1) partition b...

double_happiness的博客 6606

GreenPlum学习总结

GreenPlum学习总结一、测试环境二、安装步骤三、常用命令1.配置2.使用四、insert性能优化参考链接: 一、测试环境 linux版本 greenplum Ubuntu18.04 6.13.0 点击这里官网下载 二、安装步骤 1.创建用户和组gpadmin sudo groupadd -g 530 gpadmin #创建用户组 sudo useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin #创建用户,并指定

qq_44119575的博客 824

Greenplum性能优化之路 --(二)存储格式

存储格式介绍 Greenplum(以下简称GP)有2种存储格式,Heap表和AO表(AORO表,AOCO表)。 Heap表:这种存储格式是从PostgreSQL继承而来的,目前是GP默认的表存储格式,只支持行存储。 AO表: AO表最初设计是只支持append的(就是只能insert),因此全称是Append-Only,在4.3之后进行了优化,目前已经可以update和delete了,全称也改为Append-Optimized。AO支持行存储(AORO)和列存储(AOCO)。 Heap表 Heap表

jc_benben的专栏 2165
上一篇: 腾讯云大数据发布最新产品矩阵,助力企业整合打通海量数据
下一篇: Greenplum 性能优化之路 --(二)存储格式
腾讯云大数据
博客等级 码龄6年 348粉丝 220原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值