MasterLeon的博客

gpMgmt如何新增python依赖库背景如果新增1个管理工具实现某些功能，如gpload_xxxx，该新增工具依赖第三方python依赖库ruamel.yaml、ptyprocess、pycrypto （而GP源码中没有包含这些依赖库），该如何解决解决方案1、首先，下载python第三方依赖库https://pypi.org/project/ruamel.yaml/0.16.13/https://pypi.org/project/ptyprocess/0.6.0/https://pypi.o

bin.gppylib.mainUtilsmainUtils.py文件提供了一个基本框架来支持gp实用程序的顶级选项解析、初始化和清理逻辑。主要的接口函数是simple_main。请参阅 gprecoverseg。随着gp实用程序的常用功能不断扩展，该文件的功能也会增长。请记住这一点，并尽量避免在此处放置特定实用程序的逻辑。导包import errno, os, sys, shutilgProgramName = os.path.split(sys.argv[0])[-1]if sys.ve

Greenplum的Hash Join在介绍HashJoin实现之前，首先了解下什么是 JOIN。根据维基百科（WIKIPedia），JOIN是关系数据库中组合一个或者多个表中的columns的算子。而JOIN 有多种类型， SQL 标准中定义了 INNER JOIN、LEFT JOIN、RIGHT JOIN、FULL OUTER JOIN 等四种类型，用集合论里的操作非常容易理解。 我们在下图直观的解释了这四种JOIN类型的效用。此外还有其中JOIN类型，譬如 SEMI JOIN和 ANTI JO

Greenplum数据分布和分区数据分布分区策略数据分布https://yq.aliyun.com/articles/57822https://segmentfault.com/a/1190000022005788http://www.dbdream.com.cn/2016/01/greenplum%E6%95%B0%E6%8D%AE%E5%BA%93%E5%88%9B%E5%BB%BA%...

Greenplum常用SQL总结查看各个节点数据的分布查看各个节点数据的分布SELECT gp_segment_id,count(*) FROM table_name GROUP BY gp_segment_id;

部署GP集群postgres=# select * from gp_segment_configuration order by 1; dbid | content | role | preferred_role | mode | status | port | hostname | address | datadir------+---------+--...

AO表无法创建主键约束避免重复数据，GP6官方手册描述如下：由于无法轻易识别源数据的重复项，可以通过加载完所有内容，然后利用唯一标识行的primary key id删除重复项的方式，来去除AO表中的重复项。数据表分布在不同的节点上，每个节点的ctid是唯一的，但是不同的节点就有ctid重复的可能，因此GP必须借助gp_segment_id来进行去重复处理。SQL1：不适用于同一条记录的重复...

小版本手动升级与回退（6.0.0 <==> 6.1.0）小版本升级准备6.0和6.1版本包，如下：[gpadmin@cgsl51 ~]$ lltotal 198512drwxrwxr-x 2 gpadmin gpadmin 4096 12月 20 15:26 gpAdminLogsdrwxrwxr-x 2 gpadmin gpadmin 100 12月...

resource group资源组（resource group）是资源队列（resource queue）的新设计和重写。使用创建Greenplum数据库cgroups配置文件/etc/cgconfig.d/gpdb.conf。用户必须是超级用户或具有sudo访问权限才能创建此文件：sudo vi /etc/cgconfig.d/gpdb.confgroup gpdb { ...

ORCA优化器编译及安装cmakehttps://github.com/Kitware/CMake/releases?after=v3.9.3su - greenplumtar -zvxf cmake-3.8.2.tar.gzcd cmake-3.8.2./configure --prefix=/home/greenplum/cmakemakemake installvi ...

Segment镜像配置Segment镜像允许数据库查询在主Segment失效或不可用时转移到备份Segment。Pivotal要求Greenplum数据库用于生产系统使用镜像。为了确保高可用，主Segment及其镜像必须位于不同的主机上。Greenplum数据库系统中的每台主机都有相同数量的primary Segment和mirror Segment。主机应该在每个接口上有相同数量的主Segm...

Greenplum学习笔记（1）Greenplum远程访问数据库修改postgresql.conf修改pg_hba.conf修改数据库密码远程连接Grenplum数据库Greenplum远程访问数据库Greeenplum默认只能通过master主机访问数据库，不允许其他主机远程访问数据库。如果需要远程访问数据库，需要修改master数据目录…/gpdata/master/gpseg-1/的pg...