
greenplum
文章平均质量分 58
DBGuardian
这个作者很懒,什么都没留下…
展开
-
Exchanging a Leaf Child Partition with an External Table(分区表与外部表分区交换)
Exchanging a Leaf Child Partition with an External Table You can exchange a leaf child partition of a partitioned table with a readable external table. The external table data can reside on a host file system, an NFS mount, or a Hadoop file system (HDF原创 2021-04-29 16:14:03 · 327 阅读 · 0 评论 -
pxf 分区表(exchange)实现的冷热分离
参考:https://greenplum.org/multi-temperature-data-querying-from-heterogeneous-data-stores-with-greenplum-and-pxf/Often in businesses, it is hard to fit all data into a single store. Data that is old and not accessed often (cold data) is generally archived原创 2021-04-29 15:46:03 · 434 阅读 · 0 评论 -
ERROR: could not find array type for data type information_schema.character_data
SELECT table_schema, TABLE_NAME, array_to_json ( ARRAY_AGG ( privilege_type ) ) AS privilege_type FROM information_schema.table_privileges t3 WHERE t3.grantee = 'user1' GROUP BY table_schema,TABLE_NAME 报错:> ERROR: could not find a..原创 2021-04-28 20:14:27 · 716 阅读 · 0 评论 -
Adding Column-level Compression(增加列压缩)
Example 1 In this example, column c1 is compressed using zstd and uses the block size defined by the system. Column c2 is compressed with quicklz, and uses a block size of 65536. Column c3 is not compressed and uses the block size defined by th...原创 2021-03-31 10:33:16 · 199 阅读 · 0 评论 -
Git秘钥生成以及Gitlab配置
转自:https://www.cnblogs.com/xiuxingzhe/p/9303278.html安装Git:详见http://www.cnblogs.com/xiuxingzhe/p/9300905.html开通gitlab(开通需要咨询所在公司的gitlab管理员)账号后,本地Git仓库和gitlab仓库仍然不能传输项目,原因是要通过SSH加密才能传输,所以需要让gitlab认证本地的SSH Key认证之前,则先使用Git生成SSH Key1 Git生成秘钥1...原创 2021-03-04 16:46:50 · 379 阅读 · 1 评论 -
gdb7.9安装
gdb在安装GDB 前请先安装termcap库,否则在安装gdb时会报该库找不到的错误。termcap 安装下载termcap 1.3.1 , 你可以在这里找到你需要版本的termcap 下载,这里采用了1.3.1的版本wget https://ftp.gnu.org/gnu/termcap/termcap-1.3.1.tar.gz下载完成后解压,并构建tar -xf termcap-1.3.1.tar.gzcd termcap-1.3.1./configure编译链接原创 2021-02-24 14:24:17 · 402 阅读 · 0 评论 -
PostgreSQL设置track_commit_timestamp跟踪数据插入和更新的时间
PostgreSQL 9.5新增了配置项track_commit_timestamp,它是用来开启跟踪记录事务提交的时间戳。配置编辑postgresql.conf,添加配置先如下:track_commit_timestamp = on接着重启PostgreSQL。查询使用函数pg_xact_commit_timestamp查询记录更新或插入的时间。具体事务可以传transaction_id,也可以使用系统列xmin作为函数的参数,如下:# INSERT INTO colour原创 2021-02-22 16:02:46 · 2023 阅读 · 0 评论 -
基于Patroni的PostgreSQL高可用环境部署
基于Patroni的PostgreSQL高可用环境部署1. 前言PostgreSQL是一款功能,性能,可靠性都可以和高端的国外商业数据库相媲美的开源数据库。而且PostgreSQL的许可和生态完全开放,不被任何一个单一的公司或国家所操控,保证了使用者没有后顾之忧。国内越来越多的企业开始用PostgreSQL代替原来昂贵的国外商业数据库。在部署PostgreSQL到生产环境中时,选择适合的高可用方案是一项必不可少的工作。本文介绍基于Patroni的PostgreSQL高可用的部署方法,供大家参考。原创 2021-02-21 23:05:24 · 2080 阅读 · 1 评论 -
gpload 、gpfdist、gpkafka使用说明(官方)
gploadhttp://docs-cn.greenplum.org/v6/utility_guide/admin_utilities/gpload.htmlgpfdisthttp://docs-cn.greenplum.org/v6/utility_guide/admin_utilities/gpfdist.html#topic1原创 2021-02-20 16:18:39 · 944 阅读 · 0 评论 -
Greenplum系统目录参考(相关系统表、系统视图)
系统目录参考该参考文献描述了Greenplum数据库系统目录表和视图。 以gp_为前缀的系统表与Greenplum数据库的并行特性有关。 以pg_为前缀的表是Greenplum数据库中支持的标准PostgreSQL系统目录表,或与Greenplum数据库性能有关,以提升PostgreSQL的数据仓库工作负载。 请注意,Greenplum数据库的全局系统目录位于主实例上。Warning:不支持对Greenplum数据库系统目录表或视图的更改。 如果更改目录表或视图,则必须重新初始化并还原集群。系.原创 2021-02-05 16:43:14 · 1245 阅读 · 0 评论 -
Greenplum初始化gpinitsystem报错解决:could not create any TCP/IP sockets
gp初始化报错seg0上报错:"FATAL","XX000","couldnotcreateanyTCP/IPsockets",,,,,,,,"PostmasterMain","postmaster.c",1207,10xbe84ecpostgreserrstart(elog.c:557)检查发现图形界面占用了6000端口,导致segment启动失败。修改初始化文件,将segment的端口从6500开始...原创 2021-02-02 18:18:11 · 2198 阅读 · 0 评论 -
linux ssh_config和sshd_config配置文件
现在远程管理linux系统基本上都要使用到ssh,原因很简单:telnet、FTP等传输方式是以明文传送用户认证信息,本质上是不安全的,存在被网络窃听的危险。SSH(Secure Shell)目前较可靠,是专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题,透过SSH可以对所有传输的数据进行加密,也能够防止DNS欺骗和IP欺骗。ssh_config和sshd_config都是ssh服务器的配置文件,二者区别在于,前者是针对客户端的配置文件,后者则.原创 2021-02-02 16:20:41 · 2303 阅读 · 0 评论 -
greenplum安装碰到的神坑(permission denied(publickey,gssapi-keyex,gssapi-with-mic,password))
安装gp在做互信的时候碰到下列问题:permission denied(publickey,gssapi-keyex,gssapi-with-mic,password)百度了好久都没有解决,后面手动做互信,然后修改相关文件的权限:chownusername:/home/username/.ssh chownusername:/home/username/.ssh/* chmod700/home/username/.ssh chmod600/home/user...原创 2021-02-02 16:17:57 · 726 阅读 · 0 评论 -
greenplum参数
服务器配置参数参数类型和值http://docs-cn.greenplum.org/v6/ref_guide/config_params/guc_config.html#topic_vsn_22l_z4设置参数http://docs-cn.greenplum.org/v6/ref_guide/config_params/guc_config.html#topic_cyz_p2l_z4参数类别http://docs-cn.greenplum.org/v6/ref_guide/confi原创 2021-01-29 16:10:47 · 182 阅读 · 0 评论 -
Zookeeper的单机模式(standalone)
Zookeeper三种部署模式1、Standalone模式,单节点部署,适合测试环境。2、伪cluster模式,单节点多实例部署,适合测试环境。3、Cluster模式,多节点集群部署,适合生产环境。安装前准备安装jdk:参考https://my.oschina.net/dingyibo/blog/3158472下载地址CDH版:https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_c原创 2020-11-20 15:34:55 · 2294 阅读 · 0 评论 -
dolphinscheduler 单机部署(Standalone)
1、基础软件安装(必装项请自行安装)PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其一即可 JDK(1.8+) : 必装,请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量 ZooKeeper (3.4.6+) :必装 Hadoop (2.6+) or MinIO :选装, 如果需要用到资源上传功能,针对单机可以选择本地文件目录作为上传文件夹(此操作不需要部署Hadoop);当然也可以选择上传到Hadoop or M...原创 2020-11-20 15:23:48 · 6061 阅读 · 1 评论 -
postgres表或者视图无权限访问
查询某些表报错:1 permission denied for schema XXX2 permission denied for relation XXX 第一个报错: 表或者视图所在的schema可能是其他用户创建(查询pg_class的relnamespace)第二报错: 表或者视图直接用其他用户创建,比如A用户下的表(假设schema为shm),创建时用gpadmin创建:create table shm.a_test(id int...原创 2020-08-26 09:25:05 · 4360 阅读 · 0 评论 -
postgres权限赋权以及search_path设置
#pg权限列表GRANT { { SELECT | INSERT | UPDATE | DELETE | TRUNCATE | REFERENCES | TRIGGER } [, ...] | ALL [ PRIVILEGES ] } ON { [ TABLE ] table_name [, ...] | ALL TABLES IN SCHEMA schema_name [, ...] } TO { [ GROUP ] role_name | PUBLIC } .原创 2020-08-25 16:55:30 · 3163 阅读 · 0 评论 -
Greenplum使用oralce_fdw连接oracle
1 下载oracle客户端,放到/data目录下(主节点)instantclient-basic-linux.x64-12.2.0.1.0.zip、 instantclient-sdk-linux.x64-12.2.0.1.0.zip、 instantclient-sqlplus-linux.x64-12.2.0.1.0.zip三个文件包#解压缩,并修改目录为instantclientmv instantclient_12_2 instantclient2 在root和gpad.原创 2020-06-17 14:30:01 · 651 阅读 · 0 评论 -
Greenplum通过gp_dist_random('gp_id') 在所有节点调用某个函数
转自:digoal背景使用greenplum时,如果需要调用一个函数,这个函数很可能就在master执行,而不会跑到segment上去执行。例如 random()函数。通过select random()来调用的话,不需要将这条SQL发送到segment节点,所以执行计划如下,没有gather motion的过程。postgres=# explain analyz原创 2017-12-11 16:06:24 · 1366 阅读 · 0 评论 -
如何检测、清理Greenplum膨胀、垃圾
In some cases, due to the underlying storage architecture, Pivotal Greenplum "heap" tables are susceptible to bloat. Bloat can affect table scanning performance and therefore user query performance.原创 2017-12-04 18:40:10 · 1472 阅读 · 0 评论 -
Greenplum 列存表(AO表)的膨胀、垃圾检查与空间收缩
转自digoal:https://github.com/digoal/blog/blob/master/201708/20170817_03.md背景Greenplum支持行存储(堆存储)与AO存储,堆存储的垃圾回收和膨胀检测方法请参考:《如何检测、清理Greenplum膨胀、垃圾 - 阿里云HybridDB for PG最佳实践》对于AO存储,虽然是appendo原创 2017-12-05 15:26:57 · 5038 阅读 · 0 评论 -
如何检测、清理Greenplum膨胀、垃圾
转自:digoal背景Greenplum通过多版本支持数据的删除和更新的并发和回滚,在删除数据时(使用DELETE删除),对记录的头部xmax值进行标记。在删除记录时,对记录的头部进行标记,同时插入新的版本。这一就会导致一个问题,如果用户经常删除和插入或更新数据,表和索引都会膨胀。PostgreSQL是通过HOT技术以及autovacuum来避免或减少垃圾的。但是G原创 2017-12-05 15:29:07 · 3981 阅读 · 0 评论 -
Greenplum vacuum ao表和heap表的区别
转自:digoal背景在Greenplum中删除、更新数据记录时,会产生新的tuple版本,老的版本通过行头部标记:为已删除以及被哪个事务删除的。因此频繁的更新后,或者批量的删除数据后,需要回收那些旧的版本。通过vacuum、vacuum full、alter table redistribute命令,可以回收垃圾。《如何检测、清理Greenplum垃圾 -原创 2017-12-05 15:30:51 · 3517 阅读 · 0 评论 -
Greenplum segment级锁问题排查方法
转自:digoal背景Greenplum(GPDB)是一个分布式数据库,分布式数据库的锁管理比单机更加复杂。例如在加锁时,需要对所有节点加锁(包括MASTER和所有的SEGMENT节点),在释放锁时,则需要释放所有节点的锁。如果在释放过程中,MASTER的锁释放了,而SEGMENT锁没有释放,会造成什么问题呢?不用说,会有很诡异的问题出现。例如某个会话锁了某一张表,原创 2017-12-05 15:32:12 · 1840 阅读 · 0 评论 -
btrfs cfq, noop, deadline三种IO调度策略下的IO性能表现(gp针对grup.conf配置)
转自:http://blog.163.com/digoal@126/blog/static/1638770402015117214118/btrfs 格式化和挂载参数:# mkfs.btrfs -m raid10 -d raid10 -n 4096 -f /dev/sdb /dev/sdc /dev/sdd /dev/sde# mount -o noatime,nodiratime原创 2017-11-22 16:11:56 · 10661 阅读 · 1 评论