数据人

有时我们在操作大表的时候会发生relation “public.*” contains more than “max_fsm_pages” pages with useful free space的错误，其实这个错误和max_fsm_pages参数有关。max_fsm_pages必须大于 16 * max_fsm_relations，且max_fsm_pages最小必须为100,看出当max_fsm

在一些特殊情况下，我们需要卸载原先安装的GPCC，参考GPCC的官方文档，汇总如下#1.停止服务gpcmdr --stop#2.删除软件目录，替换为自己的真实路径rm -rf /usr/local/greenplum-cc-web-version#3.停止数据收集代理(data collection agents)su - gpadmin#修改配置文件vi $MASTER_DATA_DIR

新发布的GPCC（Greenplum Command Center）新出了3.0的版本，这是gpdb集群的监控软件摒弃了之前老版本采用的flash界面，全面采用了html5的方式，感觉清爽干净了很多，拥抱了扁平化，迎合了当前趋势。 升级过程基本顺利，参照GPCC的相关文档，但是文档没有就升级过程中可能出现的问题进行说明，不能不说是个遗憾，现在我将汇总如下。1.环境确认 既然是升级，之前肯定

在运维greenplum的过程中，一般我们会安装官方的监控程序GPCC(Greenplum Command Center),最新版本已经到了2.3了，当然开源版本是没有这个GPCC的。 新的2.3的版本在安装过程中，发现新增加了一个新的端口，旧端口号为28080，新的28090，安装后发现是新增加了一个web server，而且是HTML5的，还很粗糙，难怪叫beta web server. 这

在GPDB的mirror安装中，有两种方法，默认的group方式是将A机器备份在B机器上，这种方式有一个弊端，在A机器宕机后，B机器上就运行了*2的节点数量的运算和存储，这样势必导致整个集群的运算性能极具下降，甚至不能使用；因此官方也推荐mirror的使用方式为spread，前提是机器的segment host数量为每台机器上的segment+1，举个例子：有4台机器作为seghost，每单机器3个

dblink是一个PostgreSQL contrib模块,允许对另一个数据库执行查询。当前PostgreSQL的模型需要用户连接到一个特定的数据库服务器上。因此,它本身是不可能对另一个数据库执行SQL查询。 通常我们不鼓励使用dblink查询远程数据库。我们总是建议用户使用模式。但是在某些场景下，还是有一些用途的。1.检查是否安装了dblink gpadmin@linux-hd1:~> pg_

在日常运维过程中，除了GPDB集群的安装外，我们很多的日常工作在于ETL，但是开始的时候很多公司都没有配备专门的etl服务器，大量的工作在master或者standby机器上运行，但是一旦业务较为繁忙，etl的工作势必会对生产的机器产生消极影响，因此etl服务器的增加便会提上议事日程。 etl服务器其实仅仅需要的是一个客户端工具，可以通过psql连接到集群的机器，当然这台机器也一般会与集群机器在一

DB运行了一段时间后，数据发生了变化，在不同节点的数据分布会发生问题，有的节点分配的数据较多有的较少，这样在查询的时候会导致性能的降低，我们常规的查询手段是通过Select gp_segment_id,count(*) from tablename group by 1 ;但是如果库中的表比较多，这样查询很费事，有人编写了函数，拿来主义CREATE OR REPLACE FUNCTION pub

编写shell脚本单独执行没有问题，在crontab中无法执行，报命令没找到，修改shell脚本将psql命令的绝对路径写全后，报 psql: error while loading shared libraries: libpq.so.5: cannot open shared object file: No such file or directory在切换到gpadmin用户下创建cront

一般出现此问题多是由于调整系统参数值为一个错误的值导致的。 恢复参数默认值可以使用gpconfig来批量设置master和segmentgpconfig -r <参数> -- 把参数重置成默认值如果想查询参数的取值范围，可以通过下面的方法获取psql postgrespostgres=#select * from pg_settings where name ~ '参数名'; --可看到

这个错误是个困扰我很长时间的问题，我发生此问题在进行大数据导入的时候，开始发现此错误提示的时候，我们都会从内存调整的角度去考虑，比如调整内存相关的参数，比如我按照如下的调整。gpconfig -c max_statement_mem -v 10GB #单个查询最大内存gpconfig -c max_work_mem -v 10GB #与上面相关gpconfig -c stateme

Greenplum本地支持并行地将HDFS上的数据加载到数据库中，采用的方式就是用gphdfs协议，本文简要介绍部署和测试细节。1.master和segment安装java 1.1 删除已经安装的java组件 yum -y remove java 或者： rpm -qa | grep java查找安装的包 rpm -e --nodeps java-1.4.2-gcj-comp