数据人

注：这是一个系列，其中初步计划说到下面的内容 GP安装、节点增加、数据迁移、监控安装、性能优化等1.greenplum安装前准备（http://blog.youkuaiyun.com/jameswangcnbj/article/details/50697321）2.greenplum安装（http://blog.youkuaiyun.com/jameswangcnbj/article/details/50729988

在一些特殊情况下，我们需要卸载原先安装的GPCC，参考GPCC的官方文档，汇总如下#1.停止服务gpcmdr --stop#2.删除软件目录，替换为自己的真实路径rm -rf /usr/local/greenplum-cc-web-version#3.停止数据收集代理(data collection agents)su - gpadmin#修改配置文件vi $MASTER_DATA_DIR

新发布的GPCC（Greenplum Command Center）新出了3.0的版本，这是gpdb集群的监控软件摒弃了之前老版本采用的flash界面，全面采用了html5的方式，感觉清爽干净了很多，拥抱了扁平化，迎合了当前趋势。 升级过程基本顺利，参照GPCC的相关文档，但是文档没有就升级过程中可能出现的问题进行说明，不能不说是个遗憾，现在我将汇总如下。1.环境确认 既然是升级，之前肯定

DB运行了一段时间后，数据发生了变化，在不同节点的数据分布会发生问题，有的节点分配的数据较多有的较少，这样在查询的时候会导致性能的降低，我们常规的查询手段是通过Select gp_segment_id,count(*) from tablename group by 1 ;但是如果库中的表比较多，这样查询很费事，有人编写了函数，拿来主义CREATE OR REPLACE FUNCTION pub

编写shell脚本单独执行没有问题，在crontab中无法执行，报命令没找到，修改shell脚本将psql命令的绝对路径写全后，报 psql: error while loading shared libraries: libpq.so.5: cannot open shared object file: No such file or directory在切换到gpadmin用户下创建cront

一般出现此问题多是由于调整系统参数值为一个错误的值导致的。 恢复参数默认值可以使用gpconfig来批量设置master和segmentgpconfig -r <参数> -- 把参数重置成默认值如果想查询参数的取值范围，可以通过下面的方法获取psql postgrespostgres=#select * from pg_settings where name ~ '参数名'; --可看到

这个错误是个困扰我很长时间的问题，我发生此问题在进行大数据导入的时候，开始发现此错误提示的时候，我们都会从内存调整的角度去考虑，比如调整内存相关的参数，比如我按照如下的调整。gpconfig -c max_statement_mem -v 10GB #单个查询最大内存gpconfig -c max_work_mem -v 10GB #与上面相关gpconfig -c stateme

有时我们在操作大表的时候会发生relation “public.*” contains more than “max_fsm_pages” pages with useful free space的错误，其实这个错误和max_fsm_pages参数有关。max_fsm_pages必须大于 16 * max_fsm_relations，且max_fsm_pages最小必须为100,看出当max_fsm

在GPDB运维过程中，有时会发生节点错误，一般采用gprecoverseg 进行节点的恢复，如果不能恢复，会尝试使用gprecoverseg -F进行全量恢复，一般在这个环节问题可以解决。但是个别情况下，会报出Unable to connect to database的错误，这个时候就需要特别处理了。 错误信息：报错信息为Unable to connect to database. Retryin

1.驱动因素Greenplum集群内部segment host因硬件(主板、硬盘、电源等)故障或是其他原因导致计算节点主机不可用情况下，以备用主机替代原segment host，快速恢复GP集群至正常状态，避免集群异常期间镜像节点主机因承载压力增加而产生新问题。2具体方案与实施流程2.1方案概述为保证完全兼容及GP集群整体性能，备用主机需与原主机在硬件配置、操作系统、文件系统、网卡及网卡模式、存储硬

1.节点 MPP，这里以Greenplum为代表，不超过100节点，不过这里说的100节点是说100台机器还是100个节点，按照实际部署，一台物理机器其实不会只部署一个节点的，这里我严重怀疑是100台机器，因为我在实际中已经用3台物理机做出了10节点的情况（6台虚拟机，1master5segment,双节点双网卡） 因此，如果部署节点数在100下，用GP没问题，在实际中小型企业中，超过1

先说一点题外话，为什么要在这里写博客，为了得到大家的关注、认可，或是交流，其实这些目前都还没有达到，博客换了很多地方，从之前的杂言乱语，情绪抒发，到现在的记录点滴，其实这一切如果说当初有哗众取宠之意，那现在过往许久，只是记录自己生命中这个时段的点滴而已，其实汇总成文字的过程就是自己提炼总结的过程，在写的过程中你会发现你之前的很多碎片的东西可以串起来，就当是对自己的犒赏，写给自己，至于过客或喜或恶，只

Greenplum安装完毕，将原有数据迁移过去，可以进行查询了，接下来就是GP的使用了，除了基本的语法外，我们比较关注的是性能监控和性能优化了，后面的两篇就是针对这两个方面的操作。（以下操作均在master节点操作，除非特别说明）1.performance monitor安装 使用gpperfmon_install命令，Greenplum安装完成后已经包含该命令,安装后会建立名为gpperfm

在面对海量数据的时候，oracle还是有一些限制，比如在单表10亿量级的查询等操作上，就算物理机器的内存已经设置很大，但是实际的效果也不尽人意，在这个时候，GP是可选方案之一。 我们这里没有采用软件从oracle到greenplum，如果使用软件自动设置的话，请自行搜索ora2pg的相关操作，这里采用的方案是使用sqluldr2来导出数据，然后通过greenplum的外部表用gpfdist来实现数

在日常的运维过程中，会发现目前的节点数量不够，需要单独增加节点的情况。本文就是基于此种情况。增加的过程其实很简单，大部分的配置和之前的文档–安装前的准备差不多。 1.关闭iptables和selinux 2.增加机器和主机名对应 这步骤需要在新加的机器和之前所有的机器上都执行，因为毕竟我们需要新加的机器和之前的机器都能正常的通讯，同时也可以免密码登陆，具体设置免密码登陆，这里就不详细说明

1.master节点安装   去http://pivotal.io/big-data/pivotal-greenplum 找到下载地址，我下载的是greenplum-db-4.1.1.8-build-2-RHEL5-x86_64.zip  unzip greenplum-db-4.1.1.8-build-2-RHEL5-x86_64.zip ./greenplum-db-4.1.1.8-

Apache™MADlib®是用于可扩展数据库分析的开源库。 它提供了Pivotal Greenplum™ ， PostgreSQL和Apache™HAWQ®（孵化） Hadoop Native SQL平台上的机器学习，数学和统计方法的数据并行实现。 MADlib使用MPP架构的完整计算能力处理非常大的数据集，而其他产品受到单个节点上可以加载到内存中的数据量的限制。 MADLib算法从熟悉的SQL接