Greenplum商业版具有众多扩展组件来帮助用户更便捷的使用Greenplum,其中Greenplum监控管理平台GPCC和数据加载解决方案GPSS均是其中关键组件之一,在过去的一个月中,GPSS和GPCC均进行了版本更新,现在让我们带大家了解一下,新版本的GPSS和GPCC都带来了哪些新功能。
GPSS (Greenplum stream server) 1.6.0 发布
GPSS 1.6.0已于5日28日正式发布。Greenplum Stream Server(简称GPSS)是Greenplum下一代数据加载解决方案,能将不同源端的增量数据同步到Greenplum中。
GPSS 1.6.0 新功能
gpss增加-c选项, 用于指定配置文件路径
gpsscli的--version参数也会打印gpss server的版本信息
gpss和gpsscli日志支持--color和--csv格式, 默认为空格分隔的文本格式
gpss的Kafka job配置新增IDLE_DURATION 参数, 当超过IDLE_DURATION 时间后对应的kafka topic中没有新消息, GPSS将会释放目标表的锁
gpss新增SCHEMA_PATH_ON_GPDB 参数, 支持从Greenplum集群的segment节点上获取avro的schema
gpss新增FALLBACK_OFFSET 参数, 可以设置当消息的offset不连续时(未及时加载就被清空)时,从何处继续加载消息
gpss支持基于HTTPS的scheme service服务
gpss支持了kafka的group.id 配置, 可通过第三方工具监控加载进度
除了exactly once, gpss支持最多一次和最少一次一致性保证
gpss支持通过custom formatter方式实现自定义消息格式
实验功能
gpss新增了RECOVER_FAILING_BATCH 配置, 可以将Greenplum无法处理的事务中的错误数据暂存
gpss组件增加了新的dataflow extension, 包含gp_jsonb数据类型