Greenplum 性能优化之路 --(二)存储格式

Greenplum学习笔记之一【最佳优化实践概要】 1. 堆存储vs.追加优化存储 对经常需要执行和大量并发执行update/delete/insert的表采用堆存储 对于在初始装载后并且只会在大型批处理操作执行后续插入的表和分区采用追加优化存储 绝不在追加优化表上执行单个update/delete/insert操作 绝不在追加优化表上执行并发的update/delete操作,可以执行并发的批量insert操作 堆存储是默认模型,并且是postgresql为所有数据库表使用的模型. 1.创建一个堆表: CREATE TABLE foo (a int, 阅读详情

一、存储格式介绍

 

Greenplum(以下简称 GP)有2种存储格式,Heap 表和 AO 表(AORO 表,AOCO 表)。

  • Heap 表:这种存储格式是从 PostgreSQL 继承而来的,目前是 GP 默认的表存储格式,只支持行存储。

  • AO 表:  AO 表最初设计是只支持 append 的(就是只能 insert ),因此全称是Append-Only,在4.3之后进行了优化,目前已经可以 update 和 delete 了,全称也改为 Append-Optimized。AO 支持行存储(AORO)和列存储(AOCO)。

 

二、Heap表

 

Heap 表是从 PostgreSQL 继承而来,使用 MVCC 来实现一致性。如果你在创建表的时候没有指定任何存储格式,那么 GP 就会使用 Heap 表。

Heap 表支持分区表,只支持行存,不支持列存和压缩。需要注意的是在处理 update 和 delete 的时候,Heap 表并没有真正删除数据,而只是依靠 version 信息屏蔽老的数据,因此如果你的表有大量的 update 或者 delete,表占用的物理空间会不断增大,这个时候需要依靠 vacuum 来清理老数据。

Heap 表不支持逻辑增量备份,因此如果要对 Heap 表做快照,每次都需要导出全量数据。

建表语句

CREATE TABLE heap(
	a int,
	b varchar(32)
) DISTRIBUTED BY (a);

 

最佳实践:

  • 如果该表是一张小表,比如数仓中的维度表,或者数据量在百万以下,推荐使用 Heap 表。

  • 如果该表的使用场景是 OLTP 的,比如有较多的 update 和 delete,查询多是带索引的点查询等,推荐使用 Heap 表。

  •  

三、AO表

 

AO 表是 GP 特有的,设计的目的就是为了数仓中大型的事实表。AO 表支持行存和列存,并且也支持对数据进行压缩。

AO 表无论是在表的逻辑结构还是物理结构上,都与 Heap 表有很大的不同。比如上文所述 Heap 表使用 MVCC 控制 update 和 delete 之后数据的可见性,而 AO 表则使用一个附加的 bitmap 表来实现,这个表的的内容就是表示 AO 表中哪些数据是可见的。

对于有大量 update 和 delete 的 AO 表,同样需要 vacuum 进行维护,不过在 AO 表中, vacuum 需要对 bitmap 进行重置并压缩物理文件,因此通常比 Heap 的 vacuum 要慢。

 

AORO表

AORO 就是行存的 AO 表,同时行存也是 AO 表的默认存储方式。

AORO 支持表级别的压缩,不支持列级别的压缩。

建表语句如下,重点是 with 后的 appendonly=true,由于 AO 表默认是行存,因此 orientation=row 也可以不要,后面的 compresstype=zlib, compresslevel=4 都是压缩相关选项。

CREATE TABLE aoro(
	a int,
	b int,
	c varchar(32),
	d varchar(32)
)
WITH (appendonly=true, orientation=row, compresstype=zlib, compresslevel=4)
DISTRIBUTED BY (a)

 

压缩选项:

  • compresstype :压缩格式,开源版本的 AORO 表只支持 zlib。

  • compresslevel :压缩级别,从1-9,简单说来,级别越低(1最低),压缩比越低,但是压缩与解压消耗的 cpu 资源就越少。默认压缩级别是1。

 

最佳实践____________________:

  • AO 表主要是针对大表,比如数仓中的事实表。

  • AO 表支持逻辑增量备份,对于比较大的表,如果需要定期做快照,建议使用 AO 表,否则每次都要导出全量数据。

  • 如果该表是大表,使用场景偏 OLTP 并且 update 和 delete 频率不高,可以考虑使用 AORO 表。

  • 如果该表是大表,并且查询通常都需要扫描大多数列比如查询明细(最典型的就是 SELECT * FROM ),可以考虑使用 AORO 表。

  • 在设置压缩级别的时候,通常对于数据仓库用户,设置到 4 或者 5 是比较折中的一个选择。

 

AOCO表

AOCO 表就是列存的 AO 表。

AOCO 不仅支持表级别的压缩,同时也支持列级别的压缩。

建表语句如下,这里还加入了分区特性,关于分区可以参见上一篇:Greenplum 性能优化之路 --(一)分区表:

CREATE TABLE aoco(
	a int  ENCODING (compresstype=zlib, compresslevel=5),
	b int  ENCODING (compresstype=none),
	c varchar(32) ENCODING (compresstype=RLE_TYPE, blocksize=32768),
	d varchar(32),
	fdate date
)
WITH (appendonly=true, orientation=column, compresstype=zlib, compresslevel=6, blocksize=65536)
DISTRIBUTED BY (a)
PARTITION BY RANGE(fdate) 
(
	PARTITION pn START ('2018-11-01'::date) END ('2018-11-10'::date) EVERY ('1 day'::interval),
	DEFAULT PARTITION pdefault
);

压缩选项:

  • compresstype:支持2种压缩格式,zlib 和 RLE_TYPE,其中 RLE_TYPE(Run-length Encoding)对于有较多重复值的列压缩比很高,因为它会将多个重复值存储为一个值,从而大大降低存储量,比如日期,性别,年龄等字段。

  • compresslevel:compresstype 如果是 zlib,compresslevel 在1-9,compresstype 如果是 RLE_TYPE,compresslevel 在1-4。

  • 列压缩与表压缩:AOCO 表除了支持表级别的压缩外,还支持列级别的压缩,列级别的压缩配置会覆盖表级别的压缩配置,比如上述语法中4个字段,每个字段都采用了不用的压缩方式,d 列没有定义,则会默认使用表级别的压缩方式。

  • 分区压缩:在使用分区表的时候,每个分区表也可以设置不同的压缩配置,这个常用于对数据进行冷热分离,比如对于非常老的数据,由于访问频率较低,可以考虑采用较大的压缩比,减少存储量。

 

BLOCKSIZE:

  • 表的存储块大小,通常表数据对应的物理文件就是按 blocksize 的粒度增加,也就是初始就是 blocksize 大,并且保持 blocksize 的倍数。

  • blocksize 大小在8192和2097152之间,必须是 8192 的倍数,默认是 32768。

  • 在 AOCO 表中,每一列也可以设置自己的 blocksize,列的配置会覆盖表的配置。

 

物理文件:

  • AOCO 表之所以能够按照列来设置压缩等参数,本质原因在于 AOCO 表中每一列的数据都会单独存储在一个文件中。因此不同文件之间可以按不同的参数进行存储,互不影响。

  • 对于 AOCO 表,如果使用了分区,那么对于每一个分区的每一列都会有一个文件,如果一个表的分区很多,又是一张大宽表,那么产生的文件就会很多,也会对性能有一些影响。

 

最佳实践:

  • AOCO 表通常用于数仓中的核心事实表,这种表字段多,数据量大,主要是用于 OLAP 场景,也就是查询的过程不会 SELECT * FROM,而是对其中部分字段进行读取和聚合。

  • 由于 AOCO 表一般用于大表,因此经常搭配压缩和分区,以减少表的实际存储量来提升性能。

  • 一般情况下,压缩格式选择 zlib,压缩级别可以采用折中的 4 或者 5,但是对于有大量重复值的字段,记得要采用 RLE_TYPE 压缩格式。

  • blocksize 不要设置过大,特别是对于分区表,GP 对于每个分区的每个字段都会维护一个 buffer,blocksize 过大,会导致消耗的内存过大,通常就采用默认值 32768 即可。

  •  

四、修改表结构

 

单独列出这一节是因为 Heap,AORO 和 AOCO 这3种表在修改表结构时表现是不一样的,这也是大家容易忽视的地方。

对于不同的表类型,同样的修改语法耗时可能会差异很多,主要原因在于对于有些修改操作会导致表重写,而表重写的时间就取决于表本身的数据量。

以下列出了不同的表结构,在不同的 ALTER 语法下的行为,其中 YES 代表需要重写表,NO代表不需要重写表。

操作      

Heap        

AORO

AOCO

ADD COLUMN    

NO

YES

NO

DROP COLUMN    

NO

NO

NO

ALTER COLUMN TYPE    

YES

YES

YES

ADD COLUMN DEFAULT NULL    

YES

YES

NO

ADD COLUMN DEFAULT VALUE    

YES

YES

NO

可以看出 AOCO 表由于每个列都是单独一个文件,因此在修改列结构时影响最小,这也是 AOCO 表的一个优势。

 

五、混合存储

 

一张表是否可以同时使用多种存储方式呢?对于分区表,是可以的。

混合存储一般用于这样的场景,对于一张按时间分区的表,通常对于不同时间点的数据行为是不一样的,比如对于最近的数据,会有较多的明细查询,而对于比较老的数据,则是以分析为主。同时由于业务可能要保存较长时间的数据,为了节约成本,较老的数据会考虑使用压缩比较大的存储方式。

混合存储的关键就是使用到了 GP 的交换分区语法,也就是将一张独立的表与自己的一个分区表进行交换,当然这里前提是新表的结构是一样,并且交换的过程没有新数据进入。

 

流程如下:

1.创建一张分区表(1到5月份,每月一张表),采用 Heap 存储

CREATE TABLE hyper_storage (
	a int,
	b varchar(32),
	fdate date
) DISTRIBUTED BY (a)
PARTITION BY RANGE(fdate) 
(
	PARTITION pn START ('2018-01-01'::date) END ('2018-06-01'::date) EVERY ('1 month'::interval),
	DEFAULT PARTITION pdefault
);

storage=# \d
                           List of relations
 Schema |             Name             | Type  |    Owner     | Storage
--------+------------------------------+-------+--------------+---------
 public | hyper_storage                | table | test | heap
 public | hyper_storage_1_prt_pdefault | table | test | heap
 public | hyper_storage_1_prt_pn_1     | table | test | heap
 public | hyper_storage_1_prt_pn_2     | table | test | heap
 public | hyper_storage_1_prt_pn_3     | table | test | heap
 public | hyper_storage_1_prt_pn_4     | table | test | heap
 public | hyper_storage_1_prt_pn_5     | table | test | heap

2.现在要对1月份的表修改存储格式,因此创建一张新的 AOCO 表

CREATE TABLE exchange_table(
	a int,
	b varchar(32),
	fdate date
) WITH (appendonly=true, ORIENTATION=column, compresstype=zlib, compresslevel=6) 
DISTRIBUTED BY (a)

3.将1月份的数据导入新表

INSERT INTO exchange_table SELECT * FROM hyper_storage_1_prt_pn_1;

4.交换分区

ALTER TABLE hyper_storage EXCHANGE PARTITION pn_1 WITH TABLE exchange_table;

注:pn_1是1月份的分区表的 partitionname,可以从 pg_partitions 中查询得到

5.查看结果

storage=# \d
                                  List of relations
 Schema |             Name             | Type  |    Owner     |       Storage
--------+------------------------------+-------+--------------+----------------------
 public | hyper_storage                | table | test | heap
 public | hyper_storage_1_prt_pdefault | table | test | heap
 public | hyper_storage_1_prt_pn_1     | table | test | append only columnar
 public | hyper_storage_1_prt_pn_2     | table | test | heap
 public | hyper_storage_1_prt_pn_3     | table | test | heap
 public | hyper_storage_1_prt_pn_4     | table | test | heap
 public | hyper_storage_1_prt_pn_5     | table | test | heap
public | exchange_table  | table | test | heap

这样1月份的分区表就变成了 AOCO 表,而其他分区表仍然是 Heap 表

 

六、对比测试

 

各类型表占用空间比较

选取 Heap,AORO,AOCO 三种表,分别采用压缩和不压缩2种方式(Heap表不支持压缩,AO 表压缩采用zlib格式,压缩级别设置为6),插入5亿条随机数据,然后使用

select pg_size_pretty(pg_relation_size('{tablename}'));

查看表所占大小,结果如下:

各类型表大小比较.png

 

说明:可以看出 Heap 表占用空间更大,即使 AO 表不采用压缩。AOCO 表由于是按列进行存储,所以相比行存的 AORO 表压缩比更大。当然这三者的差距取决于数据的实际情况,一般生产环境中 Heap 表不会和 AO 表有如此大的差距。

各级别压缩率比较

使用 AOCO 表,zlib 压缩格式,选取不同的压缩级别,比较数据写入时间和表所占大小,由于 zlib 支持9个级别,这里选取1,6,9 三个级别进行比较,体现出趋势即可,结果如下:

各压缩级别比较.png

 

说明:实际生产环境中不同压缩级别的数据,压缩比的差距可能会更大。但可以看出,越高的压缩级别,在插入的时候越耗时,其它 SQL,类似 SELECT,UPDATE 等也都是一样。

 

 

写在最后

切记,从其它系统迁移数据到 GP 上来,第一件事情就是给每张表选择合适的存储格式,特别是核心表。

 


 

 

关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

Greenplum问题定位及性能调优 ... 阅读详情

相关推荐

Greenplum内存问题处理

错误 java.sql.SQLException: [Pivotal][Greenplum JDBC Driver][Greenplum]Out of memory (seg1 slice3 *.*.3.245:6001 pid=27558). 原因 内存不足错误消息表明Greenplum的Segment、主机和进程遇到了内存不足错误。 提示:Greenplum数据库集群中,内存管理对性能有显著的影响。默认设置适合于大部分环境。不要更改默认设置,除非理解系统上的内存特点和使用。 原因 解决方案

JustinMars的博客 1986

【Greenplum】insert数据入库速度优化

使用geotools入库很慢,1万条数据147秒。 换成Jdbc直接运行insert语句,1万条118秒。 速度非常慢,而且更换Driver速度差不多一模一样。 private String diverClassName="org.postgresql.Driver";//推荐使用 private String diverClassName="com.pivotal.jdbc.GreenplumDriver"; 优化 greenplum的master端口需要改成5432,不然gpconfig用不

BIG BOSS的博客 5693

Greenplum CC Web 6.3.0 for GP6 on RHEL7 x86_64安装与应用指南

Greenplum是一个开源的大规模并行处理(MPP)数据库,专门为数据仓库和大数据分析而设计。其核心优势在于能够处理PB级的数据量,并为复杂查询提供优异的性能。在这一章节中,我们将深入了解Greenplum数据库如何实现高可用性以及如何通过各种扩展机制来处理大规模数据。Greenplum凭借其MPP(大规模并行处理)架构,通过硬件和软件的协同工作,为用户提供了一个健壮、可靠且高度可扩展的数据仓库解决方案。

weixin_28746213的博客 526

大数据项目学习(一)

采集:Flume/Kafka/Sqoop 存储:Mysql/Hasoop/Hbase 计算:Hive/Tez 查询:Presto/Druid/Kylin 可视化:Superset 任务调度:Azkaban全流程调度 集群监控:Zabbix 元数据管理:Atlas 脚本:Shell 数据仓库 业务数据:在处理事务过程中产生的数据(存储在mysql中,用Sqoop处理到数据仓库中) 用户行为数据:用户与客户端产品交互过程中产生的数据,比如页面浏览、点击、停留等(日志 以文件形式存储,用Flume处理到数据仓库中

qq_43072699的博客 5135

轨交实时数据平台:Greenplum+Hadoop伪分布式落地实践

城市轨道交通大数据平台本质是实时性与可靠性的工程平衡——MPP数据库需支撑万级写入与毫秒点查,Hadoop则承担冷数据沉淀与模型训练基座。本文聚焦‘可运行’技术实现,解析Greenplum分布键设计如何匹配列车轨迹查询、Hadoop伪分布式环境如何5步打通AFC日志到OD客流分析链路,并揭示轨交场景下窗口函数调优、distcp中文编码、Spark Streaming事务写入等关键细节。面向智慧轨交系统建设者,提供从选型依据、配置参数到避坑清单的全栈落地方案。

weixin_29051149的博客 332

Qt+PCL实战:如何用QVTKOpenGLNativeWidget高效渲染3D点云(附完整代码)

本文深入解析了Qt与PCL结合使用QVTKOpenGLNativeWidget进行高效3D点云渲染的实战技术。通过对比传统QVTKWidget,详细介绍了QVTKOpenGLNativeWidget在渲染效率、内存占用和兼容性方面的显著优势,并提供了完整的代码示例和性能优化策略,助力开发者在工业检测、自动驾驶等领域实现更高效的点云可视化。

keras9composer的博客 692

Greenplum性能优化之路 --(二)存储格式

存储格式介绍 Greenplum(以下简称GP)有2种存储格式,Heap表和AO表(AORO表,AOCO表)。 Heap表:这种存储格式是从PostgreSQL继承而来的,目前是GP默认的表存储格式,只支持行存储。 AO表: AO表最初设计是只支持append的(就是只能insert),因此全称是Append-Only,在4.3之后进行了优化,目前已经可以update和delete了,全称也改为Append-Optimized。AO支持行存储(AORO)和列存储(AOCO)。 Heap表 Heap表

jc_benben的专栏 2165

数字IC后端实战:OCC电路时钟树综合的5个关键技巧(附Synopsys工具配置)

本文深入探讨了数字IC后端设计中OCC电路时钟树综合的实战技巧。针对工具自动平衡导致的绕线拥塞和时序问题,文章提出了分段处理的核心思路,并详细阐述了通过物理隔离、分段长树策略以及Synopsys工具链(如ICC2、PrimeTime)的精准配置来优化function clk与occ clk路径的关键方法,旨在提升时序收敛性和可制造性。

jwt8token的博客 860

GreenPlum【理论篇】01:什么是GreenPlum

GreenPlum【理论篇】01:什么是GreenPlum

weixin_40612128的博客 839

gnss变形监测基础(四)

监测站的数据采样率指的是监测站在单位时间内收集数据的频率,通常以赫兹(Hz)为单位。在GNSS变形监测中,数据采样率决定了监测系统能够捕捉到的变形动态变化的详细程度和时间分辨率。例如,一个采样率为1Hz的GNSS监测站意味着它每秒钟收集一次位置数据;而一个采样率为10Hz的监测站则每秒钟收集10次位置数据。较高的采样率能够提供更细致的时间序列数据,有助于分析快速变化的动态过程,如地震活动或建筑物的振动响应。然而,较高的采样率也意味着数据量更大,可能需要更多的存储空间和更强大的数据处理能力。

我的博客 1294

COMSOL实战:薄膜声学超材料模态分析全流程解析(含预应力设置技巧)

本文详细解析了使用COMSOL进行薄膜声学超材料模态分析的全流程,包括预应力设置技巧和共振频率优化方法。通过实际案例和参数设置指南,帮助工程师掌握从几何建模到结果解读的关键步骤,特别适合声学超材料和共振薄膜结构的设计与优化。

ujm5678901的博客 295

Greenplum集群安装配置指导(原厂最佳实践)

Greenplum集群安装配置及最佳实践 视频地址 视频地址:https://www.bilibili.com/video/av82277973/ 总体原则 1.1 硬件平衡 性能 成本 容量 1.2 高可用 节点 网络 磁盘 1.3 部署方案 Master与Standby Master分级部署 Pri...

murkey的专栏 1459

基于 MATLAB BP 神经网络的财务预测

通过基于 MATLAB BP 神经网络的财务预警模型,我们可以对企业的财务风险进行有效地识别和预测。在具体实现过程中,需要注意对财务数据的预处理、模型参数的调整以及结果的解释等问题。MLP模型的输入层、输出层和隐含层之间均为全连接,每个神经元都是上一层神经元的加权求和再加偏置后的非线性变换。其中,输入层接受财务数据,输出层输出财务预测结果,隐含层则对输入数据进行处理和抽象。其中,X’是标准化后的值,X是原始值,μ_i 和σ_i 分别是指标 i 在样本中的均值和标准差。其中,X’是标准化后的值,X是原始值。

TechPulseZ的博客 925

GreenPlum安装原则&部署方案&硬件选型&存储规划

目录 GP安装整体原则 2 平衡: 2 高可用: 2 部署方案: 3 Master和standby master分机部署 3 Primary segment于mirror segment分机部署 3 Segment mirroring方案 3 Group mirroring 3 Spread mirroring 4 Group+spread mirroring 4 同一主机segment个数怎么决...

Neighbor_L的博客 1914

游戏引擎揭秘:大厂为何死磕自研?

游戏引擎本质与商业价值解析 游戏引擎是集成了渲染、物理、动画等核心功能的开发工具包,其价值在于让开发者免于重复编写底层代码,专注于游戏内容创作。商业引擎(如Unity/Unreal)虽降低了开发门槛,但头部厂商仍坚持自研引擎,主要基于以下考量: 经济性:长期项目分摊自研成本后,比商业引擎分成更划算; 可控性:完全掌握底层代码,能针对性优化核心玩法需求; 技术壁垒:专属引擎成为厂商的竞争优势,如米哈游的跨平台渲染技术; 项目适配:超大型游戏(开放世界/MMO)需要深度定制解决方案。 这种"短期高投入

本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度,也有思维广度,无论你是开发者、创业者还是高校学子,都能在这里找到适合自己的成长之路! 264

MinerU 本地部署完整指南:从零构建你的私有文档智能处理系统

摘要: MinerU是一款开源本地化文档解析工具,可将PDF、Word等文件智能转换为结构化Markdown,保留表格、公式、图片等元素。其核心优势包括: 隐私安全:完全离线处理,避免云端数据泄露风险; 高精度解析:基于深度学习还原文档逻辑结构,支持多格式输入; 易集成:提供RESTful API,适合金融、医疗等敏感场景。部署需Python 3.9+环境,支持CPU/GPU运行,推荐配置16GB内存及NVIDIA显卡。通过命令行或Docker即可快速启动,适用于知识库构建、RAG系统预处理等。

reset2021的博客 756

Apache DataFusion vs Greenplum:终极MPP架构性能对比指南

Apache DataFusion 作为新一代的 SQL 查询引擎,与传统的 Greenplum MPP 数据库在性能表现上有着显著差异。本文将为您深入解析两者的架构特点、性能表现和适用场景,帮助您做出更明智的技术选型决策。🚀 ## 架构设计对比 ### DataFusion 的模块化架构 DataFusion 采用高度模块化的设计,核心组件包括: - **查询解析器**:支持 ANSI

gitblog_00106的博客 443

Oracle 11g安装教程(保姆级超详细安装教程)

Oracle详细安装步骤,每一步都配有图例引导 ORACLE是数据库(Oracle服务端)。是连接数据库的客户端(Oracle客户端)。是连接oracle的可视化客户端软件。

2302_81846649的博客 1万+

GoldenGate将Oracle数据同步到GreenPlum

源端 Oracle 11.2.0.4 RAC 2-Nodes Oracle Linux 5.8 x86_64 目标端 Greenplum Database 4.2.6.1 4-Nodes CentOS 5.7 x86_64 ====================================================== 源端配置 --本例是将OGG安

Zhong Weicheng Study Notes 6919

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

从 oss 装载数据到 GreenPlum

gpossext 在阿里云上,支持通过 gpossext 并行装载数据到 Greenplum 中 gpossext 语法 CREATE [READABLE] EXTERNAL TABLE tablename ( columnname datatype [, ...] | LIKE othertable ) LOCATION ('ossprotocol')...

weixin_34162401的博客 256

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

1 Greenplum整体架构信息

1.1 架构图示   在以上的架构中可以看出Greenplum主要是由Master和Segment组成的,Master承担生成查询计划并派发汇总执行结果,Segment是执行查询计划及数据储存管理。集群可以直接加载外部的数据。   官网请查看:https://greenplum.org/ Greenplum官方文档:https://gp-docs-cn.github.io/docs/...

知识的力量 1066

【青梅快讯】迅速迭代,Greenplum6为你带来持续惊喜

自Greenplum 6.0正式版发布以来,Greenplum保持每月一个小版本的迭代速率,持续为用户提供新功能和修复补丁,目前的最新版6.7.1。我们将定期在【青梅快讯】系列中为大家概括各个版本的新特性,帮助大家回顾和预览Greenplum带来的那些新惊喜。 新特性汇总 Greenplum 6.7.1于2020年4月30日发布,自6.0发布以来累积更新的新功能如下: Greenplum 6.7 增加了 gp_resource_group_queuing_timeout 参数 在使用资源组的时候,这个参数可

Greenplum中文社区 700

PostgreSQL与Greenplum中JSONB数据哈希计算实践

哈希计算是数据处理中的基础技术,通过特定算法将任意长度数据映射为固定长度的哈希值。其核心原理是利用散列函数确保相同输入始终产生相同输出,不同输入尽可能产生不同输出。在数据库领域,哈希技术广泛应用于数据校验、变更检测和快速比对等场景。PostgreSQL和Greenplum等关系型数据库在处理JSONB格式数据时,通过计算哈希值可以高效实现数据变更追踪和一致性校验。特别是在数据仓库和大数据处理中,结合SHA256等算法和字段排除功能,能显著提升JSONB数据的处理效率。本文以实际工程案例展示如何优化JSONB

weixin_33416697的博客 256

Pivotal Greenplum® 6.9-管理员指南

Greenplum数据库管理员指南 有关配置、管理和监视Greenplum数据库安装以及管理、监视和使用数据库的信息。该指南还包含有关Greenplum数据库的架构和概念(例如并行处理)的信息。 Greenplum数据库概念 本节概述了Greenplum数据库的组件和功能,例如高可用性、并行数据加载功能和管理工具。 管理Greenplum系统 本节描述了由Greenplum数据库系统管理员执行的、基本的系统管理任务。 管理Greenplum数据库访问 确保Greenplum数据库安全,包括通

uddiqpl的专栏 397

GPSS+Kafka+Greenplum实时数据接入实战指南

Greenplum作为高性能分布式分析型数据库,其流式数据摄入能力依赖专用工具GPSS实现高效、稳定、低延迟的Kafka数据加载。GPSS基于Greenplum内核深度优化,采用COPY协议直通segment并行写入,规避JDBC类通用方案在事务一致性、错误粒度和吞吐性能上的固有缺陷。它不替代Flink等流计算引擎,而是精准定位在‘清洗后结果落地’或‘原始数据准实时快照’环节,提供per-record错误处理、SASL/SSL安全认证支持及正则topic动态发现等生产级特性。本文围绕GPSS v6.23+与

weixin_29051245的博客 265

Greenplum数据仓库填坑记:如何用dbswitch解决Oracle同步中的二进制字段问题

本文针对Oracle到Greenplum数据仓库迁移中二进制字段(如BLOB、RAW)同步的难题,深入剖析了传统方案的局限性。重点介绍了如何利用dbswitch数据同步工具,通过其内置的二进制类型映射、流式处理和高效COPY协议,无损、高性能地解决这一异构数据库同步痛点,并提供了一套包含配置、执行与验证的完整实战方案。

cuda7parallel的博客 669
上一篇: Greenplum 性能优化之路 --(一)分区表
下一篇: Greenplum 性能优化之路 --(三)ANALYZE
腾讯云大数据
博客等级 码龄6年 348粉丝 220原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值