Green Plum测试报告

最新推荐文章于 2025-02-11 13:42:33 发布
最新推荐文章于 2025-02-11 13:42:33 发布
阅读量102 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 操作系统 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_33816821/article/details/85018077
本文详细测试了GreenPlum在数据加载、数据查询、数据范围查询、数据更新和修改方面的性能。结果显示，GreenPlum在数据加载速度上比Oracle快20倍至100倍，数据查询性能提高3倍至20倍。特别地，对于IP范围查询，通过特殊处理，性能得到了显著提升，从原来的2500秒降低到约20秒，提高了100倍。

最近在EMC公司就Green Plum做了下测试，总体而言，测试效果还是很不错的，在这里非常感谢EMC测试人员的协助，希望有机会能够合作。

本文先后从数据加载、数据查询、数据范围查询、数据更新、修改方面对Green Plum做了相关测试，并给出了评测结论。

1.1  硬件环境

测试项目

Oracle11G

GreenPlum

Master 节点

GreenPlum

Segment 4节点

GreenPlum

Segment 8节点

主机节点数

2

2

4

8

CPU

2*4 intel 2.83GHz

2*6 intel 3.0GHZ

2*6  intel 2.93GHZ

2*6  intel 2.93GHZ

内存

16G

 

 

 

磁盘

146G*2(Raid1)

SAS 10K

6*300GB SAS(Raid5)

12*600GB SAS(Raid5)

12*600GB SAS(Raid5)

存储

DELL MD3200

6Gbps SAS

36*2T(2Hotspace)

2T*8+10T( Raid5)

N/A

N/A

N/A

网络

2*1Gb千兆网口

4*1 Gb千兆网口

2*1 10GB 万兆网口

2*1 Gb 千兆网口

2*1 10GB 万兆网口

2*1 Gb 千兆网口

2*1 10GB 万兆网口

交换机

3560千兆交换机

万兆交换机2台，千兆交换机1台

 

1.2   软件环境

 

Oracle

Green Plum

操作系统&版本

Oracle Linux5.6

Linux5.5

数据库&版本

Oracle 11g 11.2.0.2.0

Greenplum-db-4.1.1.3

 

 

 

 

 

 

 

2.1   加载性能测试

2.1.1    性能测试项目

测试项目

具体项目

Oracle

11G

GreenPlum

4节点

GreenPlum

8节点

Copy VS SQL loader

6400万

900秒

N/A

N/A

外部表 VS 外部表

6400万

N/A

63秒

50秒

6400万*3

N/A

130秒

76秒

Insert方式VS Insert方式

6400万

1800~9000秒

 

 

6400万*4

N/A

74秒

39秒

6400万*8

N/A

360秒

90秒

6400万*16

N/A

356秒

209秒

 

2.1.2    测试结果总结

从4节点与8节点的加载性能来看，性能和节点数量基本呈线性关系。

Green Plum与Oracle相比，数据加载的性能提高20倍~100倍不等。

 

 

 

 

 

 

2.2   SELECT性能测试

2.2.1    性能测试项目

标准查询语句性能测试

测试项目

具体项目

Oracle

11G

GreenPlum

4节点

GreenPlum

8节点

单分区分组

（参见相关语句）

Select

120秒

——

40

CTAS

33秒

17.5秒

12秒

Insert

——

11.9秒

5.3秒

八分区分组

（参见相关语句）

Select

500秒

——

77.6秒

CTAS

232秒

——

——

Insert

——

——

40.5秒

三十个分区分组

（参见相关语句）

CTAS

——

——

207.3秒

单分区与八个分区分组统计

（参见相关语句）

Select

437秒

67.1秒

56.1秒

CTAS

——

35.8秒

27.7秒

Insert

——

32.4秒

21.9秒

单分区与三十个分区分组统计

（参见相关语句）

Select

——

230.0秒

——

 

IP查询语句性能测试

测试项目

Oracle

11G

GreenPlum

4节点

GreenPlum

8节点

IP范围查询—by 转换后

（参见相关语句）

约1800秒

——

约2537秒

IP范围查询—by函数

（参见相关语句）

约18000秒

——

约36000秒

IP查询

（参见相关语句）

——

21秒

32~98秒

 

2.2.2    测试结果总结

从以上的测试数据来看，大批量的数据处理，都能够在所期望的时间内以很短的时间完成执行。通过4个节点与8个节点响应的SQL测试时间的比较来看，性能与节点数量基本上呈线性关系。

GreenPlum与Oracle相比，数据查询的性能提高3倍~20倍不等。（Oracle的测试结果已做过优化，GP则为无索引状态）

      基于IP范围查询的结果见补充说明

2.2.3    补充说明

对于IP范围查询（包括数字和函数比较），Green Plum和Oracle的执行性能均一般，GreenPlum还要更差一些。

为 了解决这个性能问题，Green Plum对IP表做了特殊处理，即把10999行的IP表拆分成1亿多条的IP明细表，采用等关联处理，即避开nestloop方式的join而使用更为 快速的hash join。修正效果显著，相同的数据关联从之前的约2500秒的处理时间降低到约20秒，有了100倍左右的提升。

2.3   UPDATE、DELETE性能测试

2.3.1    性能测试项目

测试项目

Oracle

11G

GreenPlum

4节点

GreenPlum

8节点

Update（30个分区）

——

——

130.7秒

Delete

——

——

12秒

2.3.2    测试结果总结

对于大批量数据的更新和删除，Green Plum的优势更加明显，Oracle还需要加以特殊处理（即分段处理）才能进行更新和删除。

Green Plum的Update有个小问题，批量增加字段会导致整个表的大小翻倍，可以通过表的在线分析进行压缩。

 

b10l07
关注
Ubuntu 14.04 Greenplum集群测试结果
小海绵的博客
05-24 283
测试环境 greenplum操作系统：4台Ubuntu 6.04 虚拟机 内存 16G 单机操作系统：Ubuntu 14.04 存储127G Greenplum postgresql版本8.3.23 单机postgresql版本 9.3 节点配置 一个master，六个segment，没有standby master和mirror 数据信息 使用程序导入2008年1月1日至2018年...
收藏版！手把手教你搭建 Greenplum 6.1 集群
Greenplum中文社区
03-12 2170
随着Greenplum大数据平台正式进入6时代，Greenplum 新版本在功能和性能上都实现大幅度地提升。Greenplum 用户麦煜遥将在本文详细介绍如何在Linux上搭建Greenplum 6.1集群。 1. 安装说明 1.1 环境说明 操作系统:  CentOS release 6.6 数据库: Greenplum 6.1 辅助工具:  Winsc...
Greenplum性能测试报告.docx
07-28
Greenplum数据查询性能测试报告，包括架构介绍，数据查询分析测试报告，单表和多表join的测试性能分析
CentOS 7.5 Greenplum cluster测试报告
小海绵的博客
05-24 526
硬件环境 虚拟机配置： 4台CentOS 7.5 虚拟机 内存 8G 存储 150G 单核 Greenplum及postgresql版本 Grenplum 6.0.0 postgresql 9.1 节点配置 一个master（主节点），六个segment（子节点） 数据信息 使用程序生成2008年1月1日至2018年1月1日的10分钟数据，测试数据包括20个观测站点，每个观测点1...
Greenplum使用TPC-H测试过程及结果
知识的力量
09-20 5321
TPC-H 介绍 1 Greenplum集群硬件信息 2 Greenplum 集群架构信息 3 TPC-H 软件环境搭建 3.1 TPC-H软件下载 3.2 编译TPC-H软件 3.2.1 给文件添加执行权限 3.2.2 生成Makefile文件 3.2.3 Makefile文件 3.2.4 编译TPC-H 3.2.5 TPC-H查看帮助 4  ...
diskquota:PostgreSQL 磁盘配额扩展
05-29
检测超出配额限制的架构或角色会有一些延迟。 这里的“软限制”支持两种强制执行： 在查询运行之前，将禁止查询将数据加载到超出配额的架构/角色中。 在查询运行期间动态达到配额限制时，将取消将数据加载到带有...
linux下安装greeplum数据库基本操作
DCclient的博客
05-06 2903
网传的Greenplum安装教程多生搬硬套，很多不必要的东西也会列出来，导致环境的配置极其麻烦；官方的安装部署又显得太凌乱，100多页，让人难以消化。本文介绍了Greenplum分布式下的安装（Linux系统下：CentOS），教程精炼，是博主自己亲手搭建经历多次失败之后的总结，其中标注了多处细节，可大大提升安装者的安装成功率。 一. Greenplum 本次安装的操作系统 Cen
CentOS7 安装GreenPlum详细步骤
热门推荐
晰中的博客
07-18 2万+
GreenPlum安装详细步骤 1、环境准备 1、CentOS7.2 2、greenplum-db-4.3.9.1-build-1-rhel5-x86_64.bin 此文件为GreenPlum（以下简称为gp）的安装文件，由于此文件需从国外官网下载比较费劲，所以一并附在压缩包中。 3、以下步骤若未说明均在root用户下进行操作 2、配置系统信息 1.gp集群介绍 本次gp集群安装使
Greenplum segment节点异常恢复
无锋剑
08-30 2676
Segment检测及故障切换机制 GP Master首先会检测Primary状态，如果Primary不可连通，那么将会检测Mirror状态，Primary/Mirror状态总共有4种： Primary活着，Mirror活着。GP Master探测Primary成功之后直接返回，进行下一个Segment检测； Primary活着，Mirror挂了。GP Master探测Primary成功之后，通...
开源大数据引擎：分布式Greenplum数据库内核分析
12-17
Pivotal 研发总监姚延栋《开源大数据引擎：分布式Greenplum数据库内核分析》
GreenPlum简单性能测试与分析--续
tengxy_cloud的专栏
12-12 7184
之前对GreenPlum与Mysql进行了TPC-H类的对比测试，发现同等资源配比条件下，GreenPlum的性能远好于Mysql，有部分原因是得益于GreenPlum本身采用了更高效的算法，比如说做多表join时，采用的是hash join方式。如果采用同样高效的算法，两者的性能又如何？由于GreenPlum是由PostgreSQL演变而来，完全采用了PostgreSQL的优化算法，这次，我
Greenplum 集群性能测试
wzy0623的专栏
10-07 1049
主机规划、GP 参数设置、查询对比、检查数据倾斜、数据装载、分区、VACUUM
greenplum性能测试工具-pgbench
wangning0714的博客
05-17 2759
创建测试目录并测试，生成测试log文件。查看服务器上是否安装pgbench。pgbench参数解读。
Greenplum 并发性能测试
知识的力量
12-28 3432
Greenplum 并发性能测试 目录 Greenplum 并发性能测试 1 1 集群硬件信息 1 2 测试JAVA代码下载 2 3 单表单线程写入数据性能(测试案例一) 2 3.1 创建测试表 2 3.2 测试100W数据,每1000条提交一次 2 3.3 汇总测试结果 2 3.3.1 运行耗时 2 3.3.2 表的大小 2 3.3.3 表的行数 2 3.3.4 计算吐吞...
Greenplum 6 TPC-H测试实践
littlegirll的专栏
03-24 633
greenplum6 tpc-h测试
GreenPlum简单性能测试与分析
weixin_34364135的博客
11-04 548
为什么80%的码农都做不了架构师？>>> ...
Greenplum7 测试报告
最新发布
liuzhiliang2010的博客
02-11 430
在数字化浪潮汹涌澎湃的当下，随着互联网、物联网等技术的飞速发展，企业每天都会产生和收集到海量的数据。这些数据涵盖了用户行为、业务运营、市场动态等各个方面，宛如一座蕴藏着巨大价值的宝藏。然而，要想从这海量的数据中挖掘出有价值的信息，进而为企业的战略决策、业务优化提供有力支持，就需要高效的数据处理和深度分析能力。Greenplum 作为一款基于 MPP（大规模并行处理）架构的开源数据仓库解决方案，犹如一颗璀璨的明星闪耀在大数据处理领域。
NOSQL数据库性能对比
qq_35338741的博客
12-02 1146
NOSQL数据库性能对比 MongoDB 优点： 1:MongoDB最大的特点是表结构灵活可变，字段类型可以随时修改。 2:全索引支持，查询非常高效。 3:面向文档（BSON）存储，数据模式简单而强大。 缺点： 1：多表查询、复杂事务等高级操作支持不是很友好。因此，如果数据的逻辑结构非常复杂，经常需要进行复杂的多表查询或者事务操作，那显然还是MySQL这类关系型数据库更合适。 2：单个文档大小限制为16M，32位系统上，不支持大于2.5G的数据 3：对内存要求比较大，至少要保证热.
基于pytorch水果图像识别系统，数据集使用Fruits 360,并将训练好的模型应用到图片识别界面中，使用GPU加速训练模型，具体代码实现
05-11
好的，我可以为你提供一个基于PyTorch实现的水果图像识别系统的代码示例。这个示例将使用Fruits 360数据集，并且将训练好的模型应用到一个基于PyQt5的图片识别界面中。同时，我们将使用GPU来加速训练模型，以便更快地获得准确的识别结果。 首先，我们需要安装PyTorch和PyQt5库，可以使用以下命令： ``` pip install torch pip install PyQt5 ``` 接下来，我们将定义一个用于加载Fruits 360数据集的函数。这个函数使用torchvision库来加载数据，并将数据集分成训练集和测试集。 ```python import torch import torchvision import torchvision.transforms as transforms def load_data(): transform = transforms.Compose( [transforms.Resize((64, 64)), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]) trainset = torchvision.datasets.ImageFolder(root='./fruits-360/Training', transform=transform) trainloader = torch.utils.data.DataLoader(trainset, batch_size=32, shuffle=True, num_workers=2) testset = torchvision.datasets.ImageFolder(root='./fruits-360/Test', transform=transform) testloader = torch.utils.data.DataLoader(testset, batch_size=32, shuffle=False, num_workers=2) return trainloader, testloader ``` 然后，我们将定义一个用于训练模型的函数。这个函数将使用PyTorch的GPU加速来加速训练过程。 ```python def train_model(trainloader): device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") net = Net() net = net.to(device) criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9) for epoch in range(10): # loop over the dataset multiple times running_loss = 0.0 for i, data in enumerate(trainloader, 0): # get the inputs; data is a list of [inputs, labels] inputs, labels = data inputs, labels = inputs.to(device), labels.to(device) # zero the parameter gradients optimizer.zero_grad() # forward + backward + optimize outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() # print statistics running_loss += loss.item() if i % 200 == 199: # print every 200 mini-batches print('[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 200)) running_loss = 0.0 print('Finished Training') return net ``` 接着，我们将定义一个用于测试模型的函数。这个函数将使用测试集上的图像来评估模型的准确率。 ```python def test_model(net, testloader): device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") correct = 0 total = 0 with torch.no_grad(): for data in testloader: images, labels = data images, labels = images.to(device), labels.to(device) outputs = net(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Accuracy of the network on the 10000 test images: %d %%' % ( 100 * correct / total)) ``` 最后，我们将定义一个用于应用训练好的模型的函数。这个函数将加载训练好的模型，并使用PyQt5来实现一个简单的GUI界面，以便我们可以将图像加载到系统中，并使用训练好的模型来识别它们。 ```python from PyQt5.QtWidgets import * from PyQt5.QtGui import * from PyQt5.QtCore import * from PIL import Image import numpy as np class App(QWidget): def __init__(self): super().__init__() self.title = 'Fruit Recognition' self.left = 10 self.top = 10 self.width = 640 self.height = 480 self.initUI() def initUI(self): self.setWindowTitle(self.title) self.setGeometry(self.left, self.top, self.width, self.height) # create a label self.label = QLabel(self) self.label.setGeometry(QRect(30, 30, 400, 400)) self.label.setAlignment(Qt.AlignCenter) # create a button button = QPushButton('Open', self) button.setGeometry(QRect(500, 30, 100, 30)) button.clicked.connect(self.open_image) self.show() def open_image(self): options = QFileDialog.Options() options |= QFileDialog.DontUseNativeDialog file_name, _ = QFileDialog.getOpenFileName(self, "Open Image", "", "Images (*.png *.xpm *.jpg *.bmp);;All Files (*)", options=options) if file_name: image = Image.open(file_name) image = image.resize((64, 64)) image = np.array(image) image = image.transpose((2, 0, 1)) image = image / 255 image = torch.from_numpy(image).type(torch.FloatTensor) image = image.unsqueeze(0) device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") net = Net() net = net.to(device) net.load_state_dict(torch.load('fruits_model.pth')) outputs = net(image) _, predicted = torch.max(outputs.data, 1) self.label.setText('This is a ' + classes[predicted.item()] + '!') self.label.setPixmap(QPixmap(file_name).scaled(400, 400, Qt.KeepAspectRatio)) self.label.setAlignment(Qt.AlignCenter) if __name__ == '__main__': classes = ('Apple Braeburn', 'Apple Golden 1', 'Apple Golden 2', 'Apple Golden 3', 'Apple Granny Smith', 'Apple Red 1', 'Apple Red 2', 'Apple Red 3', 'Apple Red Delicious', 'Apple Red Yellow 1', 'Apple Red Yellow 2', 'Apricot', 'Avocado', 'Banana', 'Beetroot', 'Blueberry', 'Cactus fruit', 'Cantaloupe 1', 'Cantaloupe 2', 'Carambula', 'Cauliflower', 'Cherry 1', 'Cherry 2', 'Cherry Rainier', 'Cherry Wax Black', 'Cherry Wax Red', 'Cherry Wax Yellow', 'Chestnut', 'Clementine', 'Cocos', 'Dates', 'Eggplant', 'Fig', 'Ginger Root', 'Granadilla', 'Grape Blue', 'Grape Pink', 'Grape White', 'Grape White 2', 'Grape White 3', 'Grape White 4', 'Grapefruit Pink', 'Grapefruit White', 'Guava', 'Hazelnut', 'Huckleberry', 'Kaki', 'Kiwi', 'Kohlrabi', 'Kumquats', 'Lemon', 'Lemon Meyer', 'Limes', 'Lychee', 'Mandarine', 'Mango', 'Mangostan', 'Maracuja', 'Melon Piel de Sapo', 'Mulberry', 'Nectarine', 'Orange', 'Papaya', 'Passion Fruit', 'Peach', 'Peach Flat', 'Pear', 'Pear Abate', 'Pear Monster', 'Pear Williams', 'Pepino', 'Pepper Green', 'Pepper Red', 'Pepper Yellow', 'Physalis', 'Physalis with Husk', 'Pineapple', 'Pineapple Mini', 'Pitahaya Red', 'Plum', 'Plum 2', 'Plum 3', 'Pomegranate', 'Pomelo Sweetie', 'Potato Red', 'Potato Red Washed', 'Potato Sweet', 'Potato White', 'Quince', 'Rambutan', 'Raspberry', 'Redcurrant', 'Salak', 'Strawberry', 'Tamarillo', 'Tangelo', 'Tomato 1', 'Tomato 2', 'Tomato 3', 'Tomato 4', 'Tomato Cherry Red', 'Tomato Maroon', 'Tomato Yellow', 'Walnut') trainloader, testloader = load_data() net = train_model(trainloader) test_model(net, testloader) torch.save(net.state_dict(), 'fruits_model.pth') app = QApplication(sys.argv) ex = App() sys.exit(app.exec_()) ``` 注意，这个示例中我们使用了一个名为Net的神经网络模型，你可以根据需要进行替换。 至此，我们已经完成了一个基于PyTorch的水果图像识别系统的实现。你可以使用这个示例作为起点，根据需要进行修改和扩展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值