简介：本文将会介绍在Hologres中如何基于TPCH数据集做性能测试，并提供测试结果参考，方便您进行产品规格选型。
背景信息
TPC-H（商业智能计算测试）是美国交易处理效能委员会（TPC,Transaction Processing Performance Council）组织制定的用来模拟决策支持类应用的一个测试集。目前在学术界和工业界普遍采用它来评价决策支持技术方面应用的性能。TPC-H 是根据真实的生产运行环境来建模，模拟了一套销售系统的数据仓库。其共包含 8 张表，数据量可设定从 1G~3T 不等。其基准测试共包含了22个查询，主要评价指标各个查询的响应时间，即从提交查询到结果返回所需时间。其测试结果可综合反映系统处理查询时的能力。详情参考TPCH 文档。
数据集介绍
该数据集包含如下 8 张表，互相间的关系如下图所示。
测试详情
测试数据量说明
测试数据量会直接影响测试结果，TPC-H 的生成工具中使用 SF ( scale factor ) 控制生成数据的数据量的大小，1 SF 对应 1 GB。
注意：以上提及的数据量仅仅为 原始数据的数据量，不包括索引等空间占用，所以准备环境时，需要预留更多的空间。
测试环境
本次测试使用了独享实例（按量付费）的实例，由于仅为测试示意使用，所以计算资源配置选择了8核32G。
测试场景
本测试场景主要包含3部分：
- OLAP查询场景测试，主要使用列存表，直接使用TPCH测试中的22条查询；
- Key/Value点查场景测试，主要使用行存表，针对orders使用行存表后，进行主键过滤的点查；
基础环境准备
- 该步骤主要用于准备OLAP查询场景和Key/Value点查场景所需的数据；
基础环境准备
1. 创建 ECS 实例
登陆阿里云，创建一个 ECS 实例，用于数据生成、向 Hologres 导入数据、客户端测试。建议规格：
- ecs.g6.4xlarge 规格
- CentOS 7.9 系统
- ESSD 数据盘，具体数据容量根据需要测试的数据量大小决定
- 建议 ECS 与 Hologres 实例用相同 Region 和 VPC 网络
2. 创建 Hologres 实例
- 登陆阿里云，进入 Hologres 产品控制台，点击新增引擎实例
- 选择配置，并填写实例名称，详细说明请参考官方文档。
3. 创建测试数据库
- 在创建实例后，您需要登陆您创建的 Hologres 实例，创建一个数据库，本测试中命名数据库为
tpch_1sf，详细操作步骤请参考官方文档
生成 TPC-H 数据
1. 准备数据生成工具
- 远程链接 ECS 实例
- 更新所有库
yum update- 安装 git
yum install git- 安装gcc
yum install gcc- 下载 TPC-H 数据生成代码
git clone https://github.com/gregrahn/tpch-kit.git- 进入数据生成工具代码目录
cd tpch-kit/dbgen- 编译数据生成工具代码
make2. 生成数据
- 编译成功后，您可以使用如下代码查看代码生成工具的相关参数。
./dbgen --help- 本次测试仅生成 1 GB 数据，所以运行如下代码生成数据。
./dbgen -vf -s 1如您需要生成更多数据量的数据，可以调整 SF 的参数，例如您可以使用如下代码生成 1 T 数据
./dbgen -vf -s 1000- 一般情况下，32CU 可以跑 TPCH SF10，256CU 可以跑 TPCH SF50
- 数据生成后，您可以使用如下代码查看生成的文件。可以看到生成工具生成了 8 个数据文件，每个数据文件都对应一张数据集中的表。
ls | grep '.*.tbl'OLAP查询场景测试
准备数据
1. 创建表
- 由于本文主要使用 psql 进行数据导入操作，需要先在 ECS 中运行如下命令安装 psql
yum install postgresql-server- 安装 psql 后，您可以使用如下命令登陆 Hologres 实例
PGUSER=<AccessID> PGPASSWORD=<AccessKey> psql -p <Port> -h <Endpoint> -d <Database>- 使用psql连接Hologres后，您可以使用如下建表语句创建数据库表
DROP TABLE IF EXISTS LINEITEM;
BEGIN;
CREATE TABLE LINEITEM
(
L_ORDERKEY INT NOT NULL,
L_PARTKEY INT NOT NULL,
L_SUPPKEY INT NOT NULL,
L_LINENUMBER INT NOT NULL,
L_QUANTITY DECIMAL(15,2) NOT NULL,
L_EXTENDEDPRICE DECIMAL(15,2) NOT NULL,
L_DISCOUNT DECIMAL(15,2) NOT NULL,
L_TAX DECIMAL(15,2) NOT NULL,
L_RETURNFLAG TEXT NOT NULL,
L_LINESTATUS TEXT NOT NULL,
L_SHIPDATE TIMESTAMPTZ NOT NULL,
L_COMMITDATE TIMESTAMPTZ NOT NULL,
L_RECEIPTDATE TIMESTAMPTZ NOT NULL,
L_SHIPINSTRUCT TEXT NOT NULL,
L_SHIPMODE TEXT NOT NULL,
L_COMMENT TEXT NOT NULL,
PRIMARY KEY (L_ORDERKEY,L_LINENUMBER)
);
CALL set_table_property('LINEITEM', 'clustering_key', 'L_SHIPDATE,L_ORDERKEY');
CALL set_table_property('LINEITEM', 'segment_key', 'L_SHIPDATE');
CALL set_table_property('LINEITEM', 'distribution_key', 'L_ORDERKEY');
CALL set_table_property('LINEITEM', 'bitmap_columns', 'L_ORDERKEY,L_PARTKEY,L_SUPPKEY,L_LINENUMBER,L_RETURNFLAG,L_LINESTATUS,L_SHIPINSTRUCT,L_SHIPMODE,L_COMMENT');
CALL set_table_property('LINEITEM', 'dictionary_encoding_columns', 'L_RETURNFLAG,L_LINESTATUS,L_SHIPINSTRUCT,L_SHIPMODE,L_COMMENT');
CALL set_table_property('LINEITEM', 'time_to_live_in_seconds', '31536000');
COMMIT;
DROP TABLE IF EXISTS ORDERS;
BEGIN;
CREATE TABLE ORDERS
(
O_ORDERKEY INT NOT NULL PRIMARY KEY,
O_CUSTKEY INT NOT NULL,
O_ORDERSTATUS TEXT NOT NULL,
O_TOTALPRICE DECIMAL(15,2) NOT NULL,
O_ORDERDATE timestamptz NOT NULL,
O_ORDERPRIORITY TEXT NOT NULL,
O_CLERK TEXT NOT NULL,
O_SHIPPRIORITY INT NOT NULL,
O_COMMENT TEXT NOT NULL
);
CALL set_table_property('ORDERS', 'segment_key', 'O_ORDERDATE');
CALL set_table_property('ORDERS', 'distribution_key', 'O_ORDERKEY');
CALL set_table_property('ORDERS', 'colocate_with', 'LINEITEM');
CALL set_table_property('ORDERS', 'bitmap_columns', 'O_ORDERKEY,O_CUSTKEY,O_ORDERSTATUS,O_ORDERPRIORITY,O_CLERK,O_SHIPPRIORITY,O_COMMENT');
CALL set_table_property('ORDERS', 'dictionary_encoding_columns', 'O_ORDERSTATUS,O_ORDERPRIORITY,O_CLERK,O_COMMENT');
CALL set_table_property('ORDERS', 'time_to_live_in_seconds', '31536000');
COMMIT;
DROP TABLE IF EXISTS PARTSUPP;
BEGIN;
CREATE TABLE PARTSUPP
(
PS_PARTKEY INT NOT NULL,
PS_SUPPKEY INT NOT NULL,
PS_AVAILQTY INT NOT NULL,
PS_SUPPLYCOST DECIMAL(15,2) NOT NULL,
PS_COMMENT TEXT NOT NULL,
PRIMARY KEY(PS_PARTKEY,PS_SUPPKEY)
);
CALL set_table_property('PARTSUPP', 'distribution_key', 'PS_PARTKEY');
CALL set_table_property('PARTSUPP', 'colocate_with', 'LINEITEM');
CALL set_table_property('PARTSUPP', 'bitmap_columns', 'PS_PARTKEY,PS_SUPPKEY,PS_AVAILQTY,PS_COMMENT');
CALL set_table_property('PARTSUPP', 'dictionary_encoding_columns', 'PS_COMMENT');
CALL set_table_property('PARTSUPP', 'time_to_live_in_seconds', '31536000');
COMMIT;
DROP TABLE IF EXISTS PART;
BEGIN;
CREATE TABLE PART
(
P_PARTKEY INT NOT NULL PRIMARY KEY,
P_NAME TEXT NOT NULL,
P_MFGR TEXT NOT NULL,
P_BRAND TEXT NOT NULL,
P_TYPE TEXT NOT NULL,
P_SIZE INT NOT NULL,
P_CONTAINER TEXT NOT NULL,
P_RETAILPRICE DECIMAL(15,2) NOT NULL,
P_COMMENT TEXT NOT NULL
);
CALL set_table_property('PART', 'distribution_key', 'P_PARTKEY');
CALL set_table_property('PART', 'colocate_with', 'LINEITEM');
CALL set_table_property('PART', 'bitmap_columns', 'P_PARTKEY,P_SIZE,P_NAME,P_MFGR,P_BRAND,P_TYPE,P_CONTAINER,P_COMMENT');
CALL set_table_property('PART', 'dictionary_encoding_columns', 'P_NAME,P_MFGR,P_BRAND,P_TYPE,P_CONTAINER,P_COMMENT');
CALL set_table_property('PART', 'time_to_live_in_seconds', '31536000');
COMMIT;
DROP TABLE IF EXISTS CUSTOMER;
BEGIN;
CREATE TABLE CUSTOMER
(
C_CUSTKEY INT NOT NULL PRIMARY KEY,
C_NAME TEXT NOT NULL,
C_ADDRESS TEXT NOT NULL,
C_NATIONKEY INT NOT NULL,
C_PHONE TEXT NOT NULL,
C_ACCTBAL DECIMAL(15,2) NOT NULL,
C_MKTSEGMENT TEXT NOT NULL,
C_COMMENT TEXT NOT NULL
);
CALL set_table_property('CUSTOMER', 'distribution_key', 'C_CUSTKEY');
CALL set_table_property('CUSTOMER', 'colocate_with', 'LINEITEM');
CALL set_table_property('CUSTOMER', 'bitmap_columns', 'C_CUSTKEY,C_NATIONKEY,C_NAME,C_ADDRESS,C_PHONE,C_MKTSEGMENT,C_COMMENT');
CALL set_table_property('CUSTOMER', 'dictionary_encoding_columns', 'C_NAME,C_ADDRE
最低0.47元/天 解锁文章
扫一扫
4021
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
