Linux环境下安装TPC-H与数据导入PostgreSQL

最新推荐文章于 2024-04-08 08:00:00 发布

tom_and_rocky

最新推荐文章于 2024-04-08 08:00:00 发布

阅读量1.8k

点赞数 1

CC 4.0 BY-SA版权

文章标签： postgresql TPC-H

本文链接：https://blog.youkuaiyun.com/tom_and_rocky/article/details/78814912

本文详细介绍了如何在Linux环境中安装TPC-H，并将生成的数据导入PostgreSQL数据库。步骤包括下载TPC-H工具包，解压、编辑配置文件，编译生成数据，修改数据文件格式，创建PostgreSQL表结构，最后通过COPY命令将数据导入各个表中，并设置主键和外键约束。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

总共需要以下10个步骤，不包括QGEN部分(经过赋值的22个SQL语句参考附录)。

1. 下载 TPC-H 官方工具包，地址：http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp

2. 解压工具包，打开DBGEN文件夹

3. 编辑配置文档，修改其中的参数如下

vim makefile.suite

------------------------------------------------------
CC = gcc
DATABASE =SQLSERVER
VECTORWISE =LINUX
WORKLOAD =TPCH

4. 编译工具

make -f makefile.suite

5. 生成1G大小的数据

./dbgen -s 1

6. 修改数据文件，执行以下脚本去掉数据行结尾的“|”符号，并将更改后的数据文件保存在新建的文件夹handle中

mkdir handle
------------------------------------------------------------

for i in `ls *.tbl`
do
name="handle/$i"
echo $name
`touch $name`
`chmod 777 $name`
sed 's/|$//' $i >> $name;
done

7. 打开PostgreSQL控制台

psql -h 127.0.0.1 -d postgres -U postgres

8. 执行下面的SQL，创建8张表结构

CREATE TABLE NATION ( N_NATIONKEY INTEGER NOT NULL,
N_NAME CHAR(25) NOT NULL,
N_REGIONKEY INTEGER NOT NULL,
N_COMMENT VARCHAR(152));

CREATE TABLE REGION ( R_REGIONKEY INTEGER NOT NULL,
R_NAME CHAR(25) NOT NULL,
R_COMMENT VARCHAR(152));

CREATE TABLE PART ( P_PARTKEY INTEGER NOT NULL,
P_NAME VARCHAR(55) NOT NULL,
P_MFGR CHAR(25) NOT NULL,
P_BRAND CHAR(10) NOT NULL,
P_TYPE VARCHAR(25) NOT NULL,
P_SIZE INTEGER NOT NULL,
P_CONTAINER CHAR(10) NOT NULL,
P_RETAILPRICE DECIMAL(15,2) NOT NULL,
P_COMMENT VARCHAR(23) NOT NULL );

CREATE TABLE SUPPLIER ( S_SUPPKEY INTEGER NOT NULL,
S_NAME CHAR(25) NOT NULL,
S_ADDRESS VARCHAR(40) NOT NULL,
S_NATIONKEY INTEGER NOT NULL,
S_PHONE CHAR(15) NOT NULL,
S_ACCTBAL DECIMAL(15,2) NOT NULL,
S_COMMENT VARCHAR(101) NOT NULL);

CREATE TABLE PARTSUPP ( PS_PARTKEY INTEGER NOT NULL,
PS_SUPPKEY INTEGER NOT NULL,
PS_AVAILQTY INTEGER NOT NULL,
PS_SUPPLYCOST DECIMAL(15,2) NOT NULL,
PS_COMMENT VARCHAR(199) NOT NULL );

CREATE TABLE CUSTOMER ( C_CUSTKEY INTEGER NOT NULL,
C_NAME VARCHAR(25) NOT NULL,
C_ADDRESS VARCHAR(40) NOT NULL,
C_NATIONKEY INTEGER NOT NULL,
C_PHONE CHAR(15) NOT NULL,
C_ACCTBAL DECIMAL(15,2) NOT NULL,
C_MKTSEGMENT CHAR(10) NOT NULL,
C_COMMENT VARCHAR(117) NOT NULL);

CREATE TABLE ORDERS ( O_ORDERKEY INTEGER NOT NULL,
O_CUSTKEY INTEGER NOT NULL,
O_ORDERSTATUS CHAR(1) NOT NULL,
O_TOTALPRICE DECIMAL(15,2) NOT NULL,
O_ORDERDATE DATE NOT NULL,
O_ORDERPRIORITY CHAR(15) NOT NULL,
O_CLERK CHAR(15) NOT NULL,
O_SHIPPRIORITY INTEGER NOT NULL,
O_COMMENT VARCHAR(79) NOT NULL);

CREATE TABLE LINEITEM ( L_ORDERKEY INTEGER NOT NULL,
L_PARTKEY INTEGER NOT NULL,
L_SUPPKEY INTEGER NOT NULL,
L_LINENUMBER INTEGER NOT NULL,
L_QUANTITY DECIMAL(15,2) NOT NULL,
L_EXTENDEDPRICE DECIMAL(15,2) NOT NULL,
L_DISCOUNT DECIMAL(15,2) NOT NULL,
L_TAX DECIMAL(15,2) NOT NULL,
L_RETURNFLAG CHAR(1) NOT NULL,
L_LINESTATUS CHAR(1) NOT NULL,
L_SHIPDATE DATE NOT NULL,
L_COMMITDATE DATE NOT NULL,
L_RECEIPTDATE DATE NOT NULL,
L_SHIPINSTRUCT CHAR(25) NOT NULL,
L_SHIPMODE CHAR(10) NOT NULL,
L_COMMENT VARCHAR(44) NOT NULL);

9. 输入下面的PostgreSQL命令将步骤6中创建的数据导入到表中，注意修改实际的文件路径

copy region from '/opt/tpc/2.17.3/dbgen/handle/region.tbl' with delimiter as '|' NULL '';
copy nation from '/opt/tpc/2.17.3/dbgen/handle/nation.tbl' with

最低0.47元/天解锁文章