测试presto benchmark

最新推荐文章于 2024-08-15 23:25:44 发布

未竟

最新推荐文章于 2024-08-15 23:25:44 发布

阅读量900

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据组件文章标签： presto benchmark

本文链接：https://blog.youkuaiyun.com/zwahut/article/details/90411883

大数据组件专栏收录该内容

46 篇文章

订阅专栏

本文介绍了Presto基准测试的环境搭建与运行步骤，包括下载、修改文件名、新建suite.json文件和sql文件夹，sql文件夹存放测试用的sql语句文件，结尾不能有分号。还提到测试运行时相关文件需在同一目录，以及WallTime和CpuTime等指标含义。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、下载

https://repo1.maven.org/maven2/com/facebook/presto/presto-benchmark-driver/0.216/presto-benchmark-driver-0.216-executable.jar

2、修改文件名

mv presto-benchmark-driver-0.216-executable.jar presto-benchmark-driver

#增加执行权限
chmod +x presto-benchmark-driver

3、新建文件suite.json

{

"file_formats": {

"query": ["hive_orc*.*","tpcds*.*"],

"schema": [ "hive_orc.*" ],

"session": {}

}

}

4、新建sql文件夹

里面是要测试的sql语句，每条语句一个文件，名称是hive_orc1.sql ,hive_orc2.sql 等，以及tpcds1.sql，tpcds2.sql等，结尾不能有分号。

5、测试运行

注意：和suite.json文件在同一目录下，sql文件夹也要和suite文件在相同目录下

/opt/presto/presto-server-0.215/bin/presto-benchmark-driver --server 192.168.6.12:8080 --debug  --catalog hive --schema hive_orc

[hadoop@sdw-12 bin]$ /opt/presto/presto-server-0.215/bin/presto-benchmark-driver --server 192.168.6.12:8080 --debug  --catalog hive --schema hive_orc
2019-02-01T10:23:33.363+0800	INFO	main	io.airlift.log.Logging	Logging to stderr
suite	query	wallTimeP50	wallTimeMean	wallTimeStd	processCpuTimeP50	processCpuTimeMean	processCpuTimeStd	queryCpuTimeP50	queryCpuTimeMean	queryCpuTimeStd	status	error
file_formats	hive_orc8	63292	64056	2082	1425610	1421273	14983	1052408	1051609	3077	pass
file_formats	tpcds11	58791	58505	950	904370	898313	14459	691455	683139	16685	pass
file_formats	tpcds15	35936	36196	1467	550660	550780	4971	417760	416297	3124	pass
file_formats	tpcds3	5193	5137	399	187760	186900	2984	165786	166728	2299	pass
file_formats	tpcds8	19918	19903	294	257390	257613	866	194372	194872	1122	pass
file_formats	hive_orc6	27017	27111	168	700710	701616	1963	588008	588608	1039	pass
file_formats	tpcds4	128051	128007	156	1876990	1871563	46965	1359416	1355799	41041	pass
file_formats	tpcds10	35190	35542	1142	431170	431400	790	290296	290390	1021	pass
file_formats	tpcds14	15014	15407	927	225260	223703	2748	172606	172456	2250	pass
file_formats	tpcds7	61047	59487	3664	895560	894683	18350	683081	676074	12291	pass
file_formats	hive_orc7	28232	27550	1263	702240	702670	2641	592209	591608	2163	pass
file_formats	hive_orc9	103957	103232	1913	1942470	1951846	16903	1413610	1414810	2614	pass
file_formats	tpcds5	21506	21093	1314	290770	292580	3657	221708	221340	1921	pass
file_formats	hive_orc5	944	957	105	30910	31600	1300	28564	28256	954	pass
file_formats	tpcds9	797	748	100	2470	2513	237	356	363	33	pass
file_formats	tpcds12	56768	58087	2440	1052170	1049936	18541	684967	685710	1972	pass
file_formats	tpcds2	19128	19974	1477	327680	326093	15570	199083	199424	2616	pass
file_formats	hive_orc2	939	824	215	56250	56620	1441	50822	50563	746	pass
file_formats	tpcds6	39439	40092	2332	569530	569010	4343	428067	426408	3814	pass
file_formats	hive_orc1	1064	1049	79	28950	29053	251	27433	27519	224	pass
file_formats	hive_orc3	1355	1392	140	83330	81783	2739	77133	76115	2152	pass
file_formats	tpcds1	19783	19629	410	258810	257503	2680	195191	194988	531	pass
file_formats	hive_orc4	3188	3093	228	175170	174560	1794	161333	162033	3012	pass

WallTime:用户要可以看到查询结果要等待的时间

processCpuTime:整个集群为助理查询而消耗的CPU时间，包含一些垃圾回收的时间

queryCpuTime:整个集群为助理查询而消耗的CPU时