基于sparksql调用shell脚本执行SQL

最新推荐文章于 2025-07-11 17:33:46 发布

原创

最新推荐文章于 2025-07-11 17:33:46 发布 · 8.5k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#sql #spark #shell

本文作者kwu分享了如何使用SparkSQL调用shell脚本来执行SQL，并指出这种方式相比使用Hive的-e选项能显著提升执行速度。通过调整任务的资源分配，如内存和CPU，将原本15分钟的执行时间缩短到了45秒。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

[Author]: kwu

基于sparksql调用shell脚本执行SQL，sparksql提供了类似hive中的 -e , -f ,-i的选项

1、定时调用脚本

#!/bin/sh  
# upload logs to hdfs  
  
yesterday=`date --date='1 days ago' +%Y%m%d`  

/opt/modules/spark/bin/spark-sql -i /opt/bin/spark_opt/init.sql --master spark://10.130.2.20:7077 --executor-memory 6g --total-executor-cores 45 --conf spark.ui.port=4075   -e "\
insert overwrite table st.stock_realtime_analysis PARTITION (DTYPE='01' )
  select t1.stockId as stockId,
         t1.url as url,
         t1.clickcnt as c