基于sparksql调用shell脚本执行SQL

最新推荐文章于 2023-07-31 09:26:33 发布

原创

最新推荐文章于 2023-07-31 09:26:33 发布 · 5.5k 阅读

9 ·

CC 4.0 BY-SA版权

本文介绍了如何通过SparkSQL调用Shell脚本来执行SQL任务，以此提高批处理效率。示例中展示了定时调用脚本的过程，包括数据插入、SQoop导出以及创建Hive的临时函数，强调了使用SparkSQL相比于Hive在执行速度上的显著提升。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基于sparksql调用shell脚本执行SQL，sparksql提供了类似hive中的 -e , -f ,-i的选项

1、定时调用脚本

[plain]view plaincopy 
   
 #!/bin/sh    
 # upload logs to hdfs    
     
 yesterday=`date --date='1 days ago' +%Y%m%d`    
   
 /opt/modules/spark/bin/spark-sql -i /opt/bin/spark_opt/init.sql --master spark://10.130.2.20:7077 --executor-memory 6g --total-executor-cores 45 --conf spark.ui.port=4075   -e "\  
 insert overwrite table st.stock_realtime_analysis PARTITION (DTYPE='01' )  
   select t1.stockId as stockId,  
          t1.url as url,  
          t1.clickcnt as clickcnt,  
          0,  
          round((t1.clickcnt / (case