hive（spark-sql） -e -f -d以及传参数, sh并行

最新推荐文章于 2025-11-10 14:58:55 发布

四月天03

最新推荐文章于 2025-11-10 14:58:55 发布

阅读量9.1k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/qq_22473611/article/details/100558939

Hive 同时被 2 个专栏收录

13 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

Spark

14 篇文章

订阅专栏

本文介绍了如何使用Spark SQL和Hive命令行工具进行SQL操作，包括`-e`、`-f`选项的区别与使用，以及在shell脚本中传参和使用`-S`、`-v`选项。特别讨论了在SQL语句中正确处理反斜杠和双引号的问题，并展示了如何使用`-d`传入变量和`sed`进行文本替换。同时，还提到了通过`sh`实现并行执行。

1、统计hive一个库下的表的个数

hive -e"
use databases;
show tables;
--show tables like 'edw*';  
"| grep -v tmp |wc -l

1、hive -e"
use databases
show tables;
"> database_name_tables.txt
2、统计量
wc -l database_name_tables.txt

1. 使用“spark-sql -e”

与“Hive”一样，Spark SQL CLI也支持“-e”参数

spark-sql -e "insert into table ***"

Spark-SQL导出查询结果到 results.txt

spark-sql --num-executors 100 -e "select * from table" > results.txt 

-- 也可以直接指定数据库名称，如下：

spark-sql --database mydb --num-executors 100 -e "select * from table" > results.txt