Shell批量获取hive库中的建表语句

本文介绍两种使用Shell脚本批量获取Hive数据库中所有表的创建语句的方法。第一种方法通过生成并读取中间文件来完成任务,而第二种方法则直接在循环中获取表名并执行查询,更为简洁高效。

这里采用Shell的方法在hive库里面循环执行”show create table“获取其对应的建表语句;两个脚本,分别是两种方式,一个是”show tables”后将表列表生成文件,然后根据读取文件进行建表语句的查询;而第二种是在for条件中直接获取表的列表清单,然后查询建表语句;很明显,后一种方式简单明了。
1、第一种方式
/home/hadoop/nisj/xx/Yao/hiveTabMetaBak1.sh

[hadoop@emr-worker-9 Yao]$ cat hiveTabMetaBak1.sh 
#!/bin/bash
hive -e "show databases ;" > db.txt
cat db.txt | while read db
do
hive -e "use $db;show tables '*';" > tables.txt
rm -rf tablesDDL.txt
sleep 2
cat tables.txt |while read eachline
do
hive -e "use $db;show create table $eachline;" >> $db.txt
echo -e "---------------------------- $eachline table structure generate finished! -------------------------------\n\n">> $db.txt
done
doner-9 Yao]$ 

2、第二种方式
/home/hadoop/

nisj/xx/Yao/hiveTabMetaBak2.sh

[hadoop@emr-worker-9 Yao]$ cat hiveTabMetaBak2.sh  

#!/bin/bash

rm -rf tablesDDL.txt

for hiveTabName in $(hive -e "show tables 'rcd*';")

do

hive -e "show create table $hiveTabName;" >>tablesDDL.txt

echo -e "---------------------------- $hiveTabName table structure generate finished! -------------------------------\n\n">>tablesDDL.txt

done

[hadoop@emr-worker-9 Yao]$ 
其实,可以将脚本放在任意的文件

目录下也可。

### 通过Shell脚本批量Hive的方法 以下是一个完整的Shell脚本示例,用于根据MySQL中的结构批量Hive。此脚本结合了Shell脚本Hive命令行工具的功能[^1]。 #### Shell脚本代码示例 ```bash #!/bin/bash # 定义变量 exe_hive="/opt/module/hive/bin/hive" # Hive命令行工具路径 TARGET_DB="default" # 目标数据名称 tmpdir="/tmp/mysql_tables.txt" # MySQL名输出文件 tmpfile2="/tmp/hive_tables.sql" # HiveSQL文件 # 清空临时文件 > ${tmpdir} > ${tmpfile2} # 从MySQL中导出名和字段信息 mysql -u root -p123456 -e "SELECT TABLE_NAME, COLUMN_NAME, DATA_TYPE FROM information_schema.COLUMNS WHERE TABLE_SCHEMA='your_mysql_database';" > ${tmpdir} # 删除第一行(标题行) sed -i '1d' ${tmpdir} # 提取名和字段信息并生成Hive语句 nameAndTypebuffer="" while read line; do table_name=$(echo $line | cut -d ' ' -f 1) column_name=$(echo $line | cut -d ' ' -f 2) data_type=$(echo $line | cut -d ' ' -f 3) if [[ -n "$table_name" && -n "$column_name" && -n "$data_type" ]]; then nameAndTypebuffer+="${column_name} ${data_type}," else continue fi # 当遇到新时,生成上一个语句 if [[ "$table_name" != "$(echo $line | cut -d ' ' -f 1)" || -z "$(tail -n 1 ${tmpdir})" ]]; then # 去掉最后一个逗号 nameAndTypebuffer=$(echo "${nameAndTypebuffer%?}") # 构造Hive语句 echo "CREATE TABLE IF NOT EXISTS ${TARGET_DB}.${table_name} (${nameAndTypebuffer});" >> ${tmpfile2} # 重置缓冲区 nameAndTypebuffer="" fi done < ${tmpdir} # 执行Hive语句 cat ${tmpfile2} | ${exe_hive} -f - echo "---完成---" ``` #### 脚本说明 - **定义变量**:脚本中定义了`exe_hive`变量指向Hive命令行工具的路径,`TARGET_DB`变量指定目标数据名称。 - **MySQL名导出**:通过`mysql`命令从MySQL数据中导出名、字段名及数据类型,并将结果保存到临时文件`tmpdir`中[^2]。 - **生成Hive语句**:通过`while`循环读取临时文件中的每一行,提取名、字段名和数据类型,构造Hive语句并保存到`tmpfile2`文件中。 - **执行Hive语句**:使用Hive命令行工具执行生成的语句文件[^3]。 #### 注意事项 - 确保`mysql`命令能够正常连接到MySQL数据,并且用户具有足够的权限。 - 根据实际需求调整MySQL查询语句获取正确的结构信息。 - 在执行脚本之前,请确保Hive命令行工具路径正确,并且Hive服务已启动。 - 如果需要处理分区外部表,可以在生成语句时添加相应的分区或外部表选项[^4]。 #### 示例运行 假设MySQL数据中有以下结构: | 名 | 字段名 | 数据类型 | |----------|----------|----------| | table1 | id | INT | | table1 | name | STRING | | table2 | age | INT | 运行脚本后,将在Hive中创以下: ```sql CREATE TABLE IF NOT EXISTS default.table1 (id INT, name STRING); CREATE TABLE IF NOT EXISTS default.table2 (age INT); ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值