shell脚本导出所有hive库名、hive表名及建表语句

最新推荐文章于 2024-10-09 19:24:15 发布
原创 最新推荐文章于 2024-10-09 19:24:15 发布 · 1.6k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#shell #hive

本文介绍了如何通过shell脚本来导出Hive中的所有数据库名称、表名以及对应的建表语句，这对于数据管理和备份工作非常有用。 
#!/usr/bin/bash

# 获取当前脚本所在路径
cur_dir="$(cd "$(dirname "${
     
     BASH_SOURCE[0]}")" && pwd)"
cd ${cur_dir}

# 导出所有hive数据库名
hive -e "show databases;" > ${cur_dir}/all_database.db
# 删除导出文件中的警告信息
sed -i '/^WARN:/d'
最低0.47元/天 解锁文章
Hive高阶语句（Load、Insert、排序、聚合运算）
qq_43012693的博客
09-18 1554
我们在前面的文章中介绍了Hive的基础语法和高阶查询，本篇将继续带大家学习Hive的高阶语句。 目录一级目录二级目录三级目录装载数据：Loadinsert插入多插入插入到分区插入或导出到文件数据交换 一级目录 二级目录 三级目录 装载数据：Load 我们在前面的文章中也有使用过load的案例，这里再详细给大家介绍一下。Load用于在Hive中移动数据，可以实现数据的导入，上传。 语法格式： load data [local] inpath ‘路径’ insert [overwrite] into table
Hive建表语句批量导出导入
L, there!
07-05 6249
带参数，手动指定数据库 #!/bin/bash ##批量获取hive建表HQL脚本 #输入数据库 DB=$1 #获取hive建表语句 tables=$(hive -e "use $DB; show tables;") for table in $tables; do echo "--============ db: $DB , table: $table =======...
导出hive表名_Shell 批量导出 Hive 表的字段及备注
weixin_26643379的博客
12-24 1808
作为表哥、表姐，在实际工作中会创建大量的表，但由于每个人的开发习惯都有所不同，在表命名、字段命名和备注上不能形成一致的风格，导致后续数据库表的可读性差、数据使用效率低的问题，所以有必要对现成的数据库表字段的命名规范程度进行整理，继而输出一套用于规范命名规则的数据字典。国际惯例，无论作哪些取数工作前，都需先列出结果数据的结构：tbl_name(表名)col(字段名)comment(字段备注)以 Hi...
【集群迁移】使用Shell脚本获取老集群整个Hive库的建库、建表DDL
虎鲸不是鱼
11-09 1220
【集群迁移】使用Shell脚本获取老集群整个Hive库的建库、建表DDL
HIVE备份之批量导出所有的HIVE建表字段
大数据挖掘SparkExpert的博客
10-17 8899
在HIVE实际工程部署当中，经常会用到一些备份，其中有一项就是如何保存所有HIVE表的建表命令语句。 当HIVE中表格特别多的情况下，如何批量进行存储呢。 针对这个问题，网上没有任何相关的资源。 不过从HIVE本身提供的语句是支持这个，只是需要批量处理。 最基本的两个语句：show tables; show create tables XXX. 于
Python大数据之Hadoop学习——day06_hive内外部表
weixin_46010015的博客
08-31 1861
创建外部表：create external table [if not exists] 外部表名(字段名 字段类型,字段名 字段类型,...)[row format delimited fields terminated by '字段分隔符'];[location 'hdfs://域名:8020/user/hive/warehouse/库名.db/表名'] # 默认即可。从其他表查询数据'追加'插入到当前表中：insert into [table] 表名 select 语句；
HIVE（二）
2301_78012738的博客
12-25 999
Hive 默认使用的元数据库为 derby，开启 Hive 之后就会占用元数据库，且不与其他客户端共享数据，只能使用一个客户端，所以我们需要将 Hive 的元数据地址改为 MySQL。Hive数据存放在HDFS中，默认路径：/user/hive/warehouse/test 使用 MapReduce 进行计算。在很多情况下，并不需要全局排。Hive 中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区，这样的查询效率。
【大数据】一篇认识Hive
最新发布
m0_46181896的博客
10-09 3979
文章目录一、数据仓库1.1、数据仓库概念1.2、数据仓库核心特征1.3、数据库和数据仓库的区别1.4、数据仓库分层架构[**重要**]1.5、ETL和ELT二、Apache Hive2.1、Hive的概念2.2、Hive的架构组件(非常重要)2.3、Hive和Mysql的区别三、Hive安装3.1、Metadata、metastore3.2、Hive的安装部署模式3.3、Hive的远程模式部署安装3.3.1、安装Hadoop3.3.2、安装MySQL3.3.3、安装Hive (==选择node1安装==)四
Hive表基本操作_1
分享~
05-14 920
摘要：内部表 外部表 数据导入导出 分区表
hive导出数库建表语句
weixin2006的博客
01-06 1548
脚本内容如下： hive -e “show databases;” > /home/eptok/tb.txt dir=/home/eptok/tb.txt dir1=/home/eptok/tb1.txt dir2=/home/eptok/ods.txt cat dir∣whilereadlinedoresult=‘echo"dir | while read line do result=`...
生成hive建表语句
08-24
生成hive建表语句
Hive Schema导出Mysql建表语句
qq_18453581的博客
05-19 699
val fileSystem=FileSystem.get(new Configuration()) def mysqlType(col: String): String = { col.toLowerCase() match { case "bigint" => "bigint(50)" case "tinyint" => "tinyint(1)" case "smallint" => "smallint(5)" case "d.
hive批量导入导出建表语句
weixin_45682234的博客
07-10 1810
导出 #!/bin/bash #数据库名称 database=$1 create_table_sql=$2 #获取hive建表语句 tables=$(hive -e "use $database ; show tables;" > table_names.txt) #指定hive建表所在的数据库 echo "use $database ;" >> $database cat table_names.txt | while read eachline do hive -e
hive的shell窗口修改表，查询表
依旧的博客
11-22 3804
修改表 增加分区: ALTER TABLE table_ name ADD PARITION(dt='20170101') location '/user/hadoop/warehouse/table_ name/dt=20170101';//一次添加一个分区 ALTER TABLE table_ name ADD PARTITION (dt='2008-08-08', country='...
shell脚本的方式批量导出hive建表语句
weixin_42496757的博客
03-22 3654
最近遇到的一个工作任务。由于公司集群不支持使用hive命令，只能使用beeline命令。 通过beeline -e 或 beeline -f 导出的结果，会包含一些其他多余的信息，不好过滤。 同时beeline -e 只能跟一条sql语句。 于是使用spark-sql来完成脚本编写。 第一版 spark-sql -e "use test ; show tables;" > table...
Hive表的导出与导入
data2tech的博客
09-22 1225
对于需要跨集群迁移Hive表的，只需要迁移表结构的，可以采取从原始集群导出Hive表结构，然后在新集群导入Hive表结构，实现Hive元数据的迁移。 欢迎关注微信公众号九万里大数据。 目录 导出所有的hive库 导出库的所有hive表 导出所有hive表的建表语句 处理一下导出的建表语句，比如去掉一些表路径信息等 导入hive表 导出所有的hive库 #!/bin/bash # 1-export_database.sh dir="output/database" if [ ! -d
hive shell查询时永久显示字段名和显示当前数据库
qq_28203321的博客
01-12 695
一、查询时显示字段名 1、进入hive cli后： set hive.cli.print.header=true; 2、此时显示的字段名带表名，可读性很差，继续在hive cli中： set hive.resultset.use.unique.column.names=false; 3、可以设置hive属性在命令行显示当前数据库： set hive.cli.print.current.db=t...
通过shell 获取hive库内的表备注，到shell数组中
zhyjtwgsnwxhn的专栏
07-18 510
准备知识 Shell 数组 #!/bin/bash # author:菜鸟教程 # url:www.runoob.com my_array=(A B "C" D) echo "第一个元素为: ${my_array[0]}" echo "第二个元素为: ${my_array[1]}" echo "第三个元素为: ${my_array[2]}" echo "第四个元素为: ${my_array[3]}" $ chmod +x test.sh $ ./test.sh 第一个元素为: A 第二个.
Hive Shell命令之一（数据库和表的操作）
fengzheku的专栏
12-22 4240
//数据库的有关操作 1、如果数据库不存在的话创建数据库，默认数据库default： create database if not exists test; 2、查看hive中所包含的数据库： show databases; 3、如果数据库非常多，可以用正则表达式匹配筛选出需要的数据库名。 show databases like 't.*'； 4、创建数据库并指定数据库存
导出hive中的所有表的建表语句
06-09
您可以在Hive命令行界面执行以下命令来导出hive中所有表的建表语句： ``` hive -e 'show tables' | xargs -I {} hive -e 'show create table {}' ``` 该命令将首先获取Hive中所有表的名称，然后对每张表分别执行`show create table`命令，以获取该表的建表语句。所有的建表语句将会输出到终端窗口。如果您想将输出保存到文件中，可以通过重定向符号来实现，例如： ``` hive -e 'show tables' | xargs -I {} hive -e 'show create table {}' > create_tables.sql ``` 该命令将所有的建表语句保存到名为`create_tables.sql`的文件中。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值