查询mysql元数据转换成hive语句

本文介绍如何从MySQL数据库中获取表结构信息,并转换为Hive兼容的数据类型,最终生成Hive表创建语句。文章详细展示了SQL查询过程,包括类型映射及使用group_concat进行字段拼接的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

SELECT
	c.table_name,
	c.TABLE_COMMENT,
	#拼接hive建表语句
	concat(
		'DROP TABLE IF EXISTS ',c.TABLE_NAME,';
		CREATE EXTERNAL TABLE IF NOT EXISTS ',c.TABLE_NAME,' (',
	  group_concat( concat( c.COLUMN_NAME, ' ', c.hive_type, " COMMENT '", c.COLUMN_COMMENT, "'" ) ORDER BY c.TABLE_NAME,c.ORDINAL_POSITION),
	") COMMENT '",c.TABLE_COMMENT,
	"PARTITIONED BY (`dt` STRING)",
	"' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\\t' 
	STORED AS orc 
	LOCATION ;" ) AS col_name 
FROM
	(SELECT 
		a.*,
		b.TABLE_COMMENT
		FROM 
		(SELECT
			TABLE_SCHEMA,
			TABLE_NAME,
			COLUMN_NAME,
			ORDINAL_POSITION,
			DATA_TYPE,
			CASE DATA_TYPE
			WHEN 'bigint' THEN
				'bigint'
			WHEN 'int' THEN
				'bigint'
			WHEN 'smallint' THEN
				'bigint'
			WHEN 'tinyint' THEN
				'bigint'
			WHEN 'decimal' THEN
				'decimal'
			WHEN 'double' THEN
				'DOUBLE'
			WHEN 'float' THEN
				'DOUBLE'
			WHEN 'char' THEN
				'STRING'
			WHEN 'varchar' THEN
				'STRING'
			WHEN 'mediumtext' THEN
				'STRING'
			WHEN 'text' THEN
				'STRING'
			WHEN 'datetime' THEN
				'STRING'
			WHEN 'time' THEN
				'STRING'
			WHEN 'timestamp' THEN
				'STRING'
			WHEN 'json' THEN
				'MAP<STRING,STRING>'
			ELSE
				'无'
			END 'HIVE_TYPE',
			COLUMN_COMMENT 
	FROM
		information_schema.COLUMNS 
	WHERE
		TABLE_SCHEMA = '库名' AND TABLE_NAME = '表名') AS a
	LEFT JOIN information_schema.TABLES AS b 
	ON a.TABLE_NAME=b.TABLE_NAME
	AND a.TABLE_SCHEMA=b.TABLE_SCHEMA) AS c 
GROUP BY
	c.table_name,
	c.TABLE_COMMENT

1、mysql类型转换成hive类型
2、group by根据库名和表名分组,group_concat拼接
如果需要查询一个数据库的多个表
去掉 “AND TABLE_NAME = ‘表名’”

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值