元数据管理-hive表的数据字典表信息查询-metastore 的mysql导出

最新推荐文章于 2024-12-12 22:12:57 发布
原创 最新推荐文章于 2024-12-12 22:12:57 发布 · 650 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数仓表

本文介绍了使用Hive查询MySQL中表结构的方法，并提供了一段SQL作为示例，旨在帮助读者更好地理解如何从Hive中获取元数据信息。

尝试了 sh 脚本的导出源数据表，导出来的都需要再加工。

通过hive在mysql里的 表结构可以查询，以下是查询sql, 可以提供元数据管理的素材

select t.TBL_NAME,c.COLUMN_NAME,COMMENT from TBLS t left join COLUMNS_V2 c on t.TBL_ID = c.CD_ID

在这里插入图片描述

Hive查询数据字典
weixin_34375233的博客
02-15 3435
2019独角兽企业重金招聘Python工程师标准>>> ...
生成Hive数据字典（一目了然，史上最全）
MannerXu的博客
07-24 1696
生产中Hive的元数据存储在MySQL中，构建数据字典我们可以通过查询元数据表，导出查询结果后生成自己想要的文档。 下面我会一步一步介绍如何生成markdown格式的数据字典文档。 定义SQL 首先废话不多说，贴出我们需要的在MySQL中使用的SQL。 SELECT a. NAME as SCHEMA_NAME,-- 数据库名称 t.TBL_NAME as TABLE_NAME,-- 表名 b.PARAM_VALUE as TABLE_COMMENT,-- 表注释...
hive 自定义元数据表_Apache Atlas元数据管理入门
weixin_39632698的博客
01-04 438
点击关注上方“知了小巷”，设为“置顶或星标”，第一时间送达干货。 Apache Atlas元数据管理入门内容提要：1.理解元数据2.认识Apache Atlas3.Apache Atlas架构原理4.Apache Atlas2.1新特性1. 理解元数据元数据：描述数据的数据，或者换种说法如下图，为其它数据提供信息的数据。比如在MySQL中，元数据可参考官方文档说明：https:/...
HIVE元数据表/数据字典
weixin_30699463的博客
02-01 610
HIVE元数据表/数据字典 0人收藏此文章,我要收藏 表名 说明 BUCKETING_COLS Hive表CLUSTERED BY字段信息(字段名，字段序号) COLUMNS Hive表字段信息(字段注释，字段名，字段类型，字段序号) DBS ...
基于hive数仓的数据字典查询
weixin_44455388的博客
07-17 4339
SELECT D.NAME AS SCHEMA_NAME, -- 数据库名称 T.TBL_NAME AS TABLE_NAME_EN, -- 表名 P.PARAM_VALUE AS TABLE_NAME_CN, C.INTEGER_IDX AS COLUMN_ID, -- 字段序号 C.COLUMN_NAME AS COLUMN_NAME_EN, -- 字段名 C.COMMENT AS COLUMN_NAME_CN, -- 字段备注 C.TYPE_NAME AS COLUMN_DATA_TYP
生成Hive数据字典
qiulinsama的博客
04-30 2780
生产中Hive的元数据存储在MySQL中，构建数据字典我们可以通过查询元数据表，导出查询结果后生成自己想要的文档。 下面我会一步一步介绍如何生成markdown格式的数据字典文档。 定义SQL 首先废话不多说，贴出我们需要的在MySQL中使用的SQL。 SELECT a. NAME as SCHEMA_NAME,-- 数据库名称 t.TBL_NAME as TABLE_NAME,-- 表名 ...
Hive——HQL数据定义语言
最新发布
m0_66925868的博客
12-12 1823
MySQL => 核心 => SQL语句：DDL ：数据定义语言，建库、建表DML ：数据操纵语言，增、删、改DQL ：数据查询语言，查DCL ：数据控制语言，用户与权限控制 => rootHive中的数据类型指的是Hive表中的列字段类型。原生数据类型（primitive data type）和==复杂数据类型数值类型、时间类型、字符串类型、杂项数据类型；array数组、map映射、struct结构、union联合体。关于Hive的数据类型，需要注意：英文字母大小写不敏感；。
大数据学习之路-Hive
weixin_43441789的博客
03-09 1133
Hive1. Hive基本概念1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和 数据库比较1.4.1 查询语言1.4.2 数据更新1.4.3 执行延迟1.4.4 数据规模2. Hive安装2.1 Hive安装地址2.2 MySql安装2.3 Hive安装部署2.4 Hive元数据配置到MySql2.4.1 拷贝驱动2.4.2 配置Metastore到MySql2.5 启动Hive2.5.1 初始化元数据库2.5.2 启动Hive2.5.
Hive数仓操作（五）
热门推荐
m0_58076578的博客
09-30 1万+
一、Hive 信息查看二、 Hive表的复制方式三、 Hive表的插入方式四、Hive 中的内部表与外部表Hive 将表的元数据（如表名、列名、类型等）存储在关系型数据库中，通常是 MySQL。元数据的主要表包括： TBLS：存储表的信息（表名、类型、ID 等）。 COLUMNS_V2：存储每个列的详细信息（列名、类型等）。 DBS：存储数据库的信息。 SDS：存储数据文件的位置。
数仓采集项目【系统表同步策略、业务数据同步脚本分析、hive安装】
weixin_43923463的博客
06-14 450
同步策略：在从MySQL导入某一张表到HDFS时，导入哪些数据数据同步策略的类型包括：全量同步、增量同步、新增及变化同步、特殊情况每日全量，就是每天存储一份完整数据，作为一个分区。适用于表数据量不大，且每天既会有新数据插入，也会有旧数据的修改的场景。例如：编码字典表、品牌表、商品三级分类、商品二级分类、商品一级分类、优惠规则表、活动表、活动参与商品表、加购表、商品收藏表、优惠卷表、SKU商品表、SPU商品表 每日增量，就是每天存储一份增量数据，作为一个分区。适用于表数据量大，且每天只会有新数据插入的场景。例
数据仓库之电商数仓-- 2、业务数据采集平台
FunnyPrince_的博客
10-04 946
目录 1). 2). 3). 4). 5). 6). 7). 8). 9).
Hive元数据库信息对应mysql表介绍
看图说话
03-08 1860
目录 概述 一、存储Hive版本的元数据表（VERSION） 二、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS） 1、DBS 2、DATABASE_PARAMS 三、Hive表和视图相关的元数据表 1、TBLS 2、TABLE_PARAMS 3、TBL_PRIVS 四、Hive文件存储信息相关的元数据表 1、SDS 2、SD_PA...
大数据从入门到精通(超详细版)之Hive的函数，超级详细，可当做字典使用哦！！！
tyuiop321的博客
09-14 433
上一篇文章我们主要讲了Hive的虚拟列的使用与数据抽样操作，接下来的文章我们将讲解Hive的函数使用。重点帮助大家学习函数的分类与常见的函数及其实际的操作用法。
hive如何生成数据字典
LookDreamGo的博客
12-22 3495
一、连接hive元数据库 执行下面sql即可 -- 查看hive里表和字段字典信息 -- 如果是用create table 的方式建的表，这里是查不到的。 -- 建的表必须要有表注释，否则查不出来。 select d.name as db_name -- 数据库名 ,c.tbl_name -- 表名 ,e.param_value as tbl_name_desc -- 表中文注释 ,a.integer_idx as column
查询oracle数据字典，并对应出hive的数据类型
weixin_30856725的博客
08-21 440
SQL开始 select t2.owner||'.'||t2.TABLE_NAME 源表名, 'dl_{0}_seq.'||'tt_{1}_'||lower(t2.table_name) hive表名, nvl(t3.comments,'{2}') hive表注释, lower(t2.COLUMN_NAME) 字段名, t2.DATA_TYPE 源类型, case ...
mysql 分区报错_hive 用mysql做metastore 分区查询报错
weixin_33370255的博客
02-27 338
下载Hive安装包 http://hive.apache.org/downloads.html 根据需求下载相应的安装包解压安装 默认的数据存放路径hdfs:/user/hive/warehouse/user Hive配置文件主要从默认模版创建hive-site.xml和hive-env.sh cp hive-default.xml.template hive-site.xml cp hisele...
Hive基础概念与数据导入导出
TranSad的博客
09-27 386
Hive是什么 Hive 是 Hadoop 家族中一款数据仓库产品,Hive 最大的特点就是提供了类 SQL 的语法,封装了底层的 MapReduce 过程,让有 SQL 基础的业务人员,也可以通过SQL直接利用 Hadoop 进行大数据的操作。像我一开始学习MapReduce的时候，就是通过一个个Java小demo去学习它们的原理和过程，要通过java去实现一些特定的MR过程对于当时Java用得不太多的我来说非常不友好。直到Hive的出现让这些变得简单了起来，我们大可以放心的去用SQL实...
Hive数据类型、数据库相关操作、表的相关操做、数据的导入导出
yingzi的技术博客
01-22 1030
文章目录Hive数据类型1.基本数据类型2.集合数据类型案例实操3.类型转化数据库的相关操作1.创建数据库2.查询数据库3.修改数据库4.删除数据库表的相关操作1.建表2.管理表3.外部表4.管理表与外部表的互相转换5.重命名表6.增加/修改/替换列信息7.删除表DML数据操作1.数据导入1）向表中装载数据2）通过查询语句向表中插入数据（Insert）3) 查询语句中创建表并加载数据(As Select)4）创建表时通过Location指定加载数据路径5）Import数据指定Hive表中2.数据导出1）In
Hive内/外表浅析及常用数据导入导出
qq_32812063的博客
01-23 847
内部表/外部表 未被external修饰的是内部表（managed table），被external修饰的为外部表（external table），默认创建内部表； 区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理； 内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己指定，若未指...
滴滴出行数据分析：Hbase-Hive-Mysql-Sqoop-可视化实战
使用Sqoop将Hive分析后的结果导入到关系型数据库Mysql中，这一步骤是为了便于传统的关系型数据操作和管理，例如报表生成、业务查询等。Sqoop是连接Hadoop和SQL数据库的工具，能够有效地在Hadoop和关系型数据库之间...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值