如果想查看hive表的信息怎么能办。去查看hive表或者MySQL表每个字段的数据类型和解释

最新推荐文章于 2024-12-17 22:51:14 发布
原创 最新推荐文章于 2024-12-17 22:51:14 发布 · 279 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #hadoop #数据仓库

本文介绍了如何使用descpdb函数在Hive中分析表结构，关注字段数量、数据类型及其解释。另一篇文章则探讨了查看建表语句的方法。

desc pdb_analysis_c.ads_flow_rank_num_d，

使用上面的desc 关键字就可以知道hive表当中有多少字段，每个字段的数据类型和解释

如果查看建表语句可以用另外篇

MLSAQ
关注
hive元数据信息对应的MySQL数据库表
chengbai121444的博客
03-12 3568
目录 概述 一、存储hive版本的原数据表（VERSION） 二、元数据表（DBS、DATABASE_PARAMS） 三、视图相关的元数据表（TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联） 四、hive文件存储信息相关的元数据表（SDS、SD_PARAMS、SERDES、SERDE_PARAMS） 五、表字段相关的元数据表（COLUMNS_V2）...
Hive之数据类型、查询操作
angeliacmm的博客
06-14 3334
3.数据类型，表以及表的操作 1.数据类型 tinyint/smallint/int/bigint y s l float/double/decimal boolean string/varchar/char timestamp/date/interval binary Array 数组 Map 键值对 Struct 对象 2.表 •Table 内部表 •External Table 外部表 •Partition 分区表 •Bucket Tabl
【大数据】Hive: 获取字段数据类型
GHD
12-01 1万+
2018.12.01 文章目录前言方法 前言 某项目涉及将Hive中的textFile表转换成parquet表，由于parquet表不支持date类型，需要判断字段是否是date，并cast成timestamp。 方法 采用DESCRIBE语句1既可： DESCRIBE [FORMATTED] [db_name.]table_name[.complex_col_name ...] DE...
hive 查看某表字段类型
Luke的学习笔记
10-28 2万+
desc formatted table_name
Hive｜Spark 查看表的各种信息
半吊子Kyle的博客
07-10 7953
Hive | Spark 中的 SHOW 语法你了解多少？不能错过的好文章
Hive之Show、Describe语句使用
BabyFish13
07-24 1万+
1.表及分区格式化信息包含存储位置、分隔符格式、创建时间等信息。describe formatted table_name [PARTITION(partition_desc)]; describe formatted recommend_data_view partition (pt_day='2018-07-19'); describe formatted recommend_data_v...
查看Hive 表 所有信息
u012061196的博客
11-16 1万+
目录 1. 查询创建表信息（show create table） 2. 查询表的字段信息（desc） 3. 查看表的详细属性信息（desc formatted） 4.  查看表的delimiter信息（describe extended） 5. 查看表的partitions信息（show partitions ）    a.表不是partition表    b. 表有partitio...
mysql数据抽取，自动生成hive建表语句
03-11
2. **解析表结构**：查询MySQL的元数据信息，如字段名、字段类型、字段长度、是否为主键等。 3. **映射数据类型**：将MySQL的数据类型映射到Hive支持的数据类型。例如，MySQL的INT映射为Hive的INT，VARCHAR映射为...
sqoop从mysql到hive的时间字段问题
01-07
1、先看了原数据MySQL字段类型为datetime,目标字段为string类型； 2、经发现所有时间的差距都是8小时，怀疑是因为时区转换的原因； 3、对比其他表，看看是大范围现象还是特殊情况，发现其他的同样情况字段的一样没有...
Mysql元数据如何生成Hive建表语句注释脚本详解
09-09
这段脚本会根据MySQL的数据类型转换为Hive兼容的数据类型，并为每个字段生成`ALTER TABLE`语句，用于更新Hive表的字段注释。请注意，这只是一个示例，实际使用时需替换`TABLE_NAME`为你需要处理的表名。 接下来，...
Spark抽取MySQL指定数据表中的增量数据到Hive
qq_31710395的博客
12-17 2445
使用Scala编写spark工程代码，Spark抽取MySQL指定数据表中的增量数据到Hive。
hive之生产常用字段类型详解
君永夜
03-15 1万+
1.基本字段类型：primitive_data 数值类型： int、bigint、float、double、DECIMAL 字符串：string 布尔类型：true、false #生产用1/0代替 时间类型：date、TIMESTAMP 等 #生产用字符串代替，如：19010101010101 2.数组类型：arrary_data 存放相同类型的数据集合 #创建一张包含arr...
Hive基础知识(个人总结)
hellosrc的博客
10-24 4879
    声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章               2. 由于是个人总结, 所以用最精简的话语来写文章            
java获取hive表所有字段,Hive Sql从表中动态获取空列计数
weixin_30786813的博客
03-10 1481
我正在使用datastax spark集成和spark SQL thrift服务器,它为我提供了一个Hive SQL接口来查询Cassandra中的表.我的数据库中的表是动态创建的,我想要做的是仅根据表名在表的每列中获取空值的计数.我可以使用describe database.table获取列名,但在hive SQL中,如何在另一个为所有列计数null的select查询中使用其输出.更新1：使用D...
hive表信息查询、查看表结构、表操作等
热门推荐
xzg1109的专栏
12-28 3万+
hive表信息查询：查看表结构、表操作等
linux hive查询数据类型,04-hive的数据类型
weixin_30868873的博客
05-12 1187
转载请注明~在学习了Linux系统操作命令和shell编程之后，将进入到hive的学习中，先主要介绍hive的数据类型和文件格式。01数据类型基本数据类型Hive 提供了基本数据类型和复杂数据类型整型TINYINT — 微整型，只占用1个字节，只能存储0-255的整数。SMALLINT– 小整型，占用2个字节，存储范围–32768 到 32767。INT– 整型，占用4个字节，存储范围-21474...
查看Hive中表的所有信息（结构、字段、存放路径、属性）
AcceptedLin的博客
07-08 1万+
查看Hive中表的所有信息（结构、字段、存放路径、属性） 目录 1. 查询创建表信息（show create table） 2. 查询表的字段信息（desc） 3. 查看表的详细属性信息（desc formatted） 4.查看表的详细信息（describe extended） 5. 查看表的partitions信息（show partitions ） 1. 查询创建表信息（show create table） hive> show create table al...
Spark访问Hive中的表
博弈星宇
11-29 2420
文件studentinfo--> Linux --> HDFS --> Hive --> Spark读取 1.把本地的文件上传到Linux上 利用命令：rz-E 上传文件studentinfo到Linux下的/dataset/路径下 2.把Linux中/dataset/路径下studentinfo文件上传到HDFS上 hdfs dfs -mkdir -p /dataset hdfs dfs -put studentinfo /dataset/ 3.使用hive或b...
Hive常规操作(查看和操作分区，字段，注释)
我的祖传代码
01-07 8105
查看分区 describe formatted tableName partition(date_id="2019-01-07"); 查看table在hdfs上的存储路径及建表语句 show create table tableName ; 操作分区和表语句 alter table tableName add IF NOT EXISTS partition(date_id="$year...
用python写一个从excel中获取表结构字段自动生成hive和mysql建表语句
最新发布
02-27
<think>好的，我现在需要帮用户解决如何用Python从Excel生成Hive和MySQL建表语句的问题。首先，我得理解用户的需求。他们有一个Excel文件，里面定义了表的结构字段，想要自动生成对应的Hive和MySQL的建表语句。这样可以避免手动编写DDL，提高效率，减少错误。 接下来，我需要考虑用户可能的Excel结构。通常，表结构的Excel可能包含列名、数据类型、长度、是否主键、是否允许为空、注释等字段。所以，我需要假设用户的Excel中包含这些信息，或者至少包含必要的列名、数据类型和注释。 然后，我需要确定Python处理Excel的库。常用的有pandas，因为它可以方便地读取Excel文件，处理DataFrame。所以，用户可能需要安装pandas和openpyxl（用于处理.xlsx文件）。 接下来是生成建表语句的逻辑。Hive和MySQL在数据类型上有些不同，比如Hive有STRING类型，而MySQL可能是VARCHAR。还有Hive的分区和存储格式，而MySQL可能有ENGINE和CHARSET的设置。因此，需要将Excel中的数据类型映射到对应的数据库类型。 用户可能需要一个数据类型映射表，比如Excel中的“int”对应Hive的“INT”，而对应MySQL的“INT”。同样，字符串类型可能需要不同的处理。此外，注释部分，Hive使用COMMENT，而MySQL也使用COMMENT，但语法稍有不同。 还需要考虑主键和索引，不过Hive通常不支持主键，而MySQL需要PRIMARY KEY约束。所以可能需要识别主键字段，并在MySQL的建表语句中添加。 另外，用户可能希望处理多个Sheet或多个表结构，但根据问题描述，可能每个Excel文件对应一个表结构，或者每个Sheet对应一个表。需要明确这一点，但通常可能是一个Sheet一个表结构。 然后，代码的结构大概分为几个步骤：读取Excel文件，处理每一行的数据类型和约束，生成对应的DDL语句。可能需要使用Python的字符串格式化来拼接语句。 还需要考虑字段的顺序，以及是否处理分区字段（对于Hive）。用户可能需要在Excel中指定哪些字段是分区字段，或者在代码中通过某种方式识别。 可能的异常处理，比如Excel中缺少某些必要列，或者数据类型无法识别，这时候需要给出提示或默认处理。 最后，用户可能需要将生成的DDL保存到文件中，或者直接输出到控制台。因此，代码可能需要提供输出选项。 现在，我需要验证这些思路是否正确。例如，使用pandas读取Excel，然后逐行处理，映射数据类型，生成语句。Hive和MySQL的建表语法差异需要正确处理，比如Hive的STORED AS和MySQL的ENGINE。 另外，注释部分，Hive的COMMENT是在字段后面，而MySQL的也是在字段后面，但整个表的注释可能需要单独的语句。或者，用户可能希望将字段注释直接放在字段定义中。 还有，是否处理默认值、是否允许NULL等约束。例如，MySQL需要明确指定NULL或NOT NULL，而Hive可能不需要，但最好还是包含进去。 总结下来，代码的大致流程是： 1. 读取Excel文件，获取表结构数据。 2. 定义数据类型映射，将Excel中的类型转换为Hive和MySQL对应的类型。 3. 处理每个字段，生成字段名、类型、注释、约束等部分。 4. 拼接成完整的建表语句，包括表名、字段列表、分区（Hive）、存储格式（Hive）、引擎和字符集（MySQL）等。 5. 输出或保存生成的DDL语句。 需要测试不同的数据类型，确保映射正确。例如，Excel中的“varchar(255)”在Hive中可能是“STRING”，而在MySQL中是“VARCHAR(255)”。日期类型可能也不同，Hive有DATE和TIMESTAMP，而MySQL有DATE、DATETIME等。 另外，处理主键，可能在Excel中有“是否主键”列，如果是MySQL，则在字段定义后添加PRIMARY KEY (字段名)。Hive可能不需要这个。 最后，代码的健壮性，比如处理大小写，去除字段名中的空格，处理注释中的特殊字符等。</think>以下是用Python实现从Excel读取表结构并自动生成Hive/MySQL建表语句的完整解决方案，包含代码示例和注意事项： --- ### **Excel输入模板示例** 建议表格包含以下关键列（示例见下方截图）： | 列名 | 数据类型 | 长度 | 是否主键 | 允许空 | 注释 | |--------------|------------|------|---------|--------|------------| | user_id | bigint | 20 | Y | N | 用户ID | | user_name | varchar | 50 | N | Y | 用户姓名 | | create_time | timestamp | - | N | N | 创建时间 | --- ### **完整Python代码** ```python import pandas as pd from datetime import datetime def excel_to_ddl(excel_path, sheet_name, db_type='hive'): """ 参数： excel_path: Excel文件路径 sheet_name: 工作表名称 db_type: hive/mysql """ # 读取Excel数据 df = pd.read_excel(excel_path, sheet_name=sheet_name) # 数据类型映射字典 type_mapping = { 'hive': { 'bigint': 'BIGINT', 'varchar': 'STRING', 'timestamp': 'TIMESTAMP', 'decimal': 'DECIMAL({precision})' }, 'mysql': { 'bigint': 'BIGINT({length})', 'varchar': 'VARCHAR({length})', 'timestamp': 'DATETIME', 'decimal': 'DECIMAL({precision})' } } # 生成字段定义 fields = [] for _, row in df.iterrows(): # 处理数据类型 base_type = row['数据类型'].lower() length = row.get('长度', '') precision = f"{length},2" if base_type == 'decimal' else str(length) # 构造类型表达式 dtype = type_mapping[db_type][base_type].format( length=length, precision=precision ) if '{' in type_mapping[db_type][base_type] else type_mapping[db_type][base_type] # 处理约束 constraints = [] if row.get('是否主键') == 'Y' and db_type == 'mysql': constraints.append('PRIMARY KEY') if row.get('允许空') == 'N': constraints.append('NOT NULL') # 拼接完整字段 field = f" `{row['列名']}` {dtype} {' '.join(constraints)} COMMENT '{row['注释']}'" fields.append(field.strip()) # 生成完整DDL if db_type == 'hive': ddl = f"CREATE TABLE {sheet_name} (\n" + ',\n'.join(fields) + "\n)\n" ddl += "COMMENT '{}'\n".format(df.iloc[0]['表注释']) # 假设第一行有表注释 ddl += "STORED AS ORC\n" ddl += "TBLPROPERTIES ('transactional'='true');" elif db_type == 'mysql': ddl = f"CREATE TABLE {sheet_name} (\n" + ',\n'.join(fields) + "\n)\n" ddl += "COMMENT='{}'\n".format(df.iloc[0]['表注释']) ddl += "ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;" return ddl # 使用示例 hive_ddl = excel_to_ddl('table_structure.xlsx', 'user_table', 'hive') mysql_ddl = excel_to_ddl('table_structure.xlsx', 'user_table', 'mysql') print("Hive DDL:") print(hive_ddl) print("\nMySQL DDL:") print(mysql_ddl) ``` --- ### **生成结果示例** #### Hive DDL输出： ```sql CREATE TABLE user_table ( `user_id` BIGINT NOT NULL COMMENT '用户ID', `user_name` STRING COMMENT '用户姓名', `create_time` TIMESTAMP NOT NULL COMMENT '创建时间' ) COMMENT '用户信息表' STORED AS ORC TBLPROPERTIES ('transactional'='true'); ``` #### MySQL DDL输出： ```sql CREATE TABLE user_table ( `user_id` BIGINT(20) NOT NULL COMMENT '用户ID', `user_name` VARCHAR(50) COMMENT '用户姓名', `create_time` DATETIME NOT NULL COMMENT '创建时间' ) COMMENT='用户信息表' ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; ``` --- ### **关键扩展功能** 1. **自动类型转换**： ```python # 在type_mapping中添加更多类型映射 'hive': { 'tinyint': 'TINYINT', 'json': 'STRING' # Hive无原生JSON类型 }, 'mysql': { 'tinyint': 'TINYINT(4)', 'json': 'JSON' } ``` 2. **分区字段支持**（Hive专用）： ```python # 在Excel中添加"是否分区"列 if row.get('是否分区') == 'Y': partitions.append(row['列名']) # 在DDL中添加分区语句 if partitions and db_type == 'hive': ddl += f"PARTITIONED BY ({', '.join(partitions)})" ``` 3. **索引生成**（MySQL专用）： ```python # 添加索引生成逻辑 indexes = [] if row.get('是否索引') == 'Y': indexes.append(f"INDEX idx_{row['列名']} ({row['列名']})") # 在DDL最后添加 if indexes: ddl += ',\n' + ',\n'.join(indexes) ``` --- ### **注意事项** 1. **Excel规范**： - 第一行为列头且必须包含`列名`、`数据类型` - 空单元格使用N/A填充 - 日期类型统一使用`yyyy-MM-dd HH:mm:ss`格式 2. **特殊字符处理**： ```python # 处理注释中的单引号 comment = row['注释'].replace("'", "\\'") ``` 3. **执行验证**： ```python # 检查必要列是否存在 required_columns = ['列名', '数据类型'] if not set(required_columns).issubset(df.columns): raise ValueError("Excel缺少必要列") ``` 建议将代码封装为可执行文件，通过命令行参数指定输入输出路径，实现批量化生成。可通过添加`argparse`模块实现交互式操作。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值