Hive操作——复制表结构和数据

最新推荐文章于 2024-12-12 22:12:57 发布
原创 最新推荐文章于 2024-12-12 22:12:57 发布 · 2.3w 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive复制

本文详述如何在Hive中复制表结构和数据，从B库的old_table复制到A库的新表new_table。内容涵盖CREATE TABLE LIKE语法创建表结构，以及通过INSERT INTO和CREATE TABLE AS SELECT两种方式复制结构和数据，同时强调了复制时需注意的分隔符问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这篇博文将分享给你如何将hive中B库的表复制到A库中。如下图，将cserver中的表的结构以及数据都复制到xpu中。本篇将分为两个部分：复制表结构、复制结构+数据。

一、复制表的结构

写法：CREATE TABLE A.new_table LIKE B.old_table;(需要A数据库提前创建好，否则会报找不到)

这里将cserver的iot_devicelocation复制到xpu中去，首先看一下iot_devicelocation的表结构。

复制表结构：创建一个和iot_devicelocation表一样表结构的test_iiot_devicelocation表

hive> create table if not exists xpu.test_iot_devicelocation like iot_devicelocation;

可以写成如下的形式：create table if not exists database_nameA.table_nameA like database_nameB.table_nameB;当你

最低0.47元/天 解锁文章

200万优质内容无限畅学
hive 表结构及数据的复制
Sin_Geek成长の迹
09-16 896
非分区表 复制表结构 create table new_table like exists_table; 复制表结构和数据 create table new_table as select * from exists_table; 分区表 复制表结构 create table new_table like exists_table; 复制数据稍微麻烦点，使用hdfs拷贝文件，然后再修复表数据...
摸鱼大数据——Hive表操作——基本操作
weixin_65694308的博客
05-27 2120
业务数据文件在HDFS的默认存储路径: hdfs://node1:8020/user/hive/warehouse/数据库名称.db/表名称/业务数据文件。-- 该表的数据存放路径 hdfs://node1:8020/user/hive/warehouse/day06.db/outer_stu1。自定义表在HDFS的默认存储路径: hdfs://node1:8020/user/hive/warehouse/数据库名称.db/表名称。替换的时候注意: 替换的时候，是使用新的字段信息替换原有的所有字段。
一起学Hive——总结复制Hive表结构和数据的方法
weixin_30872157的博客
10-14 700
在使用Hive的过程中，复制表结构和数据是很常用的操作，本文介绍两种复制表结构和数据的方法。 1、复制非分区表表结构和数据 Hive集群中原本有一张bigdata17_old表，通过下面的SQL语句可以将bigdata17_old的表结构和数据复制到bigdata17_new表： CREATE TABLE bigdata17_new AS SELECT * FROM bigdata17_...
复制Hive表结构和数据的方法
u011390757的博客
09-06 4450
在使用Hive的过程中，复制表结构和数据是很常用的操作，本文介绍两种复制表结构和数据的方法。 1、复制非分区表表结构和数据 Hive集群中原本有一张bigdata17_old表，通过下面的SQL语句可以将bigdata17_old的表结构和数据复制到bigdata17_new表： CREATE TABLE bigdata17_new AS SELECT * FROM bigdata17_old; 如果是分区表，则必须使用like关键字复制表结构，包括分区，然后用insert语句将老表的数据插入新表中。 2
Hive 表的复制
热门推荐
过河卒子Rover的博客
02-09 1万+
Hive 表的复制
Hive3——Hive和普通关系数据库的异同.pdf
07-11
Hive作为数据仓库工具，其设计目标是支持读多写少的操作，因此不支持数据的修改和添加，只在数据加载时确定。相反，关系数据库支持INSERT和UPDATE操作，适合频繁的数据变更场景。 5. **索引机制**： Hive缺乏内置...
Hive——HQL数据定义语言
m0_66925868的博客
12-12 1633
MySQL => 核心 => SQL语句：DDL ：数据定义语言，建库、建表DML ：数据操纵语言，增、删、改DQL ：数据查询语言，查DCL ：数据控制语言，用户与权限控制 => rootHive中的数据类型指的是Hive表中的列字段类型。原生数据类型（primitive data type）和==复杂数据类型数值类型、时间类型、字符串类型、杂项数据类型；array数组、map映射、struct结构、union联合体。关于Hive的数据类型，需要注意：英文字母大小写不敏感；。
Day04-Hive——数据库基础操作
qq_59061273的博客
09-02 1810
1、数据管理内部表：由Hive全权管理，删除时会删除数据。外部表：Hive仅管理元数据，删除时不删除数据。2、存储位置内部表：数据存储在Hive默认仓库目录。外部表：数据存储在指定的HDFS路径或其它存储系统。3、应用场景内部表：适合临时数据处理和统计分析。外部表：适合长期存储和多工具共享数据。4、创建方式：内部表：创建时默认为内部表外部表：创建时需要使用 EXTERNAL 关键字。
hive复制表结构和数据的方法
TriumPhSk的博客
12-31 3060
hive 表复制
批量导出hive表结构
11-27
通过shell脚本，批量把一个库下面的表结构全部导出，在开发环境执行过。
Hive复制表结构
docsz的博客
04-21 2392
hive复制表结构
Hive中快速复制一张分区表的结构和数据
fuyun6363的博客
01-30 7419
首先，来回顾下在hive中创建表的三种方式： 直接创建表：create table table_name (column1 type1, column2 type2, …) 创建新表只复制旧表的结构：create table new_table_name like select * from old_table_name 创建新表复制旧表的结构和数据：create table new_table_...
Hive 复制表结构、表数据以及数据库迁移
qq_40771567的博客
11-24 4363
1、复制表或者迁移数据库 CREATE TABLE new_table AS SELECT * FROM old_table; 2、复制数据 查看老表的hdfs文件位置 （show create table xxx;） old_file_path 查看新表的hdfs文件位置 new_file_path; hdfs复制：hadoop fs -cpold_file_pathnew_file_path； 3、修复元数据 MSCK REPAIR TABLE new_table;修复新表的分区元数据..
Hive 复制表结构和数据
ZSCDumin的博客
04-02 481
Hive 复制表结构和数据 1. 复制非分区表 create table a as select * from b; 2. 复制分区表 create table a like b; insert overwrite table a partition (year, month, day) select * from b; ...
Hive中如何快速的复制一张分区表（包括数据）
weixin_34205826的博客
11-04 394
转自：http://lxw1234.com/archives/2015/09/484.htm 关键字：Hive 复制表 Hive中有时候会遇到复制表的需求，复制表指的是复制表结构和数据。 如果是针对非分区表，那很简单，可以使用CREATE TABLE new_table AS SELECT * FROM old_table; 那么如果是分区表呢？ 首先想到的办法可能是： 先创建一张和o...
Hive-复制表
dianjun2454的博客
10-10 562
非分区表复制 复制一张非分区表，使用CREATE TABLE IF NOT EXISTS AS SELECT * FROM tb_name;只复制表结构，CREATE TABLE IF NOT EXISTS AS SELECT *** FROM tb_name WHERE 1=2; PS：分区表如果采用这种"CREATE TABLE IF NOT EXISTS AS"的方法复制，表结...
hive复制表结构
小白学编程
05-09 4703
1、复制非分区表结构 CREATE TABLE bigdata17_new AS SELECT * FROM bigdata17_old; 2、复制分区表结构 CREATE TABLE bigdata17_new like bigdata17_old;
头歌hive表ddl操作二
最新发布
03-21
### Hive 表 DDL 操作教程 #### 1. 数据库操作 在Hive中，可以执行多种数据库级别的DDL操作。以下是常见的数据库操作命令： - **创建数据库** 使用 `CREATE DATABASE` 命令创建一个新的数据库，并可附加条件如检查是否存在以及添加注释或属性[^5]。 ```sql CREATE DATABASE IF NOT EXISTS mydb COMMENT 'This is a test database'; ``` - **查看数据库详情** 可以使用 `DESCRIBE DATABASE EXTENDED` 查看数据库的详细信息，包括路径和其他元数据[^1]。 - **删除数据库** 删除数据库时需注意是否强制删除关联表，默认情况下会提示错误以防误删。 ```sql DROP DATABASE IF EXISTS mydb CASCADE; ``` #### 2. 表的操作 ##### 创建表 Hive支持两种类型的表——管理表（内部表）和外部表。两者的区别在于数据文件的存储方式及其生命周期管理。 - **创建管理表** 管理表中的数据由Hive完全控制，当删除表时其对应的数据也会被清除。 ```sql CREATE TABLE managed_table (id INT, name STRING); ``` - **创建外部表** 外部表指向已存在于HDFS上的数据，在这种模式下即使删除表也不会影响底层数据文件。 ```sql CREATE EXTERNAL TABLE external_table (id INT, name STRING) LOCATION '/path/to/data/'; ALTER TABLE external_table SET TBLPROPERTIES ('EXTERNAL'='TRUE'); ``` - **字段类型与分隔符设定** 定义表结构的同时还可以指定字段间使用的分隔符。 ```sql CREATE TABLE delimited_table ( id INT, name STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; ``` - **基于查询结果创建新表** 利用子查询的结果快速构建一张新的表格。 ```sql CREATE TABLE new_table AS SELECT * FROM existing_table WHERE condition; ``` - **复制现有表结构而不导入数据** 如果仅想拷贝架构而无需实际迁移任何记录，则采用如下语句。 ```sql CREATE TABLE like_table LIKE original_table; ``` ##### 修改表 随着业务需求的变化可能需要调整已有表的设计方案。 - **更改表名** 对于简单更名情况可以直接应用ALTER指令完成重命名过程。 ```sql ALTER TABLE old_name RENAME TO new_name; ``` - **增减列项** 添加额外的新字段或者更新既有字段定义均可以通过此方法实现。 ```sql -- Add column example ALTER TABLE table_name ADD COLUMNS (new_column STRING); -- Change column type or position ALTER TABLE table_name CHANGE COLUMN col_old_name col_new_name NEW_TYPE; ``` ##### 清空及销毁表 有时为了释放资源可能会考虑清理整个表的内容或者是彻底移除该对象本身。 - **清空表内容** 此动作保留原始表结构只去除所有行级资料[^3]。 ```sql TRUNCATE TABLE table_name; ``` - **删除整张表** 需要特别留意的是对于外置型态而言仅仅消除逻辑层面上的信息并不会同步处理物理层面的实际档案。 ```sql DROP TABLE IF EXISTS table_name; ``` #### 3. 特殊特性：分区与分桶 这些高级选项有助于优化大规模数据分析性能表现。 - **分区表** 将大尺寸单体分割成若干个小部分以便加速检索速度。 ```sql CREATE TABLE partitioned_table ( id INT, value DOUBLE ) PARTITIONED BY (year INT, month INT); ``` - **分桶表** 提供进一步细化粒度的能力从而达到更好的压缩效果降低I/O消耗成本[^4]。 ```sql CREATE TABLE bucketed_table ( id INT, name STRING ) CLUSTERED BY (id) INTO 4 BUCKETS; ``` ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值