hive(1):快速复制表

最新推荐文章于 2025-10-03 11:40:38 发布
转载 最新推荐文章于 2025-10-03 11:40:38 发布 · 672 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/liu812769634/article/details/51394150

本文介绍如何在Hadoop中使用SQL语句和HDFS命令快速复制表格数据及修复分区元数据的方法。首先，通过CREATE TABLE语句创建与源表结构相同的新表；其次，利用hadoop fs -cp命令将旧表的HDFS目录文件复制到新表对应目录；最后，执行MSCK REPAIR TABLE语句修复新表的分区元数据。

1. CREATE TABLE new_table LIKE old_table;

2. 使用hadoop fs -cp 命令，把old_table对应的HDFS目录的文件夹全部拷贝到new_table对应的HDFS目录下；

3. 使用MSCK REPAIR TABLE new_table;修复新表的分区元数据；

 

Hive的基本操作之数据导入表
QYHuiiQ
04-21 7280
进入所要导数据的表所在的库： hive> select current_database(); OK test2 建表 hive> create table test_user( > id int, > name string > ) > row format delimited > fields terminated by ',' #以逗号作为列的分隔 > lines termin
HBase与Hive集成：实现SQL查询HBase数据
操作系统内核探秘的博客
09-17 825
你有没有过这样的困惑？用HBase存了大量用户行为数据（比如点击、浏览），想统计"上周年龄18-25岁用户的点击量"，但HBase的Shell命令只能一行行查，根本搞不定复杂统计；用Hive写SQL很顺手，但Hive的表存在HDFS里，实时写入速度慢，没法存动态变化的数据。我们的目标：把HBase的"实时存储能力"和Hive的"SQL分析能力"结合起来——让HBase负责"存数据"，Hive负责"查数据"，用最熟悉的SQL语句从HBase里捞出想要的结果。
hive中快速对表结构数据进行复制
liu812769634的博客
05-13 6549
1. CREATE TABLE new_table LIKE old_table; 2. 使用hadoop fs -cp 命令，把old_table对应的HDFS目录的文件夹全部拷贝到new_table对应的HDFS目录下； 3. 使用MSCK REPAIR TABLE new_table;修复新表的分区元数据；
hive分区表快速复制
BabyFish13
01-19 1369
1、快速建表 drop table if exists dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian; create table dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian like dwt.dwt_activity_auction_house_activity_sale_full_1d; 2、查看复制好的表结构 hi
Hive中怎么快速复制分区表
小白白的博客
07-22 2472
（作者：陈玓玏 data-master） 我们在hive中操作底层表时，经常会在临时库中做一些测试，然后再把一些测试过程中产生的需要长期保留的结果固化到线上库中。或者是在进行数据库的大清理时，产生大量数据迁移的需求，这时候我们需要知道怎么样迁移hive表。 举个栗子，比如我现在要将表A迁移为表B， 以下步骤： 建立一个结构相同的表； create table tmp.B like tmp.A; 这样我们就建立了一个和表A结构完全一模一样的表B，但是里头是没人任务数据的，因为create like只复制
hive复制表结构
小白学编程
05-09 4718
1、复制非分区表结构 CREATE TABLE bigdata17_new AS SELECT * FROM bigdata17_old; 2、复制分区表结构 CREATE TABLE bigdata17_new like bigdata17_old;
hive:分桶表和分区表的区别, 分桶表,抽样查询
weixin_40121264的博客
02-16 1281
load的本质是把文件复制再上传>>没有经过map reduce>>数据没有进行拆分>>解决: 使用insert into , 写20个insert 非常不方便>> 创建一个表, 把数据放到表里, 再用insert into。如果把A表B表做成分桶表,按照id分成2个桶, 那么A表和B表分别产生了0号桶和1号桶, 现在A表和B表连接只需要交互50次,即0号桶和0号桶交互(25), 1号桶和1号桶交互。余数为2进2号桶...从2号桶开始抽, 抽取桶的总数=桶的总数/y=4/4=1,即只抽1个桶。
ClickHouse 与 Hive 对比：大数据批处理的优劣分析
最新发布
AI算力网络与通信的博客
10-03 929
在大数据时代，批处理仍是企业处理大规模离线数据的核心场景（如 ETL、历史数据分析、用户画像构建）。ClickHouse（Yandex 开源的列式 OLAP 数据库）与 Hive（Facebook 开源的 Hadoop 生态数据仓库）是两类典型工具，但二者的设计目标、技术架构与适用场景存在本质差异。本文从第一性原理出发，系统拆解两者的理论基础、架构设计、实现机制与实践价值，通过量化对比（如查询延迟、吞吐量）、案例分析（如电商离线 ETL 与实时 Dashboard）与未来演化预测，为企业选择批处理工具提供。
Hive表基本操作_1
分享~
05-14 912
摘要：内部表 外部表 数据导入导出 分区表
hive 表的复制
Deegue
02-01 851
1、首先需要明确分区表和非分区表 可以通过查看建表信息命令： show create table 表名; 查看是否有partition 分区信息。 2、非分区表的复制 将表t_temp复制到新建表t_copy: create table t_copy as select * from t_temp; 3、分区表的复制 分区表如
hive复制表结构和数据的方法
TriumPhSk的博客
12-31 3101
hive 表复制
Hive 两个分区表之间的数据复制
qq_38151907的博客
02-01 791
Hive 两个分区表之间的数据复制
hive中复制（备份）一张表的两种方式
m0_38109926的博客
03-23 8408
hive中复制（备份）一张表的两种方式 第一种种方式虽然可以复制表字段、表数据 ，但是表属性会发生改变 create table if not exists a_tableNMm as select * from b_tabNm 第二种 建表语句会完全相同，再加载数据。 create table if not exists a like b insert into a select * from b ...
Hive中如何快速的复制一张分区表（包括数据）
什么最重要？算法！！
05-01 7034
转载网址：http://lxw1234.com/archives/2015/09/484.htm
hive数据导入导出
eyexin2018的博客
05-06 3579
---------------数据导入导出------------------------------ 创建表： CREATE TABLE IF NOT EXISTS userses( name string, sex string ) row format delimited fields terminated by'\t'; CREATE TABLE IF NOT EXISTS user_tmp( name string, sex string ) partitioned by(age int) ro
保存Hive查询结果的方法 insert overwrite 用法
qq5132834的专栏
08-12 3675
转自：https://www.cnblogs.com/Allen-rg/p/9295615.html 很多时候，我们需要将Hive的查询（select）结果保存起来，方便进一步处理或查看。 在Hive里面提供了不同的方式来保存查询结果，在这里做下总结： 一、保存结果到本地 方法1：调用hive标准输出，将查询结果写到指定的文件中 这个方法最为常见，笔者也经常使用。sql的查询结果将直接保存到/tmp/out.txt中： 1 $ hive -e"select user.
hivesql
wanquan2001的博客
11-03 2959
13485646546
复制Hive表结构和数据的方法
u011390757的博客
09-06 4563
在使用Hive的过程中，复制表结构和数据是很常用的操作，本文介绍两种复制表结构和数据的方法。 1、复制非分区表表结构和数据 Hive集群中原本有一张bigdata17_old表，通过下面的SQL语句可以将bigdata17_old的表结构和数据复制到bigdata17_new表： CREATE TABLE bigdata17_new AS SELECT * FROM bigdata17_old; 如果是分区表，则必须使用like关键字复制表结构，包括分区，然后用insert语句将老表的数据插入新表中。 2
Hive中快速复制一张分区表的结构和数据
fuyun6363的博客
01-30 7621
首先，来回顾下在hive中创建表的三种方式： 直接创建表：create table table_name (column1 type1, column2 type2, …) 创建新表只复制旧表的结构：create table new_table_name like select * from old_table_name 创建新表复制旧表的结构和数据：create table new_table_...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值