hdfs文件复制方法

最新推荐文章于 2023-04-04 17:25:04 发布

原创最新推荐文章于 2023-04-04 17:25:04 发布 · 4.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #hadoop

数据仓库专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了如何使用HDFS进行文件复制，包括表结构的迁移、文件数据的拷贝，以及表元数据的修复。随后展示了如何在新的数据库中加载和验证数据，涉及创建表、本地加载和查询操作。

hdfs文件复制，并拷贝修复数据

-- 1、复制表结构
create table  t1 like t2;
-- 2、复制文件数据
hadoop distcp -update -skipcrccheck -m 300 hdfs://ns1/warehouse/ods.db/t2 hdfs://ns1/warehouse/bkdata.db/t1
-- 3、修复表元数据
msck repair table t1

hdfs 加载数据

-- 1、创建新表
use db1;
create table db1.test_02_20210223(
name string,
age integer) 
row format delimited 
fields terminated by '\t' 
lines terminated by '\n' 
stored as textfile 
-- 2、load数据
load data local INPATH '/soft/data/data1.txt' INTO TABLE db1.test_02_20210223 ;
-- 3、 查看加载结果
select * from db1.test_02_20210223