hdfs文件复制方法

菜鸟冲锋号

于 2022-03-15 09:49:53 发布

阅读量4.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：数据仓库文章标签： hdfs hadoop

本文链接：https://blog.youkuaiyun.com/lxp90/article/details/123494627

数据仓库专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了如何使用HDFS进行文件复制，包括表结构的迁移、文件数据的拷贝，以及表元数据的修复。随后展示了如何在新的数据库中加载和验证数据，涉及创建表、本地加载和查询操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hdfs文件复制，并拷贝修复数据

-- 1、复制表结构
create table  t1 like t2;
-- 2、复制文件数据
hadoop distcp -update -skipcrccheck -m 300 hdfs://ns1/warehouse/ods.db/t2 hdfs://ns1/warehouse/bkdata.db/t1
-- 3、修复表元数据
msck repair table t1

hdfs 加载数据

-- 1、创建新表
use db1;
create table db1.test_02_20210223(
name string,
age integer) 
row format delimited 
fields terminated by '\t' 
lines terminated by '\n' 
stored as textfile 
-- 2、load数据
load data local INPATH '/soft/data/data1.txt' INTO TABLE db1.test_02_20210223 ;
-- 3、 查看加载结果
select * from db1.test_02_20210223