使用distcp在hadoop集群之间拷贝文件w

最新推荐文章于 2023-03-16 17:13:53 发布
原创 最新推荐文章于 2023-03-16 17:13:53 发布 · 1.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop集群

本文记录了一次从版本为0.20.2-cdh3u4的Zeus集群向版本为2.3.0-cdh5.0.0的晨曦集群迁移文件的过程。面对迁移难题，最终通过使用特定的Hadoop distcp命令成功完成任务。

今天需要用版本为 0.20.2-cdh3u4的Zeus集群上拷贝文件到版本为2.3.0-cdh5.0.0的晨曦集群上。怎么鼓捣不行。后来用了下面的命令行了。

hadoop distcp hftp://rsync.console01.zeus.hadoop.ctc.sogou-op.org:50070/user/webrank/whitelist/ /user/webrank/luliujie/whitelist/

真是奇怪了。

Hadoop distcp 用法/附避坑指南
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
05-13 3527
distcp作用是从hdfs复制一个或多个数据文件或数据目录到一个指定目录下。会启动Map任务去复制，不会启动Reduce任务。 语法： $ hadoop distcp 配置参数(-pt -overwrite等) hdfs:......源表1/dt=xxxx/* hdfs:......源表2/dt=xxxx/* hdfs:......目的表/dt=xxxx $ hive -e "select * from 目的表 where dt = 'xxxx'" 以上命令是把源表1和源表2的dt=x
Hadoop 跨集群复制文件
勤能补拙
08-17 2225
hadoop distcp -pbc hdfs://namenode1/test hdfs://namenode2/test如果报用户权限写入被拒绝，切换到hdfs
Hadoop将本地文件复制到Hadoop文件系统
weixin_30920513的博客
06-15 351
代码： package com.hadoop; import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import org.apache...
【原创】一个复制本地文件到Hadoop文件系统的实例
weixin_30871293的博客
11-16 193
import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; ...
两个集群之间拷贝数据
邂逅星空
12-24 4400
从集群A拷贝到集群B。 两个集群之间是通过host通信，所以首先要在执行拷贝动作的服务器中配置另一个集群的host，即： 在集群A中执行拷贝动作，则将集群B的host配置到集群A中； 在集群B中执行拷贝动作，则将集群A的host配置到集群B中。 如下所示： hadoop fs -cp hdfs://hadoop-test-master.360buy.com:8020/user/jdreb
hadoop distcp
02-05
distcp一般用于在两个HDFS集群中传输数据,如果集群在hadoop的同一版本上运行，就适合使用hdfs方案： % hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar
一篇文章彻底掌握 HDFS 跨集群跨版本数据同步工具 hadoop disctp
明哥的IT随笔
11-12 7082
大家好，我是明哥！最近有小伙伴问到 hadoop distcp 的使用，对其中的一些细节和容易踩的坑不是很清楚，所以今天我们来看下 hadoop distcp 的原理，细节和容易踩的坑。1...
Hadoop数据迁移工具DistCp
L, there!
07-05 2066
最近需要做两个集群之间的数据迁移，这里记录一下DistCp用法。 官方说明 1. 概述 DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 DistCp可以在千兆网络下实现TB/小时级别数据拷贝，对于大数据环境的迁移效率很高。 注意：需要源HDFS集群的/etc/hosts中添加目标HDFS集...
【Hadoop-Distcp】通过Distcp的方式迁移Hive中的数据至存储对象
weixin_53543905的博客
03-16 1796
将 1000GB 的文件复制到一个由 100 个节点组成的集群，一共分配 2000 个 map 任务（每个节点 20 个 map 任务）所以每个map任务平均复制 512MB 数据。如果数据非常大则有必要限制 map 的数量进而限制带宽和集群的使用（默认情况下，每个集群节点最多分配20个map任务）常规情况下，每个 map 至少复制256MB数据（除非输入的总数据量较少，否则一个 map 就可以完成所有的复制）通过对 distcp 指定 -m 参数，可以减少分配的map任务数。通过查看表详细信息的方式。
cdh集群数据同步到cdp集群-distcp
cclovezbf的博客
04-02 2866
照例先上官网地址 https://hadoop.apache.org/docs/r3.2.2/hadoop-distcp/DistCp.htmlz 再上百度地址 hadoop之 distcp（分布式拷贝） - 张冲andy - 博客园 遇到的问题 hadoop集群传输（kerberos、非kerberos、kerberos与非kerbers）_大D饲养员的博客-优快云博客_kerberos集群distcphadoop集群传输（kerberos、非kerberos、kerberos与非kerber
Hadoop distcp命令（一）
热门推荐
IronWring_Fly的博客
10-09 1万+
因为工作中涉及到了不同集群之间的数据拷贝问题，所以翻看了官方文档，为了能更好的吸收，特此将文档翻译如下。 distcp 分布式拷贝 一、总览 DistCp （分布式拷贝）是一个用来进行数据拷贝的工具，不同的是，这个命令通常是在大规模集群内部和大规模集群之间使用。DistCp命令的拷贝过程本质依然是MapReduce任务，它通过MR的方式来实现拷贝过程中的数据分发、错误处理以及报告。 该命令将文件和目录的列表作为map任务的输入，每个map任务都会复制原列表中指定路径下的文件。 早期版本的DistCp在用法、
Hadoop DistCp
weixin_30608131的博客
03-29 400
概述 DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。 这篇文档会为常用DistCp操作提供指南并阐述它的工作模型。 使用方法 ...
hadoop集群之间的文件拷贝——distcp
Lenskit
06-22 5623
之前部门迁移hadoop，涉及到hive表的重建，以及hdfs上文件的迁移，还有oozie任务的修改。     hive重建表比较简单，首先show create table tablename;然后把建表语句拷贝下来即可，这里要注意的是，最好把stored as XXX语句也加上。一开始我没加，还出了错，因为两个hadoop集群的hive建表时的默认的存储格式不一致。     hdfs的数据
HDFS——如何将文件从HDFS复制到本地
qiezikuaichuan的专栏
08-26 5987
下面两个命令是把文件从HDFS上下载到本地的命令。 get 使用方法：Hadoop fs -get [-ignorecrc] [-crc] 复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。 示例： hadoop fs -get /user/hadoop/file localfile hadoo
[大数据]本地文件拷贝到hdfs
1.02^365=1377.41
03-30 1万+
创建文件夹： hadoop fs -mkdir /work 拷贝： hadoop fs -put /Users/yp/Documents/test.txt /work 打开http://localhost:50070/： Utilities－>browse the file system,可以看到新建的文件夹： 点击文件夹，就可以看到新上传的文件：
hadoop distcp使用
weixin_30551963的博客
05-20 975
概述 distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。 这篇文档会为常用distcp操作提供指南并阐述它的工作模型。 ...
使用hadoop distcp从ftp拷贝文件到hdfs
FIGHT_ANGEL的专栏
07-24 6504
distcp从ftp到hdfs拷贝文件： hadoop distcp ftp://fptuser:ftppassword@host/ftp/path/ hdfs://node:port1/hdfs/path/ ============= example================ hdfs目录：hdfs dfs -ls /user/wanghc ftp文件目录：/roo
在hadoop中不同集群中的distcp
最新发布
07-30
Hadoop DistCP 是一个用于在 Hadoop 集群之间或同一集群内进行大规模数据复制的工具。它通过 MapReduce 实现分布式拷贝，支持错误处理、恢复机制和进度报告，非常适合处理大规模数据集的迁移任务。 ### DistCP 的基本使用方法 DistCP 的基本命令格式如下： ```bash hadoop distcp <源路径> <目标路径> ``` 如果需要在不同集群之间复制数据，源路径和目标路径需要指定完整的 HDFS URI，例如： ```bash hadoop distcp hdfs://source-cluster-namenode:9000/path/to/source hdfs://target-cluster-namenode:9000/path/to/target ``` ### 常用选项 DistCP 提供了一些常用选项来增强其功能，以下是一些常见的命令行参数： - **`-update`**：仅复制源路径中比目标路径新的文件，或目标路径中不存在的文件。 - **`-delete`**：删除目标路径中存在但源路径中不存在的文件。 - **`-p`**：保留文件属性，如权限、时间戳等。 - **`-m`**：指定并发的 map 任务数量，用于控制并行度（例如 `-m 10` 表示最多使用 10 个 map 任务）。 例如，以下命令会使用 `update` 和 `delete` 功能，并保留文件属性，同时指定 20 个 map 任务： ```bash hadoop distcp -update -delete -p -m 20 hdfs://source-cluster-namenode:9000/path/to/source hdfs://target-cluster-namenode:9000/path/to/target ``` ### 网络和权限配置 在跨集群复制数据时，确保源集群和目标集群之间的网络是连通的，特别是 HDFS 的 NameNode 端口（如 9000）需要开放访问权限。可以使用 `nc` 命令检查端口的连通性： ```bash nc -vz source-cluster-namenode 9000 nc -vz target-cluster-namenode 9000 ``` 此外，确保运行 DistCP 命令的用户在源集群和目标集群中具有相应的权限，能够读取源路径和写入目标路径。 ### DistCP 的执行机制 DistCP 本质上是一个 MapReduce 作业，它将源路径下的文件列表作为输入，并将每个文件的复制任务分配给不同的 map 任务。由于其分布式特性，DistCP 能够高效地处理大规模数据集。在执行过程中，DistCP 会生成详细的日志，用于跟踪任务进度和排查问题。 ### 性能优化 为了提高 DistCP 的性能，可以考虑以下优化措施： - **调整 map 任务数量**：通过 `-m` 参数增加 map 任务的数量，以提高并发性。 - **压缩数据传输**：启用压缩功能减少网络带宽的使用。 - **避免不必要的复制**：使用 `-update` 和 `-delete` 参数减少需要复制的数据量。 - **分批次执行**：对于超大规模数据集，可以分批次执行 DistCP，避免单次任务过于庞大。 ### 示例：跨集群复制数据 假设需要将源集群 `hdfs://192.168.1.100:9000` 上的 `/data_group/adv/day=20170116` 目录复制到目标集群 `hdfs://172.21.2.200:9000` 上的相同路径，可以使用以下命令： ```bash hadoop distcp -update -delete -p -m 20 hdfs://192.168.1.100:9000/data_group/adv/day=20170116 hdfs://172.21.2.200:9000/data_group/adv/day=20170116 ``` ### 注意事项 - **数据一致性**：DistCP 不会自动处理源路径在复制过程中发生变化的情况。如果源数据在复制期间被修改，可能会导致目标数据不一致。 - **资源占用**：DistCP 是资源密集型操作，可能会影响集群的其他任务。建议在低峰期执行。 - **日志分析**：DistCP 会生成详细的日志，建议在任务完成后检查日志以确认是否成功完成。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值