cdh集群数据同步到cdp集群-distcp

原创 已于 2022-04-08 10:20:21 修改 · 2.8k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop distcp

于 2022-04-02 11:59:16 首次发布
本文详细记录了在两个启用Kerberos认证的Hadoop集群间使用DistCp进行数据复制的过程，包括配置、命令选项以及遇到的覆盖和更新问题。作者通过实验展示了DistCp的各种模式，如不覆盖、追加、更新和删除，并分析了它们的行为差异，为读者提供了一手的操作经验。

照例先上官网地址

 

https://hadoop.apache.org/docs/r3.2.2/hadoop-distcp/DistCp.htmlz

再上百度地址

hadoop之 distcp（分布式拷贝） - 张冲andy - 博客园

遇到的问题

hadoop集群传输（kerberos、非kerberos、kerberos与非kerbers）_大D饲养员的博客-优快云博客_kerberos集群distcphadoop集群传输（kerberos、非kerberos、kerberos与非kerbers）_大D饲养员的博客-优快云博客_kerberos集群distcp

 上面都是学习的属于有没有都可以的 

这篇属于干货。。

配置两个Hadoop集群Kerberos认证跨域互信 - XIAO的博客 - 博客园

正题：

目前CDH集群都kerberos认证，然后又搭建了一套CDP集群，同时也认证了kerberos。

那么需要我在cdh集群上能够访问cdp集群。运维根据上篇文章直接配好了。。

 注意事项如果cdp集群开启了ha，hdfs dfs -ls / 只能访问活动点

最低0.47元/天 解锁文章
CDH 集群定期清理指南
萌兔兔MMQ！！
08-15 953
可以在CM里启动（hdfs-balancer-示例-操作-重新平衡），也可以命令启动（hadoop balancer [-threshold ]）。解决方法一：主要清理cloudera-host-monitor 、cloudera-service-monitor。下面是我写的一个shell脚本，可以查看所有目录和文件的大小，将大的无用文件删除。例：subject_ts、ts_subject、ts等带有ts的目录（慎重啊）例：subject_ts、ts_subject、ts等带有ts的目录。...
CDH集群间数据同步 distcp
ace1832的博客
05-27 1230
首先要确定两个集群的namenode（活动），可以登录cm-集群-hdfs-实例查看，确定namenode后再确定相应端口，可以在cm中hdfs主机-资源界面查看（一般为8020），确定完两个集群的参数后再确定下面的配置 1、两个集群的所有节点都互通/etc/hosts文件（可选，没有配置hosts可以使用ip） 2、数据源集群主节点到老集群各个节点的ssh免密登陆 3、两个集群版本是否一致 4、运行命令的用户有目标集群仓库目录的权限 cdh版本相同使用命令hadoop distcp hdfs://i.
chunjun-1.12 在两个CDH（kerberos认证）之间同步数配置
小明
07-05 605
chunjun是以前flinkx项目，现在改名chunjun，具体见 chunjun官网 最近在项目中遇到同步两个CDH数据文件的需求，调研了一圈，发现datax不支持两个cdh同时进行kerberos认证，因此切换到chunjun，chunjun在kerberos认证的配置这块，官网也没有详细的介绍案例，在查看源代码后，确定了配置项及各配置项的值，供大家参考...
如何迁移 CDH/HDP 到 CDP
weixin_45906054的博客
03-24 2557
摘要：本文整理自 Cloudera 生态资深解决方案工程师王雪峰，分享的《如何迁移 CDH/HDP 到 CDP 》，主要分为 CDP 升级概述、迁移升级指南两个部分。视频：https://developer.aliyun.com/live/248385Tips：点击「阅读原文」有惊喜！一、CDP 升级概述在旧 CDH/HDP 升级到新 CDP 的过程中，主要有两种原地升级...
读取parquet_0805-CDH5中的Parquet迁移至CDP中兼容性验证
weixin_42105570的博客
12-30 274
文档编写目的因为CDH5中的Parquet版本为1.5，而CDP7中的Parquet版本为1.10，我们在从CDH5升级到CDP7后，无论是原地升级还是迁移升级，都可能会碰到一个问题，以前在CDH5中使用Hive/Impala生成的低版本Parquet文件还能继续在CDP7中使用吗。本文主要描述将CDH5中的Parquet文件传输到CDP7环境中，使用CDP7中的Hive，Impala，Spark...
cdh hive on spark_从CDH升级到CDP私有云之路
weixin_39821189的博客
11-20 480
Cloudera提供了企业数据云，使的公司能够为混合云构建端到端的数据管道，将边缘设备扩展到公有云或私有云，并以集成的安全性和治理作为基础来保护客户的数据。Cloudera发现，客户花了很多年时间在大数据资产上进行投资，并希望通过建立更现代化的架构来利用多种形态，继续在这一投资上继续发展。让我们看一下一位客户的升级过程。背景客户A是一家运行CDH 5.14.2的金融服务公司。他们拥有运行...
CDP cm7-cdh7完整版（离线下载）
最新发布
10-20
在大数据行业中，CDP cm7-cdh7完整版为用户提供了强大的数据处理能力，通过其HDFS组件和Cloudera Manager Server的集成，能够为用户提供高性能的数据存储和集群管理能力。此外，JDK的集成确保了用户在Java平台上进行...
CDP集群安全指南-静态数据加密
罗仲虎的博客
12-31 1183
loudera 支持两种加密组件，这些组件可以组合成独特的解决方案。在选择密钥管理系统（KMS）时，您需要决定哪些组件能够满足企业的密钥管理和加密需求。Ranger 扩展了 Hadoop 原生 KMS 的功能，允许将密钥存储在安全的数据库中。它是一个支持 HDFS TDE（透明数据加密）的密码密钥管理服务，但并非通用密钥管理系统。与 Hadoop KMS 不同，Hadoop KMS 将密钥存储在基于文件的 Java Keystore 中，仅能通过 KeyProvider API 访问。
一篇文章掌握 CDH/CDP 大数据集群的运维和管理 - 附官方94页PPT《Cloudera集群管理》下载链接...
明哥的IT随笔
11-02 2123
1. CDH,HDP 与 CDP大家好，我是明哥！熟悉大数据业界的小伙伴们都知道，Cloudera 在跟HortonWorks 合并后，便推出了新一代大数据平台 CDP，并正在逐步停止原有...
CDH和CDP区别
大连赵哥的博客
08-28 1302
CDH和CDP区别
跨集群数据同步
狂奔的蜗牛
11-30 2185
hive 跨集群数据同步，hadoop distcp实现
CDH/CDP 是什么？
热门推荐
Shockang的博客
07-28 1万+
CDH （ Cloudera Distribution Hadoop ）是 Cloudera 公司提供的包含 Apache Hadoop 及其相关项目的软件发行版本。CDP（Cloudera Data Platform）是 CDH 的继任者。CDP 是面向企业的云计算平台。
原HDP及CDH平台到达CDP的三条线路
ClouderaHadoop的博客
05-13 2636
迁移到公有云（初期投资少） 将数据和元数据复制到公共云； 在CDP公共云上实施新的工作负载或迁移现有的工作负载 创建新的公共云环境，复制数据并逐步移动工作负载最适合： 新的数据和工作负载 云就绪的数据 弹性工作负载 小型集群，运营开销高 过程：设置公共云环境→注册经典集群→识别候选的工作负载→使用Replication Manager迁移工作负载数据和元数据（“突发到云”）→测试并推广到生产 迁移到CDP DC（较高的初始投资） 在本地构建新的CDP数据中心集群； 从现有的经典集群中复制数据和元数据；并迁移
CDH、HDP和CDP傻傻分不清楚
二进制专栏
01-16 1178
实际上 CDH是 Cloudera 公司的代表产品，HDP是 Hortonworks 公司的代表产品。两家公司都是围绕着大数据平台做发行版，他们在2019年1月进行了正式合并，形成了新的 Cloudera 公司。CDP 是原先两个最好的企业级数据分析Q平台 CDH 和 HDP 融合在一起，同时增加一些新的功能，形成的一个新平台。CDH/HDP 这两个产品比他们的公司在市场上更加广为流传。CDH: ClouderaManager 中先创建一个集群，集群里面可以选择使用什么 CDH，付费版的需要上传许可证。
从零自学Hadoop(17)：Hive数据导入导出，集群数据迁移下
01-19 303
阅读目录 序 将查询的结果写入文件系统 集群数据迁移一 集群数据迁移二 系列索引 本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。 文章是哥(mephisto)写的，SourceLink 序 上一篇，我们介绍了Hive的数据多种方式导入，这样我们的Hive就有了数据来源了，...
《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP（2）
张伟的专栏
06-14 1148
CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP（2）《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP（1）
篇五|ClickHouse数据导入(Flink、Spark、Kafka、MySQL、Hive)
jmx_bigdata的博客
11-18 2746
本文分享主要是ClickHouse的数据导入方式，本文主要介绍如何使用Flink、Spark、Kafka、MySQL、Hive将数据导入ClickHouse，具体内容包括： 使用Flink导入数据 使用Spark导入数据 从Kafka中导入数据 从MySQL中导入数据 从Hive中导入数据 使用Flink导入数据 本文介绍使用 flink-jdbc将数据导入ClickHouse，Maven依赖为： <dependency> <groupId>org.apache.fli
从零自学Hadoop(16)：Hive数据导入导出，集群数据迁移上
01-08 269
阅读目录 序 导入文件到Hive 将其他表的查询结果导入表 动态分区插入 将SQL语句的值插入到表中 模拟数据文件下载 系列索引 本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。 文章是哥(mephisto)写的，SourceLink 序 上一篇，我们介绍了Hive的表...
如何迁移HDP2.4中的Hive表到CDP7.1.1
weixin_54707168的博客
01-26 364
随着Hadoop 3.X 版本的发展，Hadoop 2.X 版本即将淘汰。我们当前面临着集群升级的问题，在升级过程中，即使使用迁移升级方式工作量非常大，但毫无疑问最稳妥的升级办法。在迁移的过程中，我们首先面对的就是本地的HDFS数据迁移和Hive 表数据迁移，本文主要讲述如何迁移HDP2.4.2 Hive 表和数据到CDP 7.1.1中。 测试环境 1.HDP 版本为2.4.2、Hadoop 版本为2.7.1 、Hive 版本为1.2.1、未启用Kerberos 2.CDP版本为7.1...
MRS集群到CDP集群的hive迁移
07-04
### Hive 数据和作业迁移从 MRS 到 CDP 集群的步骤 Hive 是 Hadoop 生态系统中用于数据仓库的重要工具，支持类 SQL 查询。将 Hive 数据和作业从华为云 MRS（MapReduce Service）集群迁移到 CDP（Cloudera Data ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值