hive数据迁移export表格DistCp问题

Hive大数据迁移策略
最新推荐文章于 2024-01-12 23:19:04 发布
原创 最新推荐文章于 2024-01-12 23:19:04 发布 · 734 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #export

本文探讨了在Hive1.x中遇到的大数据迁移问题，特别是使用export方式迁移时出现的DistCpOption类找不到的错误。提出了两种解决方案：一是通过复制特定的jar包到HiveMetaStore进程所在机器并重启；二是直接复制旧HDFS数据到新HDFS，再通过loaddatainpath方式建立元数据信息。

笔者在hive1.x迁移旧数据到新集群时，使用了export表格的方式，但数据量大的表格会报一个DistCpOption类找不到的错误。探究了一下，数据量大的文件复制时hive会使用distcp的方式，每一个文件会跑一个mr任务，而不是fs -cp的方式，该方式的问题是需要把所有数据都传输到客户端而导致效率比较低。解决该问题有两种思路：

一、直接hadoop环境下的${HADOOP_HOME}/share/hadoop/tools/lib/hadoop-distcp-2.6.0-cdh5.5.0.jar 包复制到hive 的HiveMetaStore进程所在机器的${HIVE_HOME}/lib目录下，然后重启HiveMetaStore进程及客户端进程。

二、直接复制旧hdfs上数据文件到新hdfs上，然后采用load data inpath的方式建立元数据信息。（新旧集群网络不通时，可以省略复制一步）

【Hadoop-Distcp】通过Distcp的方式迁移Hive中的数据至存储对象
weixin_53543905的博客
03-16 1785
将 1000GB 的文件复制到一个由 100 个节点组成的集群，一共分配 2000 个 map 任务（每个节点 20 个 map 任务）所以每个map任务平均复制 512MB 数据。如果数据非常大则有必要限制 map 的数量进而限制带宽和集群的使用（默认情况下，每个集群节点最多分配20个map任务）常规情况下，每个 map 至少复制256MB数据（除非输入的总数据量较少，否则一个 map 就可以完成所有的复制）通过对 distcp 指定 -m 参数，可以减少分配的map任务数。通过查看表详细信息的方式。
CDH不同集群之间hive/impala数据迁移(hadoop distcp)
hcq_lxq的博客
08-20 2002
##get_hive_db_tables.sh #!/bin/bash ##脚本位置 where_src_table_info="/home/hadoopap/test_mv_kd/create_hive_table" ##查询大数据所有的database hive -e " show databases; exit ;" | grep -v default | grep -v test > ${where_src_table_info}/databases.txt if [ ! -d .
Hadoop——集群数据迁移（Hive Export/Import、Hadoop DistCp）
aof
03-30 933
集群版本 源集群: Hadoop-2.7.3、Hive-1.2.1(均为Apache开源版本) 目标集群: Hadoop-2.6.0、Hive-1.1.0(均为CDH-5.15.0版本) 迁移步骤 第一步：Hive export命令导出表到HDFS指定目录 hive -e "export table test.user_info to '/hive_export/test.user_info';...
hive1.2.1 MoveTask报错
刘光华的专栏
10-14 5625
环境：hadoop2.6+hive1.2.1 这个MoveTask错误可能是由于权限引起的（如果启用了hdfs acl）。也可能是其他原因： 任务报错： Moving data to: hdfs://sdf-cluster/user/hive/warehouse/data_tds.db/user-themes-layer-data/20151009/lgenv/cloud/.hive-sta
HIVE数据迁移
peidezhi的专栏
01-02 497
方案一： distcp，速度超快。 1 再旧集群查看数据库表脚本 show create table dbname.tablename; 2 在新集群建库建表 3 老库的hive hdfs目录复制到目标集群 distcp在目标环境执行： hadoop distcp hdfs://sourcenamenode:8020/user/hive/warehouse/ml.db/te...
hive中的外表EXTERNAL TABLE
朝着梦想 渐行前进
05-26 3109
hive中的外表EXTERNAL TABLE
Hive 数据迁移
01-12 833
3、工作路径：cd /usr/local/fqlhadoop/hadoop/bin。2、操作机器：ETL 机器 XX.14.36.216。同步集团的数据到断直连环境。1、环境：断直连模拟环境。
Hive 数据迁移与备份
linzeyu的博客
11-03 8267
迁移类型 同时迁移表及其数据（使用import和export） 分步迁移表和数据 迁移表（show create table <tab_name>） 迁移数据 关联表和数据（msck repair） 迁移步骤 将表和数据从 Hive 导出到 HDFS 将表和数据从 HDFS 导出到本地服务器 将表和数据从本地服务器复制到目标服务器 将表和数据从目标服务器上传到目标 HDFS 将表和数据从目标 HDFS 上传到目标 Hive 库 如果原始 HDFS 和目标 HDFS 集
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者...
hive/spark-sql : Cannot find DistCp
a071800的专栏
05-15 1020
最近发现spark-sql执行insert overwrite等操作时 最后move文件是一个一个的操作，效率较低而且还会存在bug(具体bug其余文章讲解)。因此进行了修改，修改后发现如下报错。 Caused by: java.io.IOException: Cannot find DistCp class package: org.apache.hadoop.tools.DistCp ...
Hive使用过程各种坑
weixin_33827590的博客
11-07 377
2019独角兽企业重金招聘Python工程师标准>>> ...
HDFS数据迁移解决方案之DistCp工具的巧妙使用
热门推荐
走在前往架构师的路上
04-05 2万+
前言在当今每日信息量巨大的社会中,源源不断的数据需要被安全的存储.等到数据的规模越来越大的时候,也许瓶颈就来了,没有存储空间了.这时候怎么办,你也许会说,加机器解决,显然这是一个很简单直接但是又显得有些欠缺思考的办法.无谓的加机器只会带来无限上升的成本消耗,更好的办法应该是做到更加精细化的数据存储与管理,比如说非常典型的冷热数据的存储.对于巨大的长期无用的冷数据而言,应该用性能偏弱,但是磁盘空间富余
Hadoop跨集群数据拷贝工具DISTCP内部源码实现分析
github_zwl的博客
04-07 3149
概述 DISTCP（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具，是Hadoop用户常用的命令之一。它使用Map/Reduce实现大量文件拷贝分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。 DISTCP的源码可以在Hadoo
hadoop distcp 参数调优_Hive高级调优
weixin_39781594的博客
11-19 1014
Hive调优策略Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率。影响Hive效率的不仅仅是数据量过大;数据倾斜、数据冗余、job(小文件多)或I/O过多、MapReduce分配不合理等因素都对Hive的效率有影响。对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。从以下几个方面调优：1、架构调优2、参数调优3、SQL优化架构...
distcp传输文件俩边hdfs的blocksize不同报错
zljzlj1234的博客
12-11 561
distcp 设置-skipcheckcrc -update代码编写如下 val mapper = conf.mapper val bandwidth = conf.bindwidth val writeMode = conf.getWriteMode val sourcePath = conf.readerHdfsPath val targetPath = co
Hive import/export使用总结
浅汐
05-08 1301
应用场景： 数据迁移：Hive中的数据表要迁移到另一套集群上，使用导入导出命令操作 官网语法： EXPORT TABLE tablename [PARTITION (part_column="value"[, ...])] TO 'export_target_path' [ FOR replication('eventid') ] IMPORT [[EXTERNAL] TABLE n...
hive相关报错问题解决办法
austboy123的博客
11-13 9397
1.Unable to determine Hadoop version information. 'hadoop version' returned: 解决办法： 修改bin/hive， #    HADOOP_VERSION=$($HADOOP version | awk '{if (NR == 1) {print $2;}}'); HADOOP_VERSION=$($HADOOP v...
hive distcp数据同步
weixin_30522095的博客
07-25 746
1 -- 同步HDFS数据(shell执行) 2 hadoop distcp \ 3 -Dmapred.job.queue.name=queue_name \ 4 -update \ 5 -skipcrccheck hdfs://hdfs01/user/hive/warehouse/db_name1.db/table_name \ 6 /user/hive/warehouse/...
Hive中的数据迁移--迁移多库数据以及实际遇到的问题解决
Yore - Home
09-04 1万+
Hive的数据迁移其实就是对Hive的数据进行导入导出的操作。如果数据表不是很多，我们可以直接使用Hive SQL来处理，一张一张表的导出，然后在进行导入。   对Hive的数据进行操作，常用的是登陆Hive客户端命令，常用的方式一般有两种，①hive，直接进入；②通过Beeline，在shell中输入beeline，然后连接我们的Hive，输入beeline&gt; !connection ...
hive distcp 数据迁移数据翻倍了
最新发布
08-08
在使用 Hive 和 DistCP 进行数据迁移时，出现数据量翻倍的问题，通常是由于迁移过程中某些配置或操作不当导致的。以下是对该问题的详细分析及解决方法。 ### 数据量翻倍的原因分析 1. **未正确使用 `-update` 参数** 如果在增量迁移时没有正确使用 `-update` 参数，可能会导致源数据中的文件在目标集群上重复写入。DistCP 默认会复制所有文件，即使目标路径中已存在同名文件。使用 `-update` 参数可以确保只复制新增或修改的文件，避免重复复制已存在的文件[^4]。 2. **未启用 CRC 校验或跳过校验不当** 默认情况下，DistCP 会对复制的文件进行 CRC 校验以确保数据一致性。然而，如果使用了 `-skipcrccheck` 参数跳过 CRC 校验，并且在源端文件发生变化的情况下重复执行迁移，可能会导致旧版本文件与新版本文件同时存在于目标路径中，造成数据重复[^1]。 3. **Hive 表结构或分区管理不当** Hive 表的数据通常分布在多个分区目录中。如果迁移时未正确处理分区结构，或在迁移过程中源端新增了分区而目标端未清理旧分区，可能会导致分区目录结构混乱，进而造成数据重复。 4. **未使用 `-i` 参数忽略失败时的重试机制** 如果迁移过程中部分文件复制失败，但未使用 `-i` 参数忽略失败并继续执行，则后续重试可能会导致部分文件被重复复制[^1]。 ### 解决方法 1. **启用 `-update` 参数进行增量同步** 在执行 DistCP 时，应使用 `-update` 参数来确保只更新源端新增或修改的文件，避免重复复制已存在的文件。 示例命令： ```bash hadoop distcp -update -p hdfs://source-cluster/user/hive/warehouse/table hdfs://target-cluster/user/hive/warehouse/table ``` 2. **避免无条件跳过 CRC 校验** 在非停机迁移阶段应避免使用 `-skipcrccheck` 参数，确保数据一致性；在停机补增量数据时再使用该参数加快迁移速度。 3. **确保 Hive 表和分区结构一致性** 在迁移前应确认目标集群的 Hive 表结构与源集群一致，包括分区字段、存储格式、压缩格式等。可以使用 Hive 的 `SHOW CREATE TABLE` 命令进行结构比对。对于分区表，建议在迁移前清理目标端对应分区目录，确保数据不会叠加。 4. **使用 `-i` 参数提升容错能力** 在执行 DistCP 时添加 `-i` 参数，使任务在遇到失败文件时继续执行，避免因部分失败导致任务中断后重试引发重复复制。 5. **迁移后进行数据一致性校验** 可以使用 `hadoop fs -checksum` 或 Hive 的 `COUNT(*)` 查询来验证源端与目标端的数据一致性，确保迁移后数据准确无误[^4]。 ### 示例命令整合 以下是一个推荐的 DistCP 命令示例，适用于增量迁移场景： ```bash hadoop distcp -update -skipcrccheck -i hdfs://source-cluster/user/hive/warehouse/table hdfs://target-cluster/user/hive/warehouse/table ``` 该命令结合了增量更新、跳过 CRC 校验（适用于停机阶段）和忽略失败的能力，适用于离线全量迁移后的增量补数据场景。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值