hive集群的迁移及遇到的相关问题

最新推荐文章于 2022-07-06 16:51:52 发布

原创

最新推荐文章于 2022-07-06 16:51:52 发布 · 655 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive

本文详细记录了Hive集群从一个服务器迁移到另一个服务器的过程，分享了实际操作中简便易行的步骤，包括数据迁移、配置更新等关键环节，同时探讨了可能遇到的问题及解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive集群的迁移，从一个服务器迁移到另一个服务器，网上的方法有很多，经本人实际操作，感觉好上手操作的，步骤如下：

 
 1. 设置默认需要导出的hive数据库 

 
 vi ~/.hiverc 

 
 use xx数据库; 

 
 2. 创建数据临时目录 

 
 hdfs dfs -mkdir /tmp/hive-export 

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

墨小月大大

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

hive和impala操作parquet文件timestamp带来的困扰

bsf5521的博客

05-24

3627

前言：准备使用hive作数据仓库，因历史遗留问题，原先遗留的数据处理都是impala处理的，数据文件是parquet文件，因本身集群资源少，而处理的文件很大，准备使用hive离线分析将小文件推送到db或者impala进行展示操作。准备：搭建cdh5.9，将原有的数据从一个集群迁移到现有的集群。对数据按照天进行动态分区，分区数据仍然使用parquet格式。问题：因分区字段为timestamp

Hadoop数据传输：如何将数据移入和移出Hadoop？

cuizhu6079的博客

10-08

1827

企业在项目中完全使用Hadoop之前，数据移动是必须解决的事情之一。如何将数千台主机日志数据放入Hadoop?从关系型或者No/NewSQL系统以及Hadoop中获取数据的最有效方法是什么?如何将Hadoop中生成的Luce...

参与评论您还未登录，请先登录后发表或查看评论

在hive中直接对timestamp类型取max报错

weixin_30640769的博客

04-05

971

之前直接对timestamp类型做max操作， select id,max(updatetime) updatetime from his.tag group by id; 结果查询的结果有的显示为1970-01-01，如下图：解决办法：先将timestamp类型用unix_timestamp函数转换成bigint 然后进行取max操作，最后再将结果通过from_un...

hive：从一台机器上的表数据导入到另一台机器的hive中的某张表（机器不互通）

不花的花和尚的博客

01-18

1697

先在第一台机器执行： 1.创建目录 root/dirTmp 2.导出数据 INSERT OVERWRITE LOCAL DIRECTORY '/root/dirTmp' ROW FORMAT DELIMITED FIELDS TERMINATED by ',' select * from rencai_test limit 10000; 则创建的目录下已经有了数据： 3.此文件拷贝...

MySQL将数据库从一台服务器备份到另一台服务器

Hi_alan的博客

07-12

8425

我们在做项目的时候可能会遇到这种需求要将之前的服务器上的数据备份到一个新的数据库。我就遇到这种情况，如果将远程服务器的数据库备份到本地然后又从本地上传到另一台服务器，这样显然是不行的，因为一个项目的数据库是很大的，这样要弄到猴年马月。有一个简单的方法就是使用scp命令直接将data目录复制到另一台。 scp命令的实际应用概述： (1) 复制文件：命令格式： scp local_file remo...

Hive新老集群数据迁移方案

qq_21149901的博客

07-06

989

Hive新老集群数据迁移方案

Hive跨集群和版本迁移

L, there!

07-05

1525

公司重新搭建CDH6.0.1，并把旧集群Hive1.1迁移新集群Hive2.1，记录一下过程。步骤：目录步骤： 1. 迁移Hive数据和MySQL中的matastore 1. 迁移Hive数据至新集群，在新集群上执行 2. 在源集群上MySQL导出Hive metastore 3. 在新集群使用Hive用户导入metastore 4. 升级Hive库 5. 修改meta...

集群间hive数仓迁移

保持开放的心态，坚定技术信仰，持之以恒，与日俱进！

06-18

503

方式一：(此方法需要建库建表) 第一步：建库建表在原集群hive上查看迁移表的建表语句及所在库，然后在新集群hive上建库建表； show create table tb_name; create database db_name; create table tb_name ..... 第二步：转移数据文件到新集群；在旧集群中下载数据到本地 hadoop fs-get /user/hive/warehouse/dc_ods.db/tb_name /home/zhang.xl/t..

hive 跨集群迁移

然月枕流君

01-20

7129

hive跨集群迁移数据工作中相对比较常见的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等.1. 迁移hdfs数据至新集群hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/user/risk hdfs://xxx.xxx.xxx.xxx:8020/user/risk-skipcrccheck 因

hadoop迁移数据应用实例

search_forever的博客

01-04

1555

项目开发中hadoop一直装在虚拟机上，最近要迁移到服务器上。记录下迁移过程。一、为虚拟机添加一块新的硬盘虚拟机的初始硬盘只有30G，容不开要导出的数据。两种方式，一是给虚拟机扩容；二是为虚拟机添加一块新的硬盘。这里采取第二种方式。 1、添加虚拟硬盘至此，添加硬盘成功。 2、将硬盘分区要使用一块新的硬盘，需要先将硬盘分区，然后挂在文件系统上才能使用。

Hadoop迁移Namenode

depe16540458的博客

03-19

217

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn 小站博文地址：Hadoop迁移Namenode 一.前提及方案操作版本:社区版 Hadoop-1.0.3，其他版本不保证之前HBase没有考虑压缩，经过一段时间的研究和测试，打算在HBase中全面采用snappy压缩库。但是在节点上配置snappy时，发现其要求glibc版本在2.5+，而当前系统Cen...

EMR(hadoop/hbase/phoenix)夸集群数据迁移采坑记录

weixin_34387468的博客

06-25

301

一、概述： Hbase(Phoenix)数据迁移方案主要分为 Hadoop层面(distcp)、及Hbase层面(copyTable、export/import、snapshot) 二、以下针对distcp方案详细说明(以亲测阿里EMR为例)： step1：首先打通两个集群网络(建议内网)，新建一个tmp安全组，将两个集群的所有ECS都加入进...

Hadoop NameNode、DataNode热迁移方案

Viking的博客

03-12

1605

面试：你懂什么是分布式系统吗？Redis分布式锁都不会？>>> 最近我们生产环境的Hadoop集群需要调整几台服务器，具体转换关系如下： datanode92.bi -> namenode02.bi namenode01.bi（old) -> datanode19.bi namenode02.bi -> datanode20.bi 最终目标为： ...

将一台服务器上的文件放在另一台服务器的hdfs上

Starry_Xiao

09-14

2854

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; import org.springframework.stereotype.Servic

Hive将有分区的数据表转移到另一个数据库中

DoNotTouchMyCode的博客

02-11

4711

最近遇到了一个问题，就是因为资源原因，需要把存储时间较长的数据转移到另外一个数据库中，操作其实很简单。假设我们要将A库里面的employee_table转移到B库里面的同框架employee_record表中，首先，在B库里面建立一个和A.employee_table一样的表，然后用一下语句： hive -e "alter table B.employee_record add partition (dt='${date}') location “此处为A.employee_table在dt=

Hive 复制表结构、表数据以及数据库迁移

qq_40771567的博客

11-24

4362

1、复制表或者迁移数据库 CREATE TABLE new_table AS SELECT * FROM old_table; 2、复制数据查看老表的hdfs文件位置（show create table xxx;） old_file_path 查看新表的hdfs文件位置 new_file_path; hdfs复制：hadoop fs -cpold_file_pathnew_file_path； 3、修复元数据 MSCK REPAIR TABLE new_table;修复新表的分区元数据..

推荐升级四部曲之 CM 升级，收藏了！

DataFlow范式

04-28

1064

概要笔者最近在研究 CDH 大版本升级（CDH 5.16.2 -> CDH 6.3.3）的细节内容，涉及到每个组件的方方面面，确保升级过程中出现各种意外情况能够自主可控，降低未来生...

hive数据迁移解决表同步问题

weixin_42806885的博客

01-28

987

Hive数据迁移方案：先通过shell脚本将集群1中hive的数据导入到hdfs中将集群1的hdfs中的数据下载在本地将集群1的本地数据发送到集群2的本地上；将集群2的本地的数据导入到集群2的hdfs上；将集群的hdfs上的数据导入到hive中。步骤： 1.对集群1节点与集群2节点进行免密登录 [root@节点1 .ssh]# ssh-keygen -t rsa [root@节点1 .ssh]# ssh-copy-id 节点2地址 [root@ 节点2 .ssh]# ssh..

CDH之JDK 版本升级(Open JDK1.8)和cdh升级

Yore - Home

06-12

4286

本文主要接受了CDH 中 JDK 的升级，主要以Open JDK 为例。常见的 JDK 有 Oracle JDK、和 Open JDK，而常用到的 Open JDK有 Linux yum 原版的 Open JDK、Zulu JDK、GraalVM CE JDK。之后又介绍 CDH 的升级，以cdh 6.2.0 为例，升级到 6.3.1 ，这种方式也适用于行进的其它版本。

hive集群平滑迁移