hadoop 集群间数据迁移

最新推荐文章于 2024-06-25 10:52:30 发布

原创最新推荐文章于 2024-06-25 10:52:30 发布 · 284 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

hadoop 同时被 2 个专栏收录

8 篇文章

订阅专栏

hdfs

2 篇文章

订阅专栏

本文详细介绍了如何修改HDFS路径为指定目录，并通过一系列步骤确保Hadoop集群内各节点间的高效数据迁移及元数据的正确写入。同时，文章强调了在配置Hadoop相关目录权限时，确保不同节点之间的兼容性和安全性的重要性，特别是针对hive的元数据存储。通过实施这些策略，可以显著提升Hadoop集群的整体性能。

将HDFS的路径hadoop.tmp.dir修改

<property>
	 <name>hadoop.tmp.dir</name>
	 <value>/home/tmp</value>
</property>

num=8
slave=lenovo
#for i in {1..10};do
for((i=1;i<=num;i++)); do
  host=$slave${i}
  echo "开始安装${host}..."
 
  echo "拷贝几个配置文件"
  #scp  /etc/hosts  root@${host}:/etc

  scp /usr/local/hadoop/conf/core-site.xml  hadoop@${host}:/usr/local/hadoop/conf
 
  scp 4.sh root@${host}:/tmp/4.sh
  ssh root@${host} sh /tmp/4.sh

  echo "安装${host}完毕"
  
done

echo "创建HDFS的目录"

mv  /home/hadoop/tmp /home

#很关键
ln -s /home/tmp /home/hadoop/tmp


echo "将hadoop相关目录权限下放给用户hadoop"
chown -R hadoop:hadoop /home/tmp
chown -R hadoop:hadoop /home/hadoop/tmp
#slave上的权限只能是755，而master上的权限要是777，这样才能保证hive可以正常写入元数据。
chmod -R 755 /home/tmp
rm -rf /usr/local/hadoop/logs/*

参考文档