linux新机器做完raid相关盘后，hadoop的相关设置

原创于 2020-03-20 14:22:33 发布 · 209 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #linux #大数据

hadoop 专栏收录该内容

5 篇文章

订阅专栏

本文详细记录了在Linux环境下，使用Hadoop用户通过scp命令跨机器传输Hadoop压缩包，并将其解压至目标目录的过程。同时，文章还介绍了如何通过chown命令调整文件权限，确保Hadoop用户能够正确访问数据盘。此外，还提供了修改Hadoop配置文件的具体步骤，包括设置dfs.datanode.data.dir参数，以指定数据节点的存储路径。

PS：（raid做得系统，Hadoop存放数据的盘不做raid，普通盘）
刚才在192（Linux）机器上操作如下：
0：先定hadoop服务
1：使用root用户登录然后将新增的几个盘的目录设置给hadoop用户使用如下命令，使用root用户执行
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /data1
chown -R hadoop:hadoop /data2
2：然后将191上面的hadoop基础文件压缩包弄到192上面登录191上面进行操作使用hadoop用户操作
scp /data/BigData_App/hadoop.tar.gz hadoop@48.1.32.192:/data/BigData_App/hadoop.tar.gz
scp /data/BigData_App/hadoop.tar.gz hadoop@48.1.32.192:/data1/BigData_App/hadoop.tar.gz
scp /data/BigData_App/hadoop.tar.gz hadoop@48.1.32.192:/data2/BigData_App/hadoop.tar.gz
然后使用hadoop到192机器上对hadoop.tar.gz进行解压
3：然后修改hadoop的配置文件/hadoop/etc/hadoop/hdfs-site.xml（cd home/hadoop/hadoop/etc/hadoop/），dfs.datanode.data.dir对应的下面的value值，使用逗号隔开
dfs.datanode.data.dir
/data/BigData_App/hadoop/hdata,/data1/BigData_App/hadoop/hdata,/data2/BigData_App/hadoop/hdata
4：重启hadoop服务；