hadoop完全分布式集群搭建---------这个还不错

最新推荐文章于 2024-08-25 12:13:51 发布

Crazy_Clown

最新推荐文章于 2024-08-25 12:13:51 发布

阅读量428

点赞数 2

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： hadoop完全分布式集群搭建

本文链接：https://blog.youkuaiyun.com/Crazy_Clown/article/details/91819119

大数据专栏收录该内容

11 篇文章

订阅专栏

本文详细介绍了如何搭建Hadoop完全分布式集群，包括多节点虚拟机配置、网络映射测试、免密登录设置、配置信息同步以及HDFS的安装、格式化和启动。最后通过检查Datanode数量验证集群正确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、基础操作

多个节点
（1）需要新建多台虚拟机
（2）配置多个节点（虚拟机）的网络映射，列如：
vim /etc/hosts

注：每一台虚拟机都需要配置多个节点的网络映射
（3）cat /etc/sysconfig/network 查看是否是自己的主机名
测试网络是否通过

	pint www.baidu.com

二、配置信息（同步）

免密登录
在主节点，所有节点执行ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
在node2主节点执行，将node2的公钥加入到其他节点的白名单中（需要输入您的密码）

	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node2
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node3
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node4
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node5

在主节点上配置相关信息

	配置jdk
	export JAVA_HOME=/opt/software/jdk1.8.0_151（你的jdk）
	export PATH=$PATH:$JAVA_HOME/bin 
	
	配置Hadoop中slaves
	内容修改为node3 node4 node5

	配置Hadoop中hdfs-site.xml
	<property>
        <name>dfs.replication</name>
        <value>3</value>
	</property>
	<property>   
 		<name>dfs.namenode.secondary.http-address</name>
    	 <value>node2:50090</value>
	</property>
	
	配置Hadoop中core-site.xml
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node2:9000</value>
	</property>
	<property>
	        <name>hadoop.tmp.dir</name>
	        <value>/var/abc/hadoop/cluster</value>
	</property>

	配置Hadoop中*env.sh结尾的所有有JAVA_HOME的配置文件
	把JAVA_HOME后面换成自己jdk的绝对路径

scp -r 节省你很多操作
将配置好的安装包分发到其他节点上

	scp -r hadoop-2.6.5 root@node2:/opt/software/
	scp -r jdk1.8.0_121 root@node2:/opt/software/   
	这两行代码代表分发到节点node2上（表示node2中无需再导入hadoop和jdk安装包）

将所有的HDFS相关的进程关闭
格式化Namenode（创建目录以及文件）在node2节点执行

	在/opt/software/hadoop-2.6.5/bin
	./hdfs namenode -format

启动HDFS文件系统

   在/opt/software/hadoop-2.6.5/sbin
   ./start-dfs.sh

操作HDFS文件系统

   先查看进程 jps
   创建目录 hdfs dfs -mkdir -p /user/root
   上传文件 hdfs dfs -D dfs.blocksize=1048576 -put

三、完成操作

在自己本机上输入地址 + :50070
列如：192.168.197.125:50070
进入到页面后，点击第二个目录
查看Datenode存货量是否是3
如果是0，那就是其他节点配错了
如果是3，那就是没毛病了