hadoop+zookeeper+hbase环境搭建的一些问题

最新推荐文章于 2023-05-31 14:12:25 发布

原创最新推荐文章于 2023-05-31 14:12:25 发布 · 810 阅读

0 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

13 篇文章

订阅专栏

在搭建Hadoop、Zookeeper和HBase环境时，正确配置/etc/hosts文件至关重要，避免出现意外问题。主机IP和别名需设置正确，并确保本机127.0.0.1不映射到机器名。此外，Hadoop的core-site.xml中应手动配置数据临时目录，以防止重启服务器后丢失数据，避免频繁执行namenode格式化。

host文件配置

/etc/hosts文件若没配置好,会引起一系列不见遇见的问题,有时候会在这些问题上面花费较多的时间.

hadoop@PC3GD000516:/usr/local/hadoop$ more /etc/hosts
127.0.0.1	localhost
192.168.215.85  master pc-name0
192.168.215.201 slave1 pc-name1
192.168.215.202 slave2 pc-name2
#127.0.1.1	 pc-name0

要点:

主从机器的IP要配置好,包括机器别名(如slave1)/机器实体名(如pc-name1)
同时本机的 127.0.0.1 不要配置机器名,要注释掉

<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/local/hadoop/tmp</value>
</property>

hadoop配置文件 core-site.xml 配置尽量手动配置这个选项，否则的话都默认存在了里系统的默认临时文件/tmp里。这用于记录dfs namenode的相关节点信息,如一些格式化信息等.如果使用默认临时文件路径/tmp的话,每次重启服务器后,就要重新 dfsadmin namenode -format 一次了,数据也丢失了.