hadoop配置文件详解、安装及相关操作

最新推荐文章于 2023-09-24 15:40:28 发布

转载最新推荐文章于 2023-09-24 15:40:28 发布 · 1.4k 阅读

hadoop 专栏收录该内容

10 篇文章

订阅专栏

一、 Hadoop伪分布配置

1. 在conf/hadoop-env.sh文件中增加：export JAVA_HOME=/home/Java/jdk1.6

2. 在conf/core-site.xml文件中增加如下内容：

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<!—hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配置namenode和datanode的存放位置，默认就放在这个路径中-->

<name>hadoop.tmp.dir</name>

</property>

3. 在conf/hdfs-site.xml中增加如下内容：

<name>dfs.replication</name>

</property>

<!-- dfs.data.dir - 这是DataNode结点被指定要存储数据的本地文件系统路径。DataNode结点上的这个路径没有必要完全相同，因为每台机器的环境很可能是不一样的。但如果每台机器上的这个路径都是统一配置的话，会使工作变得简单一些。默认的情况下，它的值hadoop.tmp.dir, 这个路径只能用于测试的目的，因为，它很可能会丢失掉一些数据。所以，这个值最好还是被覆盖。

dfs.name.dir - 这是NameNode结点存储hadoop文件系统信息的本地系统路径。这个值只对NameNode有效，DataNode并不需要使用到它。上面对于/temp类型的警告，同样也适用于这里。在实际应用中，它最好被覆盖掉。-->

</property>

</property>

<!—解决：org.apache.hadoop.security.AccessControlException:Permission denied:user=Administrator,access=WRITE,inode="tmp":root:supergroup:rwxr-xr-x 。

因为Eclipse使用hadoop插件提交作业时，会默认以 DrWho 身份去将作业写入hdfs文件系统中，对应的也就是 HDFS 上的/user/hadoop , 由于 DrWho 用户对hadoop目录并没有写入权限，所以导致异常的发生。解决方法为：放开 hadoop 目录的权限，命令如下：$ hadoop fs -chmod 777 /user/hadoop -->

<name>dfs.permissions</name>

<value>false</value>

If "true", enable permission checking in HDFS. If "false", permission checking is turned off, but all other behavior is unchanged. Switching from one parameter value to the other does not change the mode, owner or group of files or directories

</description>

</property>

4. 在conf/mapred-site.xml中增加如下内容：

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

二、操作命令

1. 格式化工作空间

进入bin目录，运行 ./hadoop namenode –format

2. 启动hdfs

进入hadoop目录,在bin/下面有很多启动脚本，可以根据自己的需要来启动。