hadoop安装与配置

安装和配置Hadoop涉及以下步骤：

1. 下载Hadoop：访问Hadoop官方网站（https://hadoop.apache.org/）或其他可信来源，下载适合您操作系统的Hadoop版本。

2. 解压文件：将下载的Hadoop压缩文件解压到您选择的目录中。

3. 配置Hadoop环境变量：编辑您的操作系统的环境变量文件（如".bashrc"、“.bash_profile"或”~/.profile"），并添加以下行：

   export HADOOP_HOME=/path/to/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   将 “/path/to/hadoop” 替换为您解压Hadoop的目录路径。

4. 配置Hadoop的核心文件：在Hadoop安装目录中，进入 “etc/hadoop” 目录，并编辑以下文件：

   • hadoop-env.sh：设置JAVA_HOME变量，指向Java安装目录的路径。找到以下行并进行修改：

     export JAVA_HOME=/path/to/java
     

     将 “/path/to/java” 替换为您Java安装的路径。

   • core-site.xml：配置Hadoop的核心属性。将以下内容添加到 <configuration> 标签之间：

     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
     </property>
     

     这将设置Hadoop的默认文件系统为本地文件系统，并使用端口9000。

   • hdfs-site.xml：配置HDFS属性。将以下内容添加到 <configuration> 标签之间：

     <property>
       <name>dfs.replication</name>
       <value>1</value>
     </property>
     

     这将设置HDFS的默认副本数量为1。

   • 保存并关闭以上文件。

5. 配置Hadoop节点：进入 “etc/hadoop” 目录，编辑 slaves 文件。在文件中，将每行添加一个主机名，表示Hadoop集群的各个节点。

6. 初始化HDFS文件系统：在命令行中执行以下命令，初始化Hadoop文件系统：

   hdfs namenode -format
   

7. 启动Hadoop集群：在命令行中执行以下命令，启动Hadoop集群：

   start-dfs.sh
   

   如果配置了YARN，也可以执行以下命令以启动YARN资源管理器：

   start-yarn.sh
   

   确保没有错误和异常。可以通过访问ResourceManager的Web界面（http://localhost:8088）来检查YARN是否正在运行。

至此，您已经成功安装和配置了Hadoop。您可以使用HDFS和MapReduce等功能，进行分布式存储和计算。