【笔记】Mac搭建Hadoop环境和配置

下载地址：

• apache-hadoop官网下载地址 国外源下载速度较慢
• 清华大学开源软件镜像站下载地址推荐：国内源下载速度快

---

安装步骤：

1. 将下载好的hadoop压缩包解压到目标目录：我下载hadoop-3.3.1.tar.gz解压到我的用户目录

$ tar -C  -xvf  hadoop-3.3.1.tar.gz

2. 进入hadoop目录，在里面创建以下目录

// dfs文件服务相关目录
$ mkdir /opt/hadoop/dfs;
$ mkdir /dfs/name;
$ mkdir /dfs/data;
// 临时文件存放目录
$ mkdir tmp;

3. 配置hadoop的环境变量
   

进入hadoop目录下的/etc/hadoop/里面寻找hadoop-env.sh和yarn-env.sh配置JAVA JDK

$ open hadoop-env.sh
$ open yarn-env.sh
追加以下内容
export JAVA_HOME=你的JDK安装目录

4. 配置hadoop从节点的hostname，我这里直接修改本机的/etc/hosts文件，从节点都是自己电脑（假分布式搭建）

$ open /etc/hosts

5. 修改hadoop相关配置xml

core-site.xml

//修改hdfs端口和文件缓冲区大小等相关配置
$ open core-site.xml

//修改以下配置
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:8222</value>
    </property>
    <property>
        <name>io.file.buffer.