Ubuntu系统的Hadoop 安装教程

  • JDK安装
     1. 解压安装包(放到 opt 文件目录下)
          tar -xvf jdk-8u101-linux-i586.tar.gz
     2. 配置环境变量
          export JAVA_HOME=/home/hadoop/opt/jdk1.8.0.101
          export PATH=$JAVA_HOME/bin:$PATH
(这两句可省略) export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
                           export JRE_HOME=$JAVA_HOME/jre
     3. 查看 JDK 是否安装成功
          java -version



  • Hadoop安装

     1. 解压安装包 (放到 opt 文件目录下)
          tar -xvf hadoop-1.2.1-bin.tar.gz
     2. 配置环境变量
          export HADOOP_HOME=/home/hadoop/opt/hadoop-1.2.1
          export PATH=$HADOOP_HOME/bin:$PATH
     3. 进入编辑Hadoop的环境配置文件
        cd hadoop-1.2.1/conf
            修改配置文件:去除“export”前面的“#”;修改为 JAVA_HOME的路径,即为红色内容部分
          gedit hadoop-env.sh

  • SSH免密登录
          一直点击“Enter”
           





### Ubuntu 20.04 Hadoop 安装指南 #### 准备工作 为了确保顺利安装,在开始之前需确认已准备好以下事项: - 已经成功安装并配置好Ubuntu 20.04操作系统。 - Java环境已经正确设置,建议版本为Java 8或以上。 #### 更新系统包管理器索引文件 保持系统的最新状态非常重要。可以通过运行下面命令更新本地APT缓存: ```bash sudo apt update && sudo apt upgrade -y ``` #### 安装Java开发工具包(JDK) 如果尚未安装JDK,则可以执行下列指令完成安装: ```bash sudo apt install openjdk-11-jdk -y ``` 验证安装是否成功的命令是`java -version`[^1]。 #### 下载Hadoop压缩包 前往Apache官方网站下载页面获取最新的稳定版二进制分发文件。推荐采用wget或者curl这样的命令行工具来进行下载操作: ```bash cd ~ wget https://downloads.apache.org/hadoop/common/stable/hadoop-x.x.x.tar.gz tar zxvf hadoop-x.x.x.tar.gz mv hadoop-x.x.x ~/hadoop echo 'export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64' >> ~/.bashrc echo 'export HADOOP_INSTALL=~/hadoop' >> ~/.bashrc echo 'export PATH=$PATH:$HADOOP_INSTALL/bin' >> ~/.bashrc source ~/.bashrc ``` #### 配置SSH无密码登录 为了让NameNode和DataNodes之间能够无障碍通信,需要实现免密钥认证功能。这一步骤对于单节点集群同样适用: ```bash ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ``` 测试通过尝试连接localhost来检验上述配置的效果:`ssh localhost`。 #### 修改核心配置文件 编辑`$HADOOP_INSTALL/etc/hadoop/core-site.xml`添加如下内容以便指定临时目录位置以及默认FS URI: ```xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 接着调整`$HADOOP_INSTALL/etc/hadoop/hdfs-site.xml`中的参数以适应当前硬件条件: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` 最后不要忘记初始化namenode存储空间结构:`hdfs namenode -format`。 #### 启动服务 一切准备就绪之后就可以启动相关进程了。进入`sbin`目录下分别调用start-dfs.sh脚本开启DFS守护线程;如果是多机部署模式还需额外激活YARN ResourceManager/Yarn NodeManager组件: ```bash cd $HADOOP_INSTALL/sbin/ ./start-dfs.sh # For YARN, also run this command after starting DFS. # ./start-yarn.sh ``` 此时应该可以在浏览器里访问http://your-ip-address:50070查看Web UI界面了解集群健康状况和其他有用信息。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值