Hadoop 0.20 單機安裝

最新推荐文章于 2025-12-02 15:08:39 发布

转载最新推荐文章于 2025-12-02 15:08:39 发布 · 963 阅读

文章标签：

#hadoop #logging #ubuntu #java #jdk #command

hadoop 专栏收录该内容

3 篇文章

订阅专栏

本文详细介绍了如何在 Ubuntu 8.04 LTS 系统上进行 Hadoop 0.20 版本的单机安装过程，包括设置 SSH 密钥认证、安装 Java 环境、下载并配置 Hadoop 相关文件等内容。

Hadoop 0.20 單機安裝

1. 前言
2. step 1. 設定登入免密碼
3. step 2. 安裝java
4. step 3. 下載安裝Hadoop
5. step 4. 設定 hadoop-env.sh
6. step 5. 設定 hadoop-site.xml
7. step 6. 格式化HDFS
8. step 7. 啟動Hadoop
9. step 8. 完成！檢查運作狀態

前言¶

本實作基於 Ubuntu 8.04 LTS 版本，關於 Ubuntu 8.04 的安裝程序，請參考"Ubuntu 8.04 Server 版安裝步驟"。
本課程實作之電腦教室所提供的作業環境是 Ubuntu 8.04 Server 版加裝 xubuntu 桌面的環境。
本頁面的部分指令，是針對不熟悉 Linux 文字編輯器的使用者所設計的'懶人'設定法，您也可以使用習慣使用的文字編輯器(如:vi,nano,joe等)進行修改。
黑底白字的部分為指令或console秀出的畫面，請自行剪貼提示符號 "$"(代表一般使用者) 或 "#"(代表最高權限 root 管理者) 之後的指令。如：
```
/home/DIR$ Copy_Command From To ...
```
則複製 Copy_Command From To ... 這個指令，貼到你的console來執行。（/home/DIR 代表目前所在的目錄路徑）
白底黑字的部分為文件內的內容 ，如
```
I am context.
```
如果熟悉vi,nano,joe等編輯器可複製此區內容貼到文件內（雖然此頁面的指令都已經簡化過）

登入資訊

使用者 hadooper
群組 hadooper
密碼 ******

Hadooper 擁有sudoer 的權限

step 1. 設定登入免密碼¶

由於Hadoop用ssh 作機器間的溝通，因此先設定登入機器免密碼的設定，

~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""
~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

完成後請登入確認不用輸入密碼，（第一次登入需按enter鍵，第二次就可以直接登入到系統），以免日後輸入密碼key到手軟

~$ ssh localhost
~$ exit
~$ ssh localhost
~$ exit

step 2. 安裝java¶

由於 Sun Java Runtime 是執行 Hadoop 必備的工具，因此我們需要安裝 JRE 或 JDK。這裡我們直接安裝 JDK，因為後面寫程式仍舊需要用到 JDK 所提供的編譯器。目前 Ubuntu 8.04 提供的 JDK 套件最新版本為 Sun Java(TM) Development Kit (JDK) 6.06 ，套件名稱為 sun-java6-jdk。並建議刪除原本的「 gcj 」。

~$ sudo apt-get purge java-gcj-compat
~$ sudo apt-get install sun-java6-bin  sun-java6-jdk sun-java6-jre

step 3. 下載安裝Hadoop¶

請至國網中心 TWAREN 的鏡射站下載 Hadoop 0.20.2，並解開壓縮檔到 /opt 路徑。

~$ cd /opt
/opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz
/opt$ sudo tar zxvf hadoop-0.20.2.tar.gz
/opt$ sudo mv hadoop-0.20.2/ hadoop
/opt$ sudo chown -R hadooper:hadooper hadoop
/opt$ sudo mkdir /var/hadoop
/opt$ sudo chown -R hadooper:hadooper /var/hadoop

step 4. 設定 hadoop-env.sh¶

進入 hadoop 目錄，做進一步的設定。我們需要修改兩個檔案，第一個是 hadoop-env.sh，需要設定 JAVA_HOME, HADOOP_HOME, HADOOP_CONF_DIR 三個環境變數。

/opt$ cd hadoop/
/opt/hadoop$ cat >> conf/hadoop-env.sh << EOF

貼上以下資訊

export JAVA_HOME=/usr/lib/jvm/java-6-sun
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=/opt/hadoop/conf
EOF

step 5. 設定 hadoop-site.xml¶

接下來的設定檔共有3個 core-site.xml, hdfs-site.xml, mapred-site.xml，

/opt/hadoop$ cat > conf/core-site.xml << EOF

貼上以下內容

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop/hadoop-/${user.name}</value>
  </property>
</configuration>
EOF

/opt/hadoop$ cat > conf/hdfs-site.xml  << EOF

貼上以下內容

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>
EOF

/opt/hadoop$ cat > conf/mapred-site.xml  << EOF

貼上以下內容

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>
EOF

step 6. 格式化HDFS¶

以上我們已經設定好 Hadoop 單機測試的環境，接著讓我們來啟動 Hadoop 相關服務，格式化 namenode， secondarynamenode, tasktracker

/opt/hadoop$ bin/hadoop namenode -format

執行畫面如：

09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = /localhost
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 0.20.2
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.20 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 2009
************************************************************/
09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper
09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup
09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true
09/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds.
09/03/23 20:19:47 INFO dfs.Storage: Storage directory /tmp/hadoop-hadooper/dfs/name has been successfully formatted.
09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at /localhost
************************************************************/

step 7. 啟動Hadoop¶

接著用 start-all.sh 來啟動所有服務，包含 namenode, datanode,

/opt/hadoop$ bin/start-all.sh

執行畫面如：

starting namenode, logging to /opt/hadoop/logs/hadoop-hadooper-namenode-pc218.out
localhost: starting datanode, logging to /opt/hadoop/logs/hadoop-hadooper-datanode-pc218.out
localhost: starting secondarynamenode, logging to /opt/hadoop/logs/hadoop-hadooper-secondarynamenode-pc218.out
starting jobtracker, logging to /opt/hadoop/logs/hadoop-hadooper-jobtracker-pc218.out
localhost: starting tasktracker, logging to /opt/hadoop/logs/hadoop-hadooper-tasktracker-pc218.out