hadoop学习

最新推荐文章于 2025-02-21 08:51:38 发布

原创最新推荐文章于 2025-02-21 08:51:38 发布 · 443 阅读

0 ·

CC 4.0 BY-SA版权

linux 专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了Linux服务器的基本配置，包括修改主机名、设置IP、关闭防火墙等，并逐步指导如何搭建Hadoop集群，从环境配置到初始化及启动流程，适合Linux初学者和Hadoop入门者。

hostname 查询主机名

查看防火墙状态

service iptables status  查看防火墙状态

修改ip

# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="etch0"
BOOTPROTO="static" ###
HWADDR="00:0C:29:BF:8B"
IPV6INIT="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="99339c27-"

IPADDR="192.168.8.88" ###
NETMASK="255.255.255.0" ###
GETWAY="192.168.8.1" ###
:wq 保存退出

修改主机名

# vim /etc/sysconfig/network 
NETWORKING=yes
HOSTNAME=taxue001

主机名的映射关系

# vim /etc/hosts
192.168.8.88  taxue001

关闭防火墙

service iptables status 查看状态
service iptables stop 关闭
chkconfig iptables --list 查看防火墙启动状态
vim /etc/inittab

vim /etc/init

chkconfig iptables off 关闭开机启动

rboot 重启机器

修改主机名
# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=taxue01

查看主机名
# hostname
bogon
RVERARGS=iburst

设置ip段
一是图像界面
二是命令
1.# setup
# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="dhcp" ###
HWADDR="00:0C:29:5B:54:94"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="c3b58f00-6089-4ad5-9e1d-fb8f1c9ebf0c"
更改成
DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0C:29:5B:54:94"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="c3b58f00-6089-4ad5-9e1d-fb8f1c9ebf0c"
IPADDR="192.168.1.118" ###
NETMASK="255.255.255.0" ###
GATWAY="192.168.1.1" ###
DNS1="8.8.8.8" ###
DNS2="8.8.8,2" ###
防火墙
关闭防火墙

[root@bogon ~]# service iptables status

[root@bogon ~]# service iptables stop
iptables: Setting chains to policy ACCEPT: filter [ OK ]
iptables: Flushing firewall rules: [ OK ]
iptables: Unloading modules: [ OK ]

查看防火墙开机启动

[root@bogon ~]# chkconfig iptables --list
iptables 0:off 1:off 2:on 3:on 4:on 5:on 6:off
[root@bogon ~]# chkconfig iptables off
[root@bogon ~]# chkconfig iptables --list
iptables 0:off 1:off 2:off 3:off 4:off 5:off 6:off

重启机器
[root@taxue01 ~]# reboot

安装jdk

一般安装到 user
创建java目录
[root@taxue01 usr]# mkdir java

解压。文件到src/java
[root@taxue01 ~]# tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java

进程快照
[root@taxue01 bin]# ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 14:39 ? 00:00:02 /sbin/init
root 2 0 0 14:39 ? 00:00:00 [kthreadd]
root 3 2 0 14:39 ? 00:00:00 [migration/0]
root 4 2 0 14:39 ? 00:00:00 [ksoftirqd/0]
root 5 2 0 14:39 ? 00:00:00 [migration/0]
root 6 2 0 14:39 ? 00:00:00 [watchdog/0]
没有配置java环境变量可以用./ 命令运行当前目录下的脚本
[root@taxue01 bin]# ./java

获取当前目录
[root@taxue01 bin]# pwd
/usr/java/jdk1.7.0_55/bin

所有的配置文件都在 /etc/profile
[root@taxue01 bin]# vim /etc/profile
添加：
export JAVA_HOME=/usr/java/jdk1.7.0_55
export PATH=$PATH:$JAVA_HOME/bin

刷新一下
source /etc/profile

安装配置 hadoop-2.4.1
需要配置5个地方
第一个：hadoop-env.sh
在27行
[root@taxue01 hadoop]# vim hadoop-env.sh

export JAVA_HOME=${JAVA_HOME}
更换成：genexport JAVA_HOME=/usr/java/jdk1.7.0_55

期间利用 : echo $JAVA_HOME 打印查看 JAVA_HOME=/usr/java/jdk1.7.0_55

第二个改core-site.xml
制定HDFS的老大（NameNode）的地址
[root@taxue01 hadoop]# vim core-site.xml
原型
<configuration>
</configuration>
更改

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://taxue01:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<valu产生的文件e>/hadooptaxue/hadoop-2.4.1/tmp</value>
</property>
</configuration>

期间用到的知识:cd /hadooptaxue/hadoop-2.4.1/
第三个个改 hdfs-site.xml
vim hdfs-site.xml
改前
<configuration>

</configuration>

改后

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

第四个mapred-site.xml （里面没有此文件，有mapred-site.xml.template模版）
改名
[root@taxue01 hadoop]# mv mapred-site.xml.template mapred-site.xml
改配置
[root@taxue01 hadoop]# vim mapred-site.xml
改前
<configuration>

</configuration>
改后

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

第四个：yarn-site.xml
改前
<configuration>



</configuration>
改后

<configuration>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>taxue01</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

[root@taxue01 ~]# tar -zxvf hadoop-2.4.1.tar.gz -C /hadooptaxue/

到修改 hadoop-env.sh
[root@taxue01 hadoop]# pwd
/hadooptaxue/hadoop-2.4.1/etc/hadoop

[root@taxue01 hadoop]# ls
capacity-scheduler.xml httpfs-site.xml
configuration.xsl log4j.properties
container-executor.cfg mapred-env.cmd
core-site.xml mapred-env.sh
hadoop-env.cmd mapred-queues.xml.template
hadoop-env.sh mapred-site.xml.template
hadoop-metrics2.properties slaves
hadoop-metrics.properties ssl-client.xml.example
hadoop-policy.xml ssl-server.xml.example
hdfs-site.xml yarn-env.cmd
httpfs-env.sh yarn-env.sh
httpfs-log4j.properties yarn-site.xml
httpfs-signature.secret

将hadoop添加到环c境变量
[root@taxue01 hadoop]# vim /etc/profile

用到的cd /hadooptaxue/hadoop-2.4.1/

export JAVA_HOME=/usr/java/jdk1.7.0_55
export HADOOP_HOME=/hadooptaxue/hadoop-2.4.1/
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出
[root@taxue01 hadoop]# source /etc/profile

初始化hadoop（格式化namenode 有两种方式）
1.[root@taxue01 hadoop]# hdfs namenode -format
2.[root@taxue01 hadoop]# hadoop namenode -format（过时的命令）

启动hadoop sbin下的命令
start-all.sh

一切ok
192.168.1.11：50070
90000是管理模块

A发送请求Bmkdir创建目录
#ssh 192.168.1.112 mkdir /xinmulu

杀死进程
kill 9 加上jps pid

远程
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6