【hadoop学习笔记】1.hadoop安装

本文详细介绍了如何在Ubuntu11.4环境下安装配置Hadoop 1.0.2,并搭建伪分布式环境。从安装JDK到配置核心站点文件,再到启动Hadoop服务,每一步都给出了具体的操作指令。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

环境:Ubuntu11.4

准备工作:

a.先安装jdk

b.修改/etc/hosts,绑定10.16.110.7master(最好不要用127.0.0.1localhost后面会出现意想不到的错误)

1.下载hadoop-1.0.2

在linux下执行wgethttp://apache.etoak.com/hadoop/common/hadoop-1.0.2/hadoop-1.0.2.tar.gz

解压tarzxvfhadoop-1.0.2.tar.gz

cdhadoop-1.0.2/目录

2、配置hadoop伪分布式环境,运行hadoop

进入conf目录

修改conf/core-site.xml

<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<!--Putsite-specificpropertyoverridesinthisfile.-->

<configuration>

<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>

</configuration>
~

<!--fs.default.name-这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号),集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册,这样它们的数据才可以被使用。独立的客户端程序通过这个URIDataNode交互,以取得文件的块列表。-->

修改conf/mapred-site.xml

<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<!--Putsite-specificpropertyoverridesinthisfile.-->

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>

<!--mapred.job.tracker-JobTracker的主机(或者IP)和端口。-->

修改conf/hdfs-site.xml

<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<!--Putsite-specificpropertyoverridesinthisfile.-->

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

<!--dfs.replication-它决定着系统里面的文件块的数据备份个数。对于一个实际的应用,它应该被设为3(这个数字并没有上限,但更多的备份可能并没有作用,而且会占用更多的空间)。少于三个的备份,可能会影响到数据的可靠性(系统故障时,也许会造成数据丢失)-->

修改conf/hadoop-env.sh配置JAVA_HOMEexportJAVA_HOME=/home/yongkang/tools/java

在/conf/master中加入主机的ip10.16.110.7

在/conf/salves中加入slaves机器10.16.110.7

运行:

格式化分布式文件系统:$bin/hadoopnamenode–format

启动hadoop进程:$bin/start-all.sh
是否启动成功,可访问以下url
NameNodehttp://10.16.110.7:50070/

JobTrackerhttp://10.16.110.7:50030/

如果不能访问,检查logs目录下的日志分析原因。

正常运行后,执行jps命令,应该可以看到有5个hadoop相关进程

:yongkang@yongkang-OptiPlex-760:~/tools/hadoop-1.0.2/bin$2>yongkang@yongkang-OptiPlex-760:~/tools/hadoop-1.0.2/bin$jps
26999Jps
11937SecondaryNameNode
11413NameNode
12024JobTracker
12281TaskTracker
11662DataNode

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值