Jetson TK1嵌入式开发板hadoop集群配置详细过程

本文详细介绍了如何在Jetson TK1开发板上,基于Ubuntu 14.04操作系统,配置一个包含1个Master和3个Slave节点的Hadoop-0.20.2集群。首先,文章讲解了安装JDK,配置SSH无密码登录,以及搭建Hadoop环境所需的所有步骤,包括配置hadoop-env.sh、core-site.xml、mapred-site.xml和hdfs-site.xml等文件。最后,文章还提到了启动、停止Hadoop集群的方法以及如何验证集群运行状态。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

JetsonTK1嵌入式开发板hadoop配置详细过程

实验环境

操作平台:Jetson TK1嵌入式开发板
操作系统:Ubuntu14.04
软件版本:hadoop-0.20.2, jdk-7u60-linux-arm
集群架构:包括4个节点:1个Master,3个Salve,节点之间局域网连接,可以相互ping通。节点IP地址分布如下:

主机名

IP

系统版本

Hadoop node

hadoop进程名

master

211.68.39.143

Ubuntu14.04

master

namenode,jobtracker

slave1

211.68.39.144

Ubuntu14.04

slave

datanode,tasktracker

slave2

211.68.39.145

Ubuntu14.04

slave

datanode,tasktracker

slave3

211.68.39.146

Ubuntu14.04

slave

datanode,tasktracker

四个节点上均是Ubuntu系统,并且有一个相同的用户hadoop。master机器主要配置NameNode和JobTracker的角色,负责总管分布式数据和分解任务的执行;3个slave机器配置DataNode和TaskTracker的角色,负责分布式数据存储以及任务的执行。

配置过程:

下载资源:hadoop-0.20.2.tar.gz    jdk-7u60-linux-arm-vfp-hflt.gz

1、 在每台主机上安装JDK

在/usr建立java文件夹(注意权限)

#mkdir  /usr/java

将jdk-7u60-linux-arm-vfp-hflt.gz移到/usr/java下

解压文件(/usr/

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值