ubuntu 单机配置hadoop

最新推荐文章于 2025-03-11 14:05:04 发布
最新推荐文章于 2025-03-11 14:05:04 发布
阅读量687 收藏
点赞数
文章标签： ubuntu hadoop java ssh
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/AC_shuai/article/details/89290127
版权
本文详述了在Ubuntu上单机配置Hadoop的全过程，包括安装JDK，下载解压Hadoop，配置环境变量，SSH免密登录，以及启动和停止Hadoop服务，并提供了配置yarn的步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

ubuntu 单机配置hadoop

前言

因为是课程要求，所以在自己电脑上安装了hadoop，由于没有使用虚拟机，所以使用单机模拟hadoop的使用，可以上传文件，下载文件。

1.安装配置JDK

Ubuntu18.04是自带Java1.8的，你可以在命令行输入java -version查看，如果你想重新配置的话清查看以下的教程。

  1. 下载JDK

    单击下载地址进行下载

    下载之前点击 Accept License Agreement, 然后下载 jdk-12_linux-64_bin.tar.gz

  2. 解压JDK

    进行下载目录，打开terminal，输入

    tar zxvf jdk-12_linux-64_bin.tar.gz

    将解压后的文件夹移动到 /usr/local 文件夹中，在命令行中输入如下命令

    sudo mv jdk-12_linux-64_bin /usr/local

    jdk-12_linux-64_bin 为你解压后得到的文件夹，如果和你的不一样，清按实际情况进行修改。

  3. 配置Java环境

    在ter

最低0.47元/天 解锁文章
Jacob.liu
关注
在Ubuntu上单机安装Hadoop服务器
YbeCoder的博客
09-23 142
在Ubuntu操作系统上，你可以轻松地安装和配置Hadoop服务器，以便在单机环境下进行开发和测试。本文将指导你逐步完成在Ubuntu上安装Hadoop的过程。首先，进入Hadoop官方网站（https://hadoop.apache.org/）并下载最新的稳定版本。Hadoop是基于Java开发的，因此在安装Hadoop之前，我们需要先安装Java开发工具包（JDK）。在终端中，切换到你下载Hadoop的目录，并解压缩下载的文件。最后，我们可以运行一个简单的示例程序来验证Hadoop的功能。
Ubuntu下搭建Hadoop单机模式环境
08-23
本文主要介绍了在Ubuntu系统上Hadoop单机版测试环境的搭建过程。
ubuntu 下安装配置hadoop（单机版）
qq_1969183619的博客
10-14 403
ubuntu 下安装配置hadoop jkd版本：1.8.0_191 hadoop版本：2.8.5 点此下载hadoop：https://hadoop.apache.org/releases.html 1、解压并移动到指定文件夹 tar -zxvf /home/hadoop-2.8.5.tar.gz #解压 mv /home/hadoop-2.8.5 /usr/local/hadoop-2....
基于ubuntu搭建hadoop
最新发布
m0_67929645的博客
03-11 997
1.vmware17虚拟机创建虚拟机2.Ubuntu磁盘镜像下载清华镜像源（图片最下面那个）3.配置hadoop（1）在虚拟机终端输入sudo ufw disable检查防火墙配置防火墙已关闭（2）ssh输入以下命令检查如果输出类似以下内容，说明 SSH 已安装：b.Active: active (running) 表示 SSH 服务正在运行。enabled 表示 SSH 服务已设置为开机自启动。如果 SSH 服务未运行，输出会显示 inactive端口已开放设置开机自启。
[Hadoop] 在Ubuntu系统上一步步搭建Hadoop（单机模式）
weixin_34167043的博客
06-21 130
1 Hadoop的三种创建模式 　　单机模式操作是Hadoop的默认操作模式，当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，会保守地选择最小配置，即单机模式。该模式主要用于开发调试MapReduce程序的应用逻辑，而不会和守护进程交互，避免增加额外的复杂性。 　　伪分布模式操作是指在“单节点集群”上运行Hadoop，其中所有的守护进程都运行在同一台机器上。该模式在单机模式...
在Ubuntu配置hadoop的单机模式
longyi_java的专栏
11-13 684
1、安装1.5以上JDK,我安装的是JDK1.7，安装目录是/opt/java/jdk1.7.0_09 2、安装ssh: $ sudo apt-get install ssh $ sudo apt-get install rsync 3、下载Hadoop    从http://hadoop.apache.org/core/releases.html 下载最近发布的
ubuntu配置hadoop，HDFS和YARN（单机）
m0_63500252的博客
05-05 1464
vim workers后，里面默认只有一个localhost，可以按照需求填写节点主机的ip，这里不做修改。创建软连接hadoop后cd进去，进入hadoop/etc/hadoop下，修改文件配置。vim打开hadoop-env.sh后添加以下内容，这里JAVA_HOME注意别填错了。执行start-dfs.sh可以打开9870端口进入webui就代表成功了。下载hadoop，用清华镜像下载很快，新建个目录输入以下命令。现在配置完了，接着初始化文件系统。输入后疯狂按回车，再输入。记得创建这两个文件夹。
Ubuntu下Hadoop的单机安装
weixin_46203911的博客
04-24 5899
云计算实验中要求我们在Linux系统安装Hadoop，故来做一个简单的记录。 Hadoop安装步骤如下： 一、更新apt和安装vim编辑器 二、配置本机无密码登录SSH 三、安装JAVA环境 四、下载安装Hadoop ...
详解Ubuntu16.04下Hadoop 2.7.3的安装与配置
09-15
总结，本文详尽地介绍了如何在Ubuntu 16.04系统中搭建Java环境、安装SSH Server并实现免密码登录，以及如何安装配置Hadoop 2.7.3的单机模式和伪分布模式。这些步骤对于初次接触Hadoop集群的开发者来说至关重要，不仅...
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04
11-01
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤，包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...
ubuntu下单机配置hadoop（图解）
ukulele-gitara的专栏
03-30 782
1：安装SSH           root@li-virtual-machine:~# sudo apt-get install openssh-server 2  生成私钥和公钥： root@li-virtual-machine:~# ssh-keygen -t rsa -P "" Generating public/private rsa key pair. Enter
ubuntu系统安装单机hadoop
Ajouter的博客
09-21 1100
1.这时候我们修改完目录，就进到/usr/local/hadoop下面运行下图的命令。就进到/usr/local/hadoop/bin下面运行下图的命令。这里的版本需要你们自己去选择一个！我下了一个3.2.4的。1.这个是复制文件，是测试有没有安装hadoop。cd进入到local文件里面进行，看图打命令。上面的1可以不用测试，下面显示版本就是成功。然后输入下面的命令，看图，我就不打出来了。1.先去hadoop官网下载一个压缩包。命令就是解压到usr/local里面。下载完之后，我们找到下载的这个路径。
在ubuntu中安装单机Hadoop（三）
purple_lumpy的博客
12-05 663
接着上一篇"在ubuntu中安装单机Hadoop（二）" 继续记录在Ubuntu上安装Hadoop,一共是下面几步: 1. 在Ubuntu中建立hadoop用户组和用户 2. 安装JDK 3. 修改机器名 4. 安装ssh服务 5. 建立ssh无密码登录本机 6. 安装hadoop 7. 在单机上运行hadoop 1,2,3已在前面的文章中记下来了。下面开始从第四步写起。 四、
Ubuntu安装hadoop并做单机测试
weixin_34281477的博客
06-12 275
1.配置jdk见前文2. 下载解压hadoop这里以2.7.7版本为例，将文件剪切到/usr/local里面并更改名字为hadoop方便后续配置3. 为hadoop配置jdk版本呢设置hadoop目录下的env文件，hadoop/etc/hadoop-env.sh文件，注意这里的etc是在hadoop目录下的etc，大家注意命令执行的路径，在里面定义jdk目录，建议将hadoop_home和pat...
ubuntu14.04下配置单机的hadoop
u013372441的专栏
11-15 559
在使用fedora配置完成后又想着既然ubuntu比较友好就在上面再配置一个没想到会出现这么多的坑 首先是下载JDK,我用的是oracle官网上的,地址是http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html如下图 然后是hadoop下载在这里http://mirrors.h
Ubuntu14.04.2中配置单机模式的Hadoop
小美哥的博客
03-10 688
近期在学习数据挖掘的相关知识，需要使用到Hadoop平台上的MapReduce模型进行编程。欲善其事必利其器，编程的首要步骤就是进行Hadoop平台的搭建。才疏学浅，倒腾了近一天才终完成，在此稍加总结，以便利同道中人。因为是刚开始进行相关的学习，所以先搭建了单机模式的环境，主要目的是学习MapReduce的编程方式，后期若有幸深入学习，会继续更新。
在ubuntu上搭建hadoop服务 （单机模式）
yhtppp的专栏
06-29 1740
在ubuntu上搭建hadoop，记录一下环境：ubuntu 16.04hadoop-3.1.01.安装JDK已经使用apt安装了jdk环境whereis javals -l /usr/bin/javals -l /etc/alternatives/java默认jdk路径：/usr/lib/jvm/java-8-openjdk-amd642.创建hadoop组、hadoop用户sudo addgr...
Ubuntu64 搭建Hadoop单机模式
ScriptFlying的博客
11-05 320
Hadoop单机模式： 单机操作是Hadoop的默认操作模式，当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，会保守地选择最小配置，即单机模式。当配置文件为空时，Hadoop会完全运行在本地，因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。 一、添加Hadoop用户组和用户 1、创建...
Ubuntu下搭建Hadoop的单机模式以及伪分布式模式
星星的博客
04-24 824
Ubuntu下搭建Hadoop的单机模式以及伪分布式模式环境准备创建Hadoop用户(可选)SSH登录权限设置安装Java环境单机模式以及伪分布式模式的搭建Hadoop单机安装配置Hadoop伪分布式安装配置 环境准备 创建Hadoop用户(可选) 如果安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为hadoop 的用户，首先按打开终端窗口（快捷键ctrl+alt...
ubuntu单机模式配置hadoop
03-01
### 配置Hadoop在Ubuntu单机模式下的教程 #### 安装所需软件包 为了安装必要的软件包，在终端执行命令来更新本地的APT仓库并安装所需的工具。这包括`ssh`和`rsync`，它们对于分布式文件系统的操作至关重要[^1]。 `...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值