Ubuntu18.04 配置hadoop3.2（伪分布式安装）并运行wordcount步骤

最新推荐文章于 2023-10-10 00:22:03 发布

陈浩天就是我

最新推荐文章于 2023-10-10 00:22:03 发布

阅读量1.4k

点赞数 1

CC 4.0 BY-SA版权

文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/weixin_41571247/article/details/88202914

本文详细介绍了在Ubuntu18.04系统上配置Hadoop3.2伪分布式环境的步骤，包括JDK配置、路径设置、集群ID调整、用户创建及运行wordcount示例的过程。

Ubuntu18.04 配置hadoop3.2（伪分布式安装）并运行wordcount步骤

下载hadoop 直接选3.2版本（目前最新） 64位linux走起
记得配置好jdk 准备工作要做好
然后解压hadoop 路径自己选择
教学用的是伪分布式，所以我也是按照伪分布式的步骤进行安装，在修改配置文件的时候
注意修改路径！！就是你hadoop安装在哪里\

在这里插入图片描述
如图所示同理hdfs-site.xml 也一样不然重新格式化的时候会失败。
如果出现jdk not found 的错误就在hadoop-env.sh 里修改JAVA_HOME把他改为绝对路径。
记得把#号去掉！！并且 source一下才能生效。

接下来运行hadoop
./sbin start-all.sh
jps查看当前运行的进程没有发现datanode的话

在这里插入图片描述

这里里面有一个version的文件
里面有这个东西
clusterID=*** 把name里面的clusterID 复制到 data里保持两者一致。

jps 发现进程都出来拉
在这里插入图片描述

创建用户拉在终端找不到不用怕因为我们这里是HDFS系统
直接 hadoop fs -ls / 就可以查看是否创建成功!!!

接下来运行例子！
wordcount /input /output
input ouput路径记得空格隔开!!!

在这里插入图片描述

成功！！

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

陈浩天就是我

关注关注

1
点赞
踩
8

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

ubuntu16.04搭建hadoop运行WordCount

weixin_44366140的博客

02-07

413

1.解压文件到opt下 tar zxvf hadoop-2.7.2.tar.gz -C /opt 2.vi /opt/hadoop-2.7.2/etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/jdk1.8.0_181 3.vi /opt/hadoop-2.7.2/etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</nam

Ubuntu安装单机1.2.1hadoop与伪分布式模式进行WordCount实验

挑灯看剑的专栏

04-10

2104

一、hadoop单机和伪分布式配置步骤

2 条评论您还未登录，请先登录后发表或查看评论

ubuntu运行hadoop的wordcount

09-22

ubuntu上面运行hadoop自带的wordcount实例

Ubuntu18.04安装hadoop伪分布式

linjixia的博客

03-25

1160

首先是装好jdk和弄好ssh免密登录。安装jdk1.8教程：安装jdk ssh免密登录教程：ssh安装+免密登录教程因为博主之后要装Hbase，所以要搞清楚，hadoop和jdk和hbase对应的版本问题。不装hbase的也要注意hadoop和jdk的版本问题。版本对应问题教程 ...

ubuntu-18.04.4 Hadoop伪分布式环境安装

独醉的博客

04-20

2042

这里写目录标题安装和配置JAVA环境下载并解压JDK配置环境变量安装ssh-server并实现免密码登录下载ssh-server启动ssh查看ssh服务是否启动，如果显示相关ssh字样则表示成功设置免密码登录安装Hadoop单机版和伪分布式环境下载hadoop-2.7.4.tar.gz配置.bashsc文件伪分布式搭建关机重启验证Hadoop是否安装配置成功验证hadoop单机模式已经安装成功启动...

大数据Hadoop环境配置：Win10 VMware虚拟机安装Ubuntu18.04 JDK Hadoop 伪分布式配置 wordcount实例运行

lzbmc的博客

07-05

2121

一、Win10 VMware虚拟机安装Ubuntu18.04 详细步骤：https://blog.csdn.net/lzbmc/article/details/90757592 Tips: 安装了VMware Tools：可以在宿主机和虚拟机之间直接拷贝文件。会弹出VMWareTools所在的文件夹，然后右键VMWare Tools.tar.gz，copy to到Home目录下。 ...

Ubuntu18.04,Hadoop3.1.3伪分布式环境搭建

weixin_43576422的博客

07-31

1069

大数据处理架构Hadoop 摘要: 在Linux 环境搭建Hadoop伪分布式集群，并对HDFS进行基本的操作。文章目录大数据处理架构Hadoop简介核心架构特性版本Hadoop项目结构Hadoop基本安装配置：环境创建hadoop用户更新apt安装SSH、配置SSH无密码登陆安装 Hadoop3.1.3Hadoop伪分布式配置实验步骤：Hadoop配置文件说明运行Hadoop伪分布式实例1、单词出现次数统计案例：2、正则表达式单词抓取案例：简介（先来大概了解一下Hadoop）总的来说，Hadoop

Ubuntu系统安装Hadoop3.1.3并进行单机/伪分布式配置

qq_42582489的博客

03-06

4037

Ubuntu系统安装Hadoop3.1.3并进行单机/伪分布式配置文章目录Ubuntu系统安装Hadoop3.1.3并进行单机/伪分布式配置前言详细流程创建Hadoop用户安装Java配置SSH免密登陆安装Hadoop3.1.3Hadoop单机配置Hadoop单机运行实例Hadoop伪分布式配置Hadoop伪分布式运行实例Web访问Hadoop信息参考文章前言 Hadoop官方真正支持的作业平...

Hadoop安装搭建伪分布式教程（全面）吐血整理

m0_74823408的博客

10-10

1125

yarn 是一种资源管理和作业调度技术，作为Hadoop 的核心组件之一，负责将系统资源分配给在 Hadoop 集群中运行的各种应用程序，并调度要在不同集群节点上执行的任务，其基本思想是将资源管理和作业调度/监视的功能分解为单独的 daemon，总体上yarn是 master/slave 结构，在整个资源管理框架中，ResourceManager 为 master，NodeManager 是 slaver。3.输入生成SSH私钥与公钥的命令，-t用于声明密钥的加密类型，输入Hadoop密码。

Hadoop3.1.3安装教程_单机/伪分布式配置

耶耶猫猫的博客

09-27

4205

本文介绍了Hadoop3.1.3安装以及单机/伪分布式配置。

linux运行wordcount,Ubuntu16.04上运行Hadoop2.7.3自带example wordCount摸索记录

weixin_28543661的博客

05-11

121

首先最最重要的写在最前面，也是我觉得个人踩得最深的坑，刚接触hadoop的人，缺少的认识：hdfs的理解：它是一个文件系统，跟linux的文件系统是类似的结构，拥有类似的语法，大概就是你在linux上ls查看文件列表，那么hdfs的无非就是hadoop fs -ls。hadoop的输入输出，都是从hdfs读取和写入的，那么比如运行hadoop的word count例子的时候，网上各种大坑教程中完全...

ubuntu18.04首次配置hadoop伪分布式以及出现的问题

NOT_GUY的博客

09-28

689

1、搞明白单机、伪分布式和集群的区别单机：也称非分布式，是直接读写本地操作系统的文件系统，一般仅用于本地MR程序的调试。直接解压hadoop包就行，无需配置。 伪分布式：在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。在“单节点集群”上运行Hadoo...

Ubuntu18.04下安装Hadoop单机与伪分布式环境

gbh18682030862的博客

12-24

2354

准备 Ubuntu18.04/64-bit Hadoop-2.7 JAVA JDK1.13.0.1 安装JDK 从这里下载对应版本的JDK，选择Linux版本，记住自己下载的版本号，后面配置时候需要用到。新建/usr/java目录，切换到所下载的jdk-13.0.1_linux-x64_bin.tar.gz目录。将文件解压到/usr/java目录下。以下所有操作都以root用户登录 s...

ubuntu安装伪分布式Hadoop3.1.2

aju1790的博客

05-15

334

作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 本文是基于已经安装好的ubuntu环境上搭建伪分布式hadoop，在virtualbox安装ubuntu可以参考小编的 ”virtualbox安装ubuntu16.04 LTS及其配置“ ubuntu16.04安装mysql：https://ww...

ubuntu下hadoop运行wordcount程序

yonghutwo的专栏

03-06

4613

本机环境 ubuntu 12 hadoop 1.1.2 首先保证hadoop配置成功 1、在Hadoop的解压目录的如下位置可以找到WordCount.java的源文件 src/examples/org/apache/hadoop/examples/WordCount.java 新建一个wordcount的文件夹，将WordCount.java拷贝至dev/wordcount文件

Ubuntu Kylin16.04 安装Hadoop2.7.4 伪分布式

lucyLee的博客

11-12

786

最近，因为课程设计需要在Ubuntu上安装Hadoop。本人使用的是Ubuntu kylin 16.04，安装Hadoop2.7.4。安装过程都是参考别人的博客，自己一步一步摸索过来的。如果您在安装的过程中遇到了什么问题，请多自己查阅网上资料，毕竟每个人会遇到的问题可能是不一样的。一、安装JDKHadoop 2.7及更新版本需要JAVA 7支持，本人安装的是Oracle jdk1.8_151为例。

Hadoop在Linux下伪分布式的安装 wordcount实例的运行

琼华

09-11

1518

例子中所有命令 1.安装配置java1.6(不累述)。配置完毕后，在命令行中输入java-version，如出现下列信息说明java环境安装成功。 java version "1.6.0_20" Java(TM) SE Runtime Environment (build 1.6.0_20-b02) Java HotSpot(TM) Server VM (build 16.3-b01

在Ubuntu X64上编译Hadoop

weixin_33755557的博客

12-12

123

在之前的文章中介绍了如何直接在Ubuntu中安装Hadoop。但是对于64位的Ubuntu来说，官方给出的Hadoop包是32位的，运行时会得到警告： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where appl...

Hadoop(3.2.0) 伪分布式wordcount

qq_42304949的博客

09-16

337

hadoop wordcount bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar grep /input output 'dfs[a-z.]+' hdfs dfs -ls hdfs dfs put ./input input hdfs dfs mkdir input

ubuntu18.04安装opencv3.2

最新发布

03-17

### 在 Ubuntu 18.04 上安装 OpenCV 3.2 的方法在 Ubuntu 18.04 中安装 OpenCV 3.2 可以通过多种方式实现，具体取决于用户的实际需求以及环境中是否存在其他依赖项（如 ROS Melodic）。以下是详细的说明： #### 方法一：利用 ROS Melodic 自动安装 OpenCV 3.2 如果用户已经安装了 ROS Melodic，则无需单独安装 OpenCV 3.2，因为 ROS Melodic 默认会自动安装该版本的 OpenCV 并将其放置于 `/usr/lib` 路径下[^1]。可以通过以下命令验证已安装的 OpenCV 版本： ```bash pkg-config --modversion opencv ``` #### 方法二：手动编译并安装 OpenCV 3.2 和 `opencv_contrib-3.2.0` 对于需要自定义配置或者希望覆盖 ROS Melodic 所附带的 OpenCV 版本的情况，可以采用手动编译的方式完成安装。此过程涉及以下几个方面： 1. **准备开发环境** 确保系统中具备必要的构建工具和库文件： ```bash sudo apt update && sudo apt upgrade -y sudo apt install build-essential cmake git pkg-config libgtk-3-dev \ libavcodec-dev libavformat-dev libswscale-dev libv4l-dev \ libjpeg-dev libpng-dev libtiff-dev gfortran openexr libatlas-base-dev python3-dev python3-numpy \ libdc1394-22-dev ``` 2. **下载 OpenCV 和 `opencv_contrib` 源码** 下载指定版本的 OpenCV 和其扩展模块 `opencv_contrib`： ```bash cd ~ git clone https://github.com/opencv/opencv.git cd ~/opencv git checkout 3.2.0 cd ~ git clone https://github.com/opencv/opencv_contrib.git cd ~/opencv_contrib git checkout 3.2.0 ``` 3. **创建构建目录并运行 CMake** 使用 CMake 工具生成 Makefile 文件，并启用所需的选项： ```bash mkdir -p ~/opencv/build && cd ~/opencv/build cmake -D CMAKE_BUILD_TYPE=RELEASE \ -D CMAKE_INSTALL_PREFIX=/usr/local \ -D INSTALL_C_EXAMPLES=ON \ -D INSTALL_PYTHON_EXAMPLES=ON \ -D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib/modules \ -D BUILD_EXAMPLES=ON .. ``` 4. **执行编译与安装** 开始编译项目并将结果部署至目标路径： ```bash make -j$(nproc) sudo make install sudo ldconfig ``` 5. **验证安装成功与否** 完成上述操作后，可通过如下指令确认当前系统的 OpenCV 是否为期望版本： ```bash pkg-config --modversion opencv ``` #### 方法三：一键脚本自动化安装针对不熟悉 Linux 命令行操作的新手用户而言，可尝试借助预先编写好的 Shell 脚本来简化整个流程。例如，在某些社区分享中有提供专门用于 Ubuntu 18.04 的一键安装方案[^3]。 --- ### 注意事项 - 如果计划同时保留多个不同版本的 OpenCV 实例，请务必调整 `-D CMAKE_INSTALL_PREFIX=` 参数指向独立的目标地址。 - 对于虚拟化平台上的应用实例（比如 VMware），需额外关注硬件加速支持状况及其兼容性问题[^2]。