Ubuntu18.04 配置hadoop3.2（伪分布式安装）并运行wordcount步骤

最新推荐文章于 2021-05-11 13:00:47 发布
原创 最新推荐文章于 2021-05-11 13:00:47 发布 · 1.4k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

本文详细介绍了在Ubuntu18.04系统上配置Hadoop3.2伪分布式环境的步骤，包括JDK配置、路径设置、集群ID调整、用户创建及运行wordcount示例的过程。

Ubuntu18.04 配置hadoop3.2（伪分布式安装）并运行wordcount步骤

  1. 下载hadoop 直接选3.2版本（目前最新） 64位linux走起
    记得配置好jdk 准备工作要做好
    然后解压hadoop 路径自己选择
  2. 教学用的是伪分布式，所以我也是按照伪分布式的步骤进行安装，在修改配置文件的时候
    注意修改路径！！ 就是你hadoop安装在哪里\

在这里插入图片描述
如图所示 同理hdfs-site.xml 也一样 不然重新格式化的时候会失败。
如果出现jdk not found 的错误 就在hadoop-env.sh 里修改JAVA_HOME把他改为绝对路径。
记得把#号去掉！！并且 source一下才能生效。

接下来运行hadoop
./sbin start-all.sh
jps查看当前运行的进程 没有发现datanode的话

在这里插入图片描述

这里里面有一个version的文件
里面有这个东西
clusterID=*** 把name里面的clusterID 复制到 data里 保持两者一致。

jps 发现进程都出来拉
在这里插入图片描述

创建用户拉 在终端找不到不用怕 因为我们这里是HDFS系统
直接 hadoop fs -ls / 就可以查看是否创建成功!!!

接下来运行例子！
wordcount /input /output
input ouput路径记得空格隔开!!!

在这里插入图片描述

成功！！

ubuntu16.04搭建hadoop运行WordCount
weixin_44366140的博客
02-07 413
1.解压文件到opt下 tar zxvf hadoop-2.7.2.tar.gz -C /opt 2.vi /opt/hadoop-2.7.2/etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/jdk1.8.0_181 3.vi /opt/hadoop-2.7.2/etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</nam
Ubuntu安装单机1.2.1hadoop与伪分布式模式进行WordCount实验
挑灯看剑的专栏
04-10 2104
一、hadoop单机和伪分布式配置步骤
ubuntu运行hadoop的wordcount
09-22
ubuntu上面运行hadoop自带的wordcount实例
Ubuntu18.04安装hadoop伪分布式
linjixia的博客
03-25 1160
首先是装好jdk和弄好ssh免密登录。 安装jdk1.8教程：安装jdk ssh免密登录教程：ssh安装+免密登录教程 因为博主之后要装Hbase，所以要搞清楚，hadoop和jdk和hbase对应的版本问题。不装hbase的也要注意hadoop和jdk的版本问题。 版本对应问题教程 ...
ubuntu-18.04.4 Hadoop伪分布式环境安装
独醉的博客
04-20 2042
这里写目录标题安装和配置JAVA环境下载并解压JDK配置环境变量安装ssh-server并实现免密码登录下载ssh-server启动ssh查看ssh服务是否启动，如果显示相关ssh字样则表示成功设置免密码登录安装Hadoop单机版和伪分布式环境下载hadoop-2.7.4.tar.gz配置.bashsc文件伪分布式搭建关机重启验证Hadoop是否安装配置成功验证hadoop单机模式已经安装成功启动...
linux运行wordcount,Ubuntu16.04上运行Hadoop2.7.3自带example wordCount摸索记录
weixin_28543661的博客
05-11 121
首先最最重要的写在最前面，也是我觉得个人踩得最深的坑，刚接触hadoop的人，缺少的认识：hdfs的理解：它是一个文件系统，跟linux的文件系统是类似的结构，拥有类似的语法，大概就是你在linux上ls查看文件列表，那么hdfs的无非就是hadoop fs -ls。hadoop的输入输出，都是从hdfs读取和写入的，那么比如运行hadoop的word count例子的时候，网上各种大坑教程中完全...
ubuntu18.04首次配置hadoop伪分布式以及出现的问题
NOT_GUY的博客
09-28 689
1、搞明白单机、伪分布式和集群的区别 单机：也称非分布式，是直接读写本地操作系统的文件系统，一般仅用于本地MR程序的调试。直接解压hadoop包就行，无需配置。 伪分布式：在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。在“单节点集群”上运行Hadoo...
Ubuntu18.04下安装Hadoop单机与伪分布式环境
gbh18682030862的博客
12-24 2354
准备 Ubuntu18.04/64-bit Hadoop-2.7 JAVA JDK1.13.0.1 安装JDK 从这里下载对应版本的JDK，选择Linux版本，记住自己下载的版本号，后面配置时候需要用到。 新建/usr/java目录，切换到所下载的jdk-13.0.1_linux-x64_bin.tar.gz目录。将文件解压到/usr/java目录下。 以下所有操作都以root用户登录 s...
ubuntu安装伪分布式Hadoop3.1.2
aju1790的博客
05-15 334
作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 本文是基于已经安装好的ubuntu环境上搭建伪分布式hadoop，在virtualbox安装ubuntu可以参考小编的 ”virtualbox安装ubuntu16.04 LTS及其配置“ ubuntu16.04安装mysql：https://ww...
ubuntu下hadoop运行wordcount程序
yonghutwo的专栏
03-06 4613
本机环境 ubuntu 12 hadoop 1.1.2 首先保证hadoop配置成功 1、在Hadoop的解压目录的如下位置可以找到WordCount.java的源文件 src/examples/org/apache/hadoop/examples/WordCount.java 新建一个wordcount的文件夹，将WordCount.java拷贝至dev/wordcount文件
Ubuntu Kylin16.04 安装Hadoop2.7.4 伪分布式
lucyLee的博客
11-12 786
最近，因为课程设计需要在Ubuntu上安装Hadoop。本人使用的是Ubuntu kylin 16.04，安装Hadoop2.7.4。安装过程都是参考别人的博客，自己一步一步摸索过来的。如果您在安装的过程中遇到了什么问题，请多自己查阅网上资料，毕竟每个人会遇到的问题可能是不一样的。一、安装JDKHadoop 2.7及更新版本需要JAVA 7支持，本人安装的是Oracle jdk1.8_151为例。
Hadoop在Linux下伪分布式的安装 wordcount实例的运行
琼华
09-11 1518
例子中所有命令   1.安装配置java1.6(不累述)。配置完毕后，在命令行中输入java-version，如出现下列信息说明java环境安装成功。 java version "1.6.0_20" Java(TM) SE Runtime Environment (build 1.6.0_20-b02) Java HotSpot(TM) Server VM (build 16.3-b01
在Ubuntu X64上编译Hadoop
weixin_33755557的博客
12-12 123
在之前的文章中介绍了如何直接在Ubuntu中安装Hadoop。但是对于64位的Ubuntu来说，官方给出的Hadoop包是32位的，运行时会得到警告： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where appl...
Hadoop(3.2.0) 伪分布式wordcount
qq_42304949的博客
09-16 337
hadoop wordcount bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar grep /input output 'dfs[a-z.]+' hdfs dfs -ls hdfs dfs put ./input input hdfs dfs mkdir input
hadoop源码编译
热门推荐
诗水人间
10-19 12万+
前提条件 首先确保Centos能够连接到外网：全新的系统在默认不改配置条件下就可以联网，如果修改则按照下面的方法修改 https://blog.csdn.net/qq_41813208/article/details/101027226 首先需要下载几个软件包 官网分别是： https://ant.apache.org/bindownload.cgi http://mav...
Ubuntu16.04环境下搭建Hadoop3.0.3伪分布式集群
菜鸟不会飞
11-14 2042
    最近刚好赶上双11腾讯促销，于是抢购了一个8核16G内存的云服务器，加上业务上需要用到hadoop，hive，于是想搭建搭建一个hadoop分布式集群，但是限于自己手头上服务器数量不多，因此打算先搭建一个hadoop伪分布式集群。   首先介绍一下我的安装环境：   （1）java version        （2）hadopp version     接下来，开始我的环境搭...
大数据Hadoop环境配置：Win10 VMware虚拟机 安装Ubuntu18.04 JDK Hadoop 伪分布式配置 wordcount实例运行
lzbmc的博客
07-05 2121
一、Win10 VMware虚拟机 安装Ubuntu18.04 详细步骤：https://blog.csdn.net/lzbmc/article/details/90757592 Tips: 安装了VMware Tools：可以在宿主机和虚拟机之间直接拷贝文件。 会弹出VMWareTools所在的文件夹，然后右键VMWare Tools.tar.gz，copy to到Home目录下。 ...
Ubuntu16.04安装Hadoop单机和伪分布式环境超详细
康康
12-10 3万+
介绍：Hadoop是Apache开源组织的一个分布式计算框架，可以在大量廉价的硬件设备组成的集群上运行应用程序，为应用程序提供了一组稳定可靠的接口，旨在构建一个具有高可靠性和良好扩展性的分布式系统。 HDFS（ 分布式文件系统）为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。通过这次云计算课程，我希望通过自己亲手搭建Hadoop并操作一些实例来体会一下云计算的魅力。 安装环
虚拟机 安装 ubuntu 18.04 使用hadoop搭建伪分布式
YL0701的博客
01-22 2398
介绍：Hadoop是Apache开源组织的一个分布式计算框架，可以在大量廉价的硬件设备组成的集群上运行应用程序，为应用程序提供了一组稳定可靠的接口，旨在构建一个具有高可靠性和良好扩展性的分布式系统。 HDFS（分布式文件系统）为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。通过这次云计算课程，我希望通过自己亲手搭建Hadoop并操作一些实例来体会一下云计算的魅力。 安装环境：我...
ubuntu18.04安装opencv3.2
最新发布
03-17
### 在 Ubuntu 18.04 上安装 OpenCV 3.2 的方法 在 Ubuntu 18.04 中安装 OpenCV 3.2 可以通过多种方式实现，具体取决于用户的实际需求以及环境中是否存在其他依赖项（如 ROS Melodic）。以下是详细的说明： #### 方法一：利用 ROS Melodic 自动安装 OpenCV 3.2 如果用户已经安装了 ROS Melodic，则无需单独安装 OpenCV 3.2，因为 ROS Melodic 默认会自动安装该版本的 OpenCV 并将其放置于 `/usr/lib` 路径下[^1]。可以通过以下命令验证已安装的 OpenCV 版本： ```bash pkg-config --modversion opencv ``` #### 方法二：手动编译并安装 OpenCV 3.2 和 `opencv_contrib-3.2.0` 对于需要自定义配置或者希望覆盖 ROS Melodic 所附带的 OpenCV 版本的情况，可以采用手动编译的方式完成安装。此过程涉及以下几个方面： 1. **准备开发环境** 确保系统中具备必要的构建工具和库文件： ```bash sudo apt update && sudo apt upgrade -y sudo apt install build-essential cmake git pkg-config libgtk-3-dev \ libavcodec-dev libavformat-dev libswscale-dev libv4l-dev \ libjpeg-dev libpng-dev libtiff-dev gfortran openexr libatlas-base-dev python3-dev python3-numpy \ libdc1394-22-dev ``` 2. **下载 OpenCV 和 `opencv_contrib` 源码** 下载指定版本的 OpenCV 和其扩展模块 `opencv_contrib`： ```bash cd ~ git clone https://github.com/opencv/opencv.git cd ~/opencv git checkout 3.2.0 cd ~ git clone https://github.com/opencv/opencv_contrib.git cd ~/opencv_contrib git checkout 3.2.0 ``` 3. **创建构建目录并运行 CMake** 使用 CMake 工具生成 Makefile 文件，并启用所需的选项： ```bash mkdir -p ~/opencv/build && cd ~/opencv/build cmake -D CMAKE_BUILD_TYPE=RELEASE \ -D CMAKE_INSTALL_PREFIX=/usr/local \ -D INSTALL_C_EXAMPLES=ON \ -D INSTALL_PYTHON_EXAMPLES=ON \ -D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib/modules \ -D BUILD_EXAMPLES=ON .. ``` 4. **执行编译与安装** 开始编译项目并将结果部署至目标路径： ```bash make -j$(nproc) sudo make install sudo ldconfig ``` 5. **验证安装成功与否** 完成上述操作后，可通过如下指令确认当前系统的 OpenCV 是否为期望版本： ```bash pkg-config --modversion opencv ``` #### 方法三：一键脚本自动化安装 针对不熟悉 Linux 命令行操作的新手用户而言，可尝试借助预先编写好的 Shell 脚本来简化整个流程。例如，在某些社区分享中有提供专门用于 Ubuntu 18.04 的一键安装方案[^3]。 --- ### 注意事项 - 如果计划同时保留多个不同版本的 OpenCV 实例，请务必调整 `-D CMAKE_INSTALL_PREFIX=` 参数指向独立的目标地址。 - 对于虚拟化平台上的应用实例（比如 VMware），需额外关注硬件加速支持状况及其兼容性问题[^2]。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值