Ubuntu18.04 配置hadoop3.2(伪分布式安装)并运行wordcount步骤

本文详细介绍了在Ubuntu18.04系统上配置Hadoop3.2伪分布式环境的步骤,包括JDK配置、路径设置、集群ID调整、用户创建及运行wordcount示例的过程。

Ubuntu18.04 配置hadoop3.2(伪分布式安装)并运行wordcount步骤

  1. 下载hadoop 直接选3.2版本(目前最新) 64位linux走起
    记得配置好jdk 准备工作要做好
    然后解压hadoop 路径自己选择
  2. 教学用的是伪分布式,所以我也是按照伪分布式的步骤进行安装,在修改配置文件的时候
    注意修改路径!! 就是你hadoop安装在哪里\

在这里插入图片描述
如图所示 同理hdfs-site.xml 也一样 不然重新格式化的时候会失败。
如果出现jdk not found 的错误 就在hadoop-env.sh 里修改JAVA_HOME把他改为绝对路径。
记得把#号去掉!!并且 source一下才能生效。

接下来运行hadoop
./sbin start-all.sh
jps查看当前运行的进程 没有发现datanode的话

在这里插入图片描述

这里里面有一个version的文件
里面有这个东西
clusterID=*** 把name里面的clusterID 复制到 data里 保持两者一致。

jps 发现进程都出来拉
在这里插入图片描述

创建用户拉 在终端找不到不用怕 因为我们这里是HDFS系统
直接 hadoop fs -ls / 就可以查看是否创建成功!!!

接下来运行例子!
wordcount /input /output
input ouput路径记得空格隔开!!!

在这里插入图片描述

成功!!

### 在 Ubuntu 18.04安装 OpenCV 3.2 的方法 在 Ubuntu 18.04安装 OpenCV 3.2 可以通过多种方式实现,具体取决于用户的实际需求以及环境中是否存在其他依赖项(如 ROS Melodic)。以下是详细的说明: #### 方法一:利用 ROS Melodic 自动安装 OpenCV 3.2 如果用户已经安装了 ROS Melodic,则无需单独安装 OpenCV 3.2,因为 ROS Melodic 默认会自动安装该版本的 OpenCV 将其放置于 `/usr/lib` 路径下[^1]。可以通过以下命令验证已安装的 OpenCV 版本: ```bash pkg-config --modversion opencv ``` #### 方法二:手动编译安装 OpenCV 3.2 和 `opencv_contrib-3.2.0` 对于需要自定义配置或者希望覆盖 ROS Melodic 所附带的 OpenCV 版本的情况,可以采用手动编译的方式完成安装。此过程涉及以下几个方面: 1. **准备开发环境** 确保系统中具备必要的构建工具和库文件: ```bash sudo apt update && sudo apt upgrade -y sudo apt install build-essential cmake git pkg-config libgtk-3-dev \ libavcodec-dev libavformat-dev libswscale-dev libv4l-dev \ libjpeg-dev libpng-dev libtiff-dev gfortran openexr libatlas-base-dev python3-dev python3-numpy \ libdc1394-22-dev ``` 2. **下载 OpenCV 和 `opencv_contrib` 源码** 下载指定版本的 OpenCV 和其扩展模块 `opencv_contrib`: ```bash cd ~ git clone https://github.com/opencv/opencv.git cd ~/opencv git checkout 3.2.0 cd ~ git clone https://github.com/opencv/opencv_contrib.git cd ~/opencv_contrib git checkout 3.2.0 ``` 3. **创建构建目录运行 CMake** 使用 CMake 工具生成 Makefile 文件,启用所需的选项: ```bash mkdir -p ~/opencv/build && cd ~/opencv/build cmake -D CMAKE_BUILD_TYPE=RELEASE \ -D CMAKE_INSTALL_PREFIX=/usr/local \ -D INSTALL_C_EXAMPLES=ON \ -D INSTALL_PYTHON_EXAMPLES=ON \ -D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib/modules \ -D BUILD_EXAMPLES=ON .. ``` 4. **执行编译与安装** 开始编译项目将结果部署至目标路径: ```bash make -j$(nproc) sudo make install sudo ldconfig ``` 5. **验证安装成功与否** 完成上述操作后,可通过如下指令确认当前系统的 OpenCV 是否为期望版本: ```bash pkg-config --modversion opencv ``` #### 方法三:一键脚本自动化安装 针对不熟悉 Linux 命令行操作的新手用户而言,可尝试借助预先编写好的 Shell 脚本来简化整个流程。例如,在某些社区分享中有提供专门用于 Ubuntu 18.04 的一键安装方案[^3]。 --- ### 注意事项 - 如果计划同时保留多个不同版本的 OpenCV 实例,请务必调整 `-D CMAKE_INSTALL_PREFIX=` 参数指向独立的目标地址。 - 对于虚拟化平台上的应用实例(比如 VMware),需额外关注硬件加速支持状况及其兼容性问题[^2]。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值