(2)hadoop系列之hadoop本地模式部署

hadoop本地部署 Hadoop本地部署 1.在进行hadoop本地部署之前我们要先安装好VMware上的CentOs虚拟机。 2.我这里用的是xshell连接上虚拟机上更好的操作 3.准备好vmware,xshell,hadoop和jdk文件 关闭一下相关的防火墙 这里先输入 systemctl stop firewalld,systemctl disable firewalld,systemctl status firewalld关闭系统的防火墙,并让虚拟机在重新启动或关机后再打开是不再自动启动防火墙。 当出现这样的代码表 阅读详情

感谢朋友支持本博客,欢迎共同探讨交流,由于能力和时间有限,错误之处在所难免,欢迎指正!

如果转载,请保留作者信息。


hadoop系列之hadoop本地模式部署

Hadoop部署模式

Hadoop部署模式有:本地模式、伪分布模式、完全分布式模式

本地模式:默认情况下,Hadoop被配置为以非分布模式运行,作为单个Java进程。这对调试很有用,或者快速安装体验Hadoop

伪分布模式:Hadoop也可以在伪分布模式下的单节点上运行,其中每个Hadoop守护进程都在单独的Java进程中运行,学习Hadoop一般是在伪分布式模式下进行。这种模式是在一台机器上各个进程上运行Hadoop的各个模块,伪分布式的意思是虽然各个模块是在各个进程上分开运行的,但是只是运行在一个操作系统上的,并不是真正的分布式。

完全分布式模式:完全分布式模式才是生产环境采用的模式,Hadoop运行在服务器集群上,生产环境一般都会做HA,以实现高可用。

 

本文介绍hadoop的本地模式部署方法

本地模式是最简单的模式,所有模块都运行与一个JVM进程中,使用的本地文件系统,而不是HDFS,本地模式主要是用于本地开发过程中的运行调试用。下载hadoop安装包后,解压hadoop后就是直接可以使用,不用任何设置,默认的就是本地模式。

 

[root@hadoop softwares]# tar -zxvfhadoop-2.5.0-cdh5.3.6.tar.gz   -C/opt/modules/

[root@hadoop ~]# cd/opt/modules/hadoop-2.5.0-cdh5.3.6/

[root@hadoop hadoop-2.5.0-cdh5.3.6]# mkdirinput    创建本地存储目录

[root@hadoop hadoop-2.5.0-cdh5.3.6]# mkdir-p /opt/data/

[root@hadoop hadoop-2.5.0-cdh5.3.6]# touch/opt/data/data.input  创建测试文件

[root@hadoop hadoop-2.5.0-cdh5.3.6]# vi/opt/data/data.input   写入测试数据

hadoop mapreduce hive

hbase spark storm

sqoop hadoop hive

spark hadoop

运行MapReduce程序

[root@hadoop hadoop-2.5.0-cdh5.3.6]#bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jarwordcount /opt/data/data.input output

 

注意:wordcount 统计数据的输出次数; /opt/data/data.input为准备的数据;  output为自动生成的输出目录,如果output目录存在,则运行程序为报错,如下所示:

18/03/1904:44:44WARNsecurity.UserGroupInformation:PriviledgedActionExceptionas:root (auth:SIMPLE)cause:org.apache.hadoop.mapred.FileAlreadyExistsException:Output directoryfile:/opt/modules/hadoop-2.5.0-cdh5.3.6/output already exists

org.apache.hadoop.mapred.FileAlreadyExistsException:Outputdirectoryfile:/opt/modules/hadoop-2.5.0-cdh5.3.6/output already exists

 

解决办法:删除output目录

rm -rf /opt/modules/hadoop-2.5.0-cdh5.3.6/output 

 

看到以下结果,说明hadoop本地模式运行成功:

 

查看输出文件,本地模式下,mapreduce的输出是输出到本地。

[root@hadoop hadoop-2.5.0-cdh5.3.6]# ls -l output/

total 4

-rw-r--r-- 1 root root 60 Mar 19 04:45 part-r-00000

-rw-r--r-- 1 root root  0Mar 19 04:45 _SUCCESS

[root@hadoop hadoop-2.5.0-cdh5.3.6]# cat output/part-r-00000

hadoop  3

hbase   1

hive    2

mapreduce   1

spark   2

sqoop   1

storm   1

 

[root@hadoop hadoop-2.5.0-cdh5.3.6]# cp etc/hadoop/*.xml  ./input

[root@hadoop hadoop-2.5.0-cdh5.3.6]#bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar  grep input output2  'dfs[a-z.]+'

过滤dfs开头的单词到putput2目录中


hadoop本地运行成功:

 

[root@hadoophadoop-2.5.0-cdh5.3.6]# ls -l output2/

total 4

-rw-r--r-- 1 rootroot 11 Mar 19 04:59 part-r-00000

-rw-r--r-- 1 rootroot  0 Mar 19 04:59 _SUCCESS

[root@hadoop hadoop-2.5.0-cdh5.3.6]#cat output2/part-r-00000

1    dfsadmin

输出目录中有_SUCCESS文件说明JOB运行成功,part-r-00000是输出结果文件


至此,hadoop本地模式部署演示完成。

Hadoop大数据_安装jdk、hadoop 安装jdk 一、开启网络,ifconfig指令查看ip 二、修改主机名 hostnamectl set-hostname hadoop 三、查看防火墙状态并打开防火墙 1.firewall-cmd --state查看防火墙状态 2.systemctl start iptables.service打开防火墙 3.reboot 重启Linux 四、删除已有的jdk 查看java安装版本:java -version 查看java安装包:rpm -qa|grep java 删除java安装包: 阅读详情

相关推荐

Hadoop本地模式部署全攻略:从零搭建、报错排查到WordCount验证

大数据开发入门常卡在环境搭建环节,其中Hadoop本地模式作为最轻量级的运行形态,是理解分布式计算原理的起点。本地模式(Standalone Mode)将所有组件运行在单一Java进程中,无需启动HDFS或YARN守护进程,适合快速验证MapReduce程序逻辑。部署时主要关注JDK版本、JAVA_HOME配置和目录权限三项前置条件,并在运行官方WordCount示例时留意jar包完整路径与输入输出目录规则。针对高频报错如“jar does not exist or is not a normal file

weixin_29045585的博客 251

Hadoop的伪分布式部署

1.配置集群环境 (1)修改第一个配置 在/opt/module/hadoop-3.1.3/etc/hadoop目录下 设置hadoop-env.sh文件 Vi hadoop-env.sh 命令模式下输入/搜索JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_212 (2)修改第二个配置 在/opt/module/hadoop-3.1.3/etc/hadoop目录下 设置core-site.xml文件 Vi core-site.xml

m0_64900521的博客 274

Hadoop部署本地模式

​ 本地模式,即运行在单台机器上。没有分布式的思想,使用的是本地文件系统。使用本地模式主要是用于对MapReduce的程序的逻辑进行调试,确保程序的正确性。由于在本地模式下测试和调试MapReduce程序较为方便,因此,这种模式适合用在开发阶段。上传JDK安装包到指定的路径。上传Hadoop到指定的路径。重新引导,使得环境变量生效。重新引导,使得环境变量生效。解压JDK到指定安装路径。大数据简介-什么是大数据。验证JDK是否配置完成。Hadoop的目录说明。执行wordcount。

千锋教育 2003

hadoop—haddop部署、yarn管理器使用、hdfs的高可用、yarn的高可用、Hbase分布式部署

1、hadoop简介

qq_43114229的博客 563

Hadoop安装部署之本地模式

Hadoop有三种安装模式:本地模式,伪分布模式,全分布模式 一. 本地模式 特点:没有HDFS,只能测试MapReduce程序(不是运行在Yarn中,做一个独立的Java程序来运行) 配置本地模式: 2.所有配置文件在安装Hadoop的etc下Hadoop目录进行: 3.设置JAVA_HOME路径 4.把第25行的JAVA_HOME=${JAVA_HOME}更改为JAVA_HOME=/r...

qq_42005532的博客 1731

Hadoop本地模式安装

Hadoop部署模式有:本地模式、伪分布模式、完全分布式模式、HA完全分布式模式。 区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。 模式名称 各个模块占用的JVM进程数 各个模块运行在几个机器数上 本地模式 1个 1个 伪分布式模式 N个 1个 完全分布式...

qq_42944407的博客 381

【hadoop】部署hadoop的本地模式

2023/7/15

qq_43495411的博客 1366

2,Hadoop环境搭建之本地模式

二次JDK配置的原因: Ssh命令远程调用其它结点的时候,不会加载/etc/profile文件。我们一般部署JDK的时候将JAVA_HOME写在profile文件中,hadoop需要jdk,远程脚本启动其它结点的时候会失败。需要在hadoop中再做二次jdk配置。(就是因为远程调用对方的时候不会加载对方的etc/profile文件导致拿不到JAVA_HOME) 集群配置步骤分析: 分三步1,...

搁浅记忆的博客 802

【Hadoop集群搭建】JDK安装及配置、Hadoop本地模式部署及测试

1. 熟悉 SSH 工具的使用方法 2. 掌握 JDK 安装及配置 3. 掌握 Hadoop 本地模式部署及测试

布丁椰奶冻的博客 2479

ANSYS APDL生死单元实战:焊接模拟从入门到精通(附完整命令流)

本文详细介绍了使用ANSYS APDL进行焊接模拟的核心技术——生死单元法。通过一个完整的平板对接焊案例,从原理剖析、模型搭建、命令流编写到移动热源施加和后处理,手把手指导工程师掌握这一动态仿真方法,有效预测焊接过程中的温度场、残余应力与变形。

k6l7m8n9的博客 153

UG/NX二次开发实战:用Python脚本批量更新100个零件参数,解放你的双手

本文详细介绍了如何利用NXOpen Python API进行UG/NX二次开发,实现批量更新100个零件参数的自动化流程。通过环境配置、框架设计、核心代码实现及性能优化,帮助工程师高效完成参数化设计任务,显著提升工作效率。

weixin_28694169的博客 277

centos8单机(本地模式)部署hadoop-3.2.1

知识了解 单机部署模式介绍 单机(本地模式)是Hadoop的默认部署模式。 当配置文件为空时,Hadoop完全运行在本地。 不需要与其他节点交互,单机(本地模式)就不使用HDFS,也不加载任何Hadoop的守护进程。 该模式主要用于开发调试MapReduce程序的应用逻辑。 一、安装jdk1.8 1.下载好jdk1.8并放到root目录下 2.解压到/usr/java下并改名为jkd mkdir /usr/java tar -zxvf jdk-8u191-linux-x.

dp340823的博客 3796

DCDC--控制方式(Control Mode)

DCDC反馈控制方式

网始如芯个人博客 1万+

hadoop本地模式部署_Hadoop安装部署的三种模式总结

Hadoop安装部署的三种模式总结目前来说,Hadoop的安装部署的模式一共有三种,就是如下三种:1.本地模式2.伪分布模式3.全分布模式默认的模式,无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。使用本地文件系统,而不是分布式文件系统。在一台主机模拟多主机。即,Hadoop的守护程...

weixin_39564368的博客 1293

C2000 CLA协处理器:嵌入式实时控制性能优化与实战指南

在嵌入式实时控制系统中,主CPU常因高频率、低延迟的控制算法而面临性能瓶颈。为解决此问题,协处理器技术应运而生,它通过硬件并行架构分担计算密集型任务,从而提升系统整体性能。其核心原理在于独立的计算单元与总线设计,能够实现近乎零延迟的响应,这对于电机驱动、数字电源等闭环控制场景具有极高的技术价值。本文聚焦于德州仪器C2000系列微控制器中的控制律加速器(CLA),深入解析其作为独立浮点协处理器如何通过任务调度与消息RAM通信机制,有效实现性能倍增,并提供了从内存配置到代码调试的完整工程实践方案。

weixin_29192211的博客 306

YOLOV12进阶:MSDA多尺度空洞注意力机制解析与实战,突破检测尺度瓶颈

在目标检测中,“尺度差异”是个老大难问题——大目标占据画面大半,小目标可能只有几个像素,普通模型很难同时精准检测。而MSDA(Multi-Scale Dilated Attention,多尺度空洞注意力)就像给模型配备了“变焦眼镜”,能同时关注不同尺度的目标,让YOLOV12在大、中、小目标检测上都能表现出色。这篇教程会带你从原理到实操,掌握这个强大的注意力机制,让你的检测模型真正“通吃”各种尺度的目标。MSDA的“多尺度空洞注意力”设计,是目标检测突破尺度瓶颈的关键一步。

know_F0727的博客 264

Hadoop之本地模式

本地模式介绍 本地模式是最简单的模式,所有模块都运行在一个JVM进程中,使用本地文件系统而不是HDFS。 特点 : 本地模式,即运⾏在单台机器上,没有分布式思想,使⽤的是本地⽂件系统。 ⽤途 : 本地模式主要⽤于对 MapReduce 程序的逻辑进⾏调试,确保程序的正确。由于在本地模式下测试和调试 MapReduce 程序较为⽅便,因此,这种模式适宜⽤在开发阶段。【主要是用于本地开发过程中的运行调试用,下载后的Hadoop不需要设置默认就是本地模式。】 平台以及软件介绍 平台 & 软件

yandao的博客 1611

【图论】系列(一)之图论的构成

图论是研究图的数学分支,本章介绍了图论的基本构成和概念

qq_30066733的博客 751

【赵渝强老师】部署Hadoop本地模式

因此,Hadoop本地模式只能测试MapReduce任务,并把MapReduce任务运行本地,与运行一个普通的Java程序完全一样。为了方便操作Hadoop,需要设置HADOOP_HOME的环境变量,并把bin和sbin目录加入系统的PATH路径中。(5)进入Hadoop MapReduce的Example目录,并执行WordCount程序。先执行下面的语句将Hadoop的安装介质解压的/root/training目录。(6)最后的结果将输出到/root/output/wc下,如下图所示。

赵渝强老师优快云博客主页 563

Python 实战:全面解析“微信搜一搜”内容爬取,从入门到企业级架构

本文将带你从零搭建爬虫项目,采用 Requests、Scrapy、Selenium、Proxy 池、中间人监控(如 Fiddler/mitmproxy)、分布式调度、数据库持久化、断点续抓等方案,实现可持续、抗封能力强的内容抓取系统。理解“微信搜一搜”页面结构与 Javascript 渲染逻辑;使用 Scrapy 框架搭建分布式爬虫;使用 Selenium 模拟浏览器抓取;构建代理池提升爬取成功率;对抗验证码、IP 封禁与 cookie 过期问题;

2201_76125261的博客 1395

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

hadoop本地模式部署_Hadoop本地模式部署

系统支持:CentOS 6.3部署资源:JDK1.7、Hadoop-2.2.0hostname:reagina01ipaddress:192.168.8.201java version "1.7.0_80"安装Hadoop:[root@reagina01 ~]# mkdir /reagina[root@reagina01 ~]# tar -zxvf hadoop-2.2.0-64bit.tar.g...

weixin_39965161的博客 146

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

hadoop本地模式部署_简述Hadoop各种部署方式及学习路线

Hadoop是一个由Apache基金会所开发的分布式系统的基础架构;Hadoop的核心就是HDFS和MapReduce,HDFS为海量数据的持久化存储提供了一个分布式环境,MapReduce则是在HDFS的基础之上对海量数据进行计算;需要特别声明的是:MapReduce既是一个计算框架,也是一种编程思想,这种框架为海量数据分布式计算提供了可能性,编程思想则是实现这种计算的思路和灵魂。HDFS自身设...

weixin_39898248的博客 605

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

hadoop本地模式部署_hadoop本地模式安装及配置

创建普通用户#仅测试环境使用hostnamectl set-hostname centos-hadoop01chmod 777 /opt/chmod 777 /etc/profile#仅测试环境使用sudo su -useradd centosecho "centos:centos" | chpasswdsu - centosssh-keygen -t rsa -P '' -f ~/.ssh/id...

weixin_39540834的博客 404

Hive 部署实战:从本地模式到远程集群的全流程解析

目录本地模式部署Hive远程模式部署配置环境变量:vi /etc/profile.d/custom_env.sh 配置hive-env.sh 进入这个文件夹下:/opt/installs/hive/conf cp hive-env.sh.template hive-env.sh 给hdfs创建文件夹: 使用本地模式的最大特点是:将元数据从derby数据库,变为mysql数据库,并且支持多窗口同时使用。 第一步:检查你的mysql是否正常(若是还未安装MySQL,可以去我主页查看以前的博客,有安装教程) 第二

m0_51350088的博客 1143

【Hadoop集群搭建】Hadoop运行模式——本地模式(附Hadoop目录结构了解)

好接下来!我们来学习本地模式。 首先来了解一下H的目录结构。 马赛克涂掉的是我之后产生的文件,剩下的是一个原本的干干净净的目录。 介绍几个重要的常用的如下: Hadoop的运行模式分为 本地模式 / 伪分布式 / 完全分布式 三种,下面我们来讲第一种——最简单的也是最基础的 本地模式(Local/Standalone Operation) 顾名思义,本地模式是一种只运行在本机上的模式,“在默...

weixin_44891285的博客 1736
上一篇: (1)hadoop系列之hadoop基础环境调试
下一篇: (3)hadoop系列之hadoop伪分布式模式部署
远虑近忧
博客等级 码龄9年 1粉丝 8原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

远虑近忧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值