(3)hadoop系列之hadoop伪分布式模式部署

Linux下hadoop伪分布式模式部署 文章目录一、前言二、设置环境变量三、hadoop文件配置四、启动hadoop五、总结 一、前言 hadoop伪分布式部署需要jdk环境及安装hadoop,因之前在hadoop单机版配置写过,这里就不多赘述,未配置jdk环境或未安装hadoop可以去看看 https://blog.youkuaiyun.com/qq_41521180/article/details/88311299#hadoop_146 二、设... 阅读详情

感谢朋友支持本博客,欢迎共同探讨交流,由于能力和时间有限,错误之处在所难免,欢迎指正!

如果转载,请保留作者信息。

hadoop系列之hadoop伪分布式模式部署

hadoop伪分布式部署

伪分布式并不是真的分布式,这种模式是在一台机器上各个进程运行在Hadoop的各个模块上,各个进程是分开运行的,但是它们运行在同一操作系统上的,同一台机器上。

1、解压hadoop软件包

[root@hadoop softwares]# tar -zxvfhadoop-2.5.0-cdh5.3.6.tar.gz   -C /opt/modules/

2、创建一个普通用户

[root@hadoop ~]# useradd hadoop   创建一个hadoop普通用户

[root@hadoop ~]# passwd hadoop    为hadoop用户设置命名,密码为redhat

Changing password for user hadoop.

New password:

BAD PASSWORD: it is based on a dictionaryword

BAD PASSWORD: is too simple

Retype new password:

passwd: all authentication tokens updatedsuccessfully.

给hadoop用户sudo权限: vi /etc/sudoers

root    ALL=(ALL)       ALL

hadoop ALL=(root)   NOPASSWD:ALL

注意:生产环境一定要注意普通用户的权限限制

将hadoop文件夹的所有者指定为hadoop用户

如果存放hadoop的目录的所有者不是hadoop,之后hadoop运行中可能会有权限问题,那么就讲所有者改为hadoop。

[root@hadoop ~]# chown -R hadoop:hadoop /opt/modules/

3、配置Hadoop环境变量:vi /etc/profile,配置文明后面追加两行

exportHADOOP_HOME="/opt/modules/hadoop-2.5.0-cdh5.3.6/"

exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

[root@hadoop ~]# source/etc/profile   执行source命令使配置生效

 

 

验证HADOOP_HOME参数

[root@hadoop ~]# echo $HADOOP_HOME

/opt/modules/hadoop-2.5.0-cdh5.3.6/

4、配置hadoop-env.sh、mapred-env.sh、yarn-env.sh文件的JAVA_HOME环境变量

[root@hadoop hadoop-2.5.0-cdh5.3.6]# pwd

/opt/modules/hadoop-2.5.0-cdh5.3.6

[root@hadoop hadoop-2.5.0-cdh5.3.6]# vi etc/hadoop/hadoop-env.sh

[root@hadoop hadoop-2.5.0-cdh5.3.6]# vietc/hadoop/mapred-env.sh

[root@hadoophadoop-2.5.0-cdh5.3.6]# vi etc/hadoop/yarn-env.sh

修改三个环境变量的JAVA_HOME参数为:

export JAVA_HOME="/opt/modules/jdk1.7.0_79"

5、修改hadoop配置文件

[root@hadoop hadoop-2.5.0-cdh5.3.6]# vietc/hadoop/core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop.bigdata.com:8020</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/home/data/tmp</value>

    </property>

</configuration>

[root@hadoop hadoop-2.5.0-cdh5.3.6]# mkdir -p /home/data/tmp  

[root@hadoop hadoop-2.5.0-cdh5.3.6]# chown -R hadoop:hadoop/home/data/tmp

注意:fs.defaultFS参数配置的是HDFS的访问地址,默认的hadoop.tmp.dir是/tmp/hadoop-${user.name},此时有个问题就是NameNode会将HDFS的元数据存储在这个/tmp目录下,如果操作系统重启了,系统会清空/tmp目录下的东西,导致NameNode元数据丢失,是个非常严重的问题,所有我们应该修改这个路径。

 配置hdfs-site.xml

[root@hadoop hadoop-2.5.0-cdh5.3.6]# vi etc/hadoop/hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

因为这里是伪分布式环境,只有一个节点, HDFS存储时的备份数量这里设置为1。

6、格式化HDFS

[root@hadoop hadoop-2.5.0-cdh5.3.6]# bin/hdfs  namenode -format

格式化是对HDFS这个分布式文件系统中的DataNode进行分块,统计所有分块后的初始元数据的存储在NameNode中。

格式化后,查看core-site.xml里hadoop.tmp.dir(本例是/home/data/tmp目录)指定的目录下是否有了dfs目录,如果有,说明格式化成功。

[root@hadoop hadoop-2.5.0-cdh5.3.6]# ls -l /home/data/tmp

total 4

drwxr-xr-x 3 root root 4096 Mar 19 21:27 dfs

                        

[root@hadoop hadoop-2.5.0-cdh5.3.6]# ls -l/home/data/tmp/dfs/name/current/

total 16

-rw-r--r-- 1 root root 351 Mar 19 21:27 fsimage_0000000000000000000

-rw-r--r-- 1 root root 62 Mar 19 21:27 fsimage_0000000000000000000.md5

-rw-r--r-- 1 root root  2 Mar 19 21:27 seen_txid

-rw-r--r-- 1 root root 203 Mar 19 21:27 VERSION

fsimage是NameNode元数据在内存满了后,持久化保存到的文件。

fsimage*.md5 是校验文件,用于校验fsimage的完整性。

seen_txid 是hadoop的版本

vession文件里保存:

namespaceID:NameNode的唯一ID。

clusterID:集群ID,NameNode和DataNode的集群ID应该一致,表明是一个集群。

[root@hadoop hadoop-2.5.0-cdh5.3.6]# cat  /home/data/tmp/dfs/name/current/VERSION

#Mon Mar 19 21:27:10 EDT 2018

namespaceID=463572925    NameNode的唯一ID

clusterID=CID-59416b37-322b-40bc-b8d4-c5e7795c8935集群ID,namenode和datanode集群ID相同

cTime=0

storageType=NAME_NODE

blockpoolID=BP-1469574068-10.20.30.75-1521509230503

layoutVersion=-59

[root@hadoop hadoop-2.5.0-cdh5.3.6]# sbin/hadoop-daemon.shstart  namenode    启动namenode

starting namenode, logging to/opt/modules/hadoop-2.5.0-cdh5.3.6/logs/hadoop-root-namenode-hadoop.bigdata.com.out

[root@hadoop hadoop-2.5.0-cdh5.3.6]# sbin/hadoop-daemon.shstart  datanode     启动datanode

starting datanode, logging to/opt/modules/hadoop-2.5.0-cdh5.3.6/logs/hadoop-root-datanode-hadoop.bigdata.com.out

[root@hadoop hadoop-2.5.0-cdh5.3.6]# sbin/hadoop-daemon.shstart secondarynamenode

starting secondarynamenode, logging to/opt/modules/hadoop-2.5.0-cdh5.3.6/logs/hadoop-root-secondarynamenode-hadoop.bigdata.com.out

[root@hadoop hadoop-2.5.0-cdh5.3.6]# jps    查看相关进程是否启动成功

7087 Jps

6876 DataNode

6827 NameNode

7033 SecondaryNameNode

7、HDFS功能测试(创建目录、上传、下载文件)

[root@hadoop hadoop-2.5.0-cdh5.3.6]# bin/hdfsdfs  -mkdir /test2     创建目录

18/03/19 22:47:17 WARN util.NativeCodeLoader: Unable to loadnative-hadoop library for your platform... using builtin-java classes whereapplicable

[root@hadoop hadoop-2.5.0-cdh5.3.6]#bin/hdfs dfs -ls /      查看是否创建成功

18/03/19 22:47:40 WARN util.NativeCodeLoader: Unable to loadnative-hadoop library for your platform... using builtin-java classes whereapplicable

Found 2 items

drwxr-xr-x   - rootsupergroup          0 2018-03-19 22:45/test

drwxr-xr-x   - rootsupergroup          0 2018-03-19 22:47/test2

上传文件到hdfs文件系统上

[root@hadoop hadoop-2.5.0-cdh5.3.6]#bin/hdfs dfs -put etc/hadoop/*.xml /test2

[root@hadoop hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs -ls /test2

Found 8 items

-rw-r--r--   1 rootsupergroup       3589 2018-03-19 22:50/test2/capacity-scheduler.xml

-rw-r--r--   1 rootsupergroup        998 2018-03-19 22:50/test2/core-site.xml

-rw-r--r--   1 rootsupergroup       9201 2018-03-19 22:50/test2/hadoop-policy.xml

-rw-r--r--   1 rootsupergroup        867 2018-03-19 22:50/test2/hdfs-site.xml

-rw-r--r--   1 rootsupergroup        620 2018-03-19 22:50/test2/httpfs-site.xml

-rw-r--r--   1 rootsupergroup       3523 2018-03-19 22:50/test2/kms-acls.xml

-rw-r--r--   1 rootsupergroup       5511 2018-03-19 22:50/test2/kms-site.xml

-rw-r--r--   1 rootsupergroup        690 2018-03-19 22:50/test2/yarn-site.xml

 读取HDFS上的文件内容

[root@hadoop hadoop-2.5.0-cdh5.3.6]# bin/hdfsdfs -cat /test2/yarn-site.xml

从HDFS上下载文件到/tmp目录下

[root@hadoop hadoop-2.5.0-cdh5.3.6]# bin/hdfsdfs -get /test2/yarn-site.xml  /tmp  下载到/tmp目录下

8、配置yarn

默认没有mapred-site.xml文件,但是有个mapred-site.xml.template配置模板文件。复制模板生成mapred-site.xml。

[root@hadoop hadoop-2.5.0-cdh5.3.6]# cpetc/hadoop/mapred-site.xml.template  etc/hadoop/mapred-site.xml

[root@hadoop hadoop-2.5.0-cdh5.3.6]# vietc/hadoop/mapred-site.xml

<configuration>

   <property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

   </property>

</configuration>

指定mapreduce运行在yarn框架上。

[root@hadoop hadoop-2.5.0-cdh5.3.6]# vietc/hadoop/yarn-site.xml

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

    </property>

    <property>

   <name>yarn.resourcemanager.hostname</name>

<value>hadoop.bigdata.com</value>

</property>

</configuration>

yarn.nodemanager.aux-services配置了yarn的默认混洗方式,选择为mapreduce的默认混洗算法。

yarn.resourcemanager.hostname指定了Resourcemanager运行在哪个节点上。

9、启动yarn

[root@hadoop hadoop-2.5.0-cdh5.3.6]# sbin/yarn-daemon.sh  start resourcemanager

starting resourcemanager, logging to /opt/modules/hadoop-2.5.0-cdh5.3.6/logs/yarn-root-resourcemanager-hadoop.bigdata.com.out

[root@hadoop hadoop-2.5.0-cdh5.3.6]# sbin/yarn-daemon.shstart nodemanager

starting nodemanager, logging to/opt/modules/hadoop-2.5.0-cdh5.3.6/logs/yarn-root-nodemanager-hadoop.bigdata.com.out

[root@hadoop hadoop-2.5.0-cdh5.3.6]#jps

6876 DataNode

6827 NameNode

8108 ResourceManager

7033 SecondaryNameNode

8478 Jps

8358 NodeManager

可以看到ResourceManager、NodeManager已经启动成功了。

 

[root@hadoop hadoop-2.5.0-cdh5.3.6]# bin/hdfsdfs  -rmr /user/root/out*    删除数据

YARN的Web页面

 

 

 

10 运行MapReduce job 体验hadoop平台

在Hadoop的share目录里,自带了一些jar包,里面带有一些mapreduce实例小例子,位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar,可以运行这些例子体验刚搭建好的Hadoop平台,我们这里来运行最经典的WordCount实例。

[root@hadoop hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs-mkdir -p /file/input  创建测试用输入目录

[root@hadoop hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs-put etc/hadoop/*.xml  /file/input  上传测试文件

[root@hadoop]# bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar grep/file/input  output 'dfs[a-z.]+'

 

[root@hadoop hadoop-2.5.0-cdh5.3.6]# bin/hadoop  jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar  wordcount  /test2/yarn-site.xml   output2

ls -l 命令可以在当前目录下看到一个output2目录,里面是作业任务输出结果

output2目录中有两个文件,_SUCCESS文件是空文件,有这个文件说明Job执行成功。

part-r-00000文件是结果文件,其中-r-说明这个文件是Reduce阶段产生的结果,mapreduce程序执行时,可以没有reduce阶段,但是肯定会有map阶段,如果没有reduce阶段这个地方有是-m-。

一个reduce会产生一个part-r-开头的文件。

 

11、开启日志聚集

MapReduce是在各个机器上运行的,在运行过程中产生的日志存在于各个机器上,为了能够统一查看各个机器的运行日志,将日志集中存放在HDFS上,这个过程就是日志聚集。

Hadoop默认是不启用日志聚集的。在yarn-site.xml文件里配置启用日志聚集。

 

配置日志聚集功能:

[root@hadoop hadoop-2.5.0-cdh5.3.6]# vietc/hadoop/yarn-site.xml

<property>

   <name>yarn.log-aggregation-enable</name>

   <value>true</value>

 </property>

 <property>

  <name>yarn.log-aggregation.retain-seconds</name>

  <value>106800</value>

   </property>

 

yarn.log-aggregation-enable:是否启用日志聚集功能。

yarn.log-aggregation.retain-seconds:设置日志保留时间,单位是秒。

 

12、重启Yarn进程HistoryServer进程:

[root@hadoop hadoop-2.5.0-cdh5.3.6]# sbin/stop-yarn.sh      关闭yarn

[root@hadoop hadoop-2.5.0-cdh5.3.6]#sbin/start-yarn.sh     启动yarn

[root@hadoop hadoop-2.5.0-cdh5.3.6]#sbin/mr-jobhistory-daemon.sh start historyserver  启动日志服务

启动服务后,点击history按钮就可以打开日志了

 

Centos7 部署伪分布式 hadoop 单机版 Centos7 部署伪分布式 hadoop 单机版 1、准备工作 1、下载hadoop tar 包, 各个版本对应的下载地址 https://archive.apache.org/dist/hadoop/ 选在自己对应的版本,我这里使用的是 hadoop-2.8.2.tar.gz 2、安装好对应的JDK 可以参考 https://blog.youkuaiyun.com/zhangli_li520/article/details/123913328 3、关闭防火墙 可以参考 https://blog.youkuaiyun.com 阅读详情

相关推荐

开关电源PCB安规设计避坑指南:从光耦开槽到变压器挡墙,这些细节决定认证成败

本文深入解析开关电源PCB安规设计中的关键细节,包括光耦开槽、变压器挡墙工艺等12个致命要点。通过实际案例和工艺参数表,揭示如何避免认证失败,特别强调爬电距离和电气间隙的精确控制,助力工程师提升产品安全性和认证通过率。

weixin_42548893的博客 205

2.1 Hadoop伪分布式安装部署

2.1 Hadoop伪分布式安装部署 开源地址 https://github.com/wangxiaoleiAI/big-data 卜算子·大数据 目录 开源“卜算子·大数据”系列文章、源码,面向大数据(分布式计算)的编程、应用、架构——每周更新!Linux、Java、Hadoop、Spark、Sqoop、hive、pig、hbase、zookeeper、Oozie、flink…et...

王小雷-多面手 2146

VMware桥接模式实战:用手机热点给Linux虚拟机共享网络(附WiFi适配技巧)

本文详细介绍了在移动办公场景下,如何为VMware中的Linux虚拟机配置桥接模式,以通过手机热点共享网络。文章深入解析了桥接模式在无线环境下的工作原理,提供了从主机端准备、VMware设置到Linux虚拟机内部配置的完整实战步骤,并针对手机热点的特殊性,分享了MTU优化、DNS配置及常见网络问题的诊断与解决方案,帮助用户实现稳定高效的移动虚拟化办公。

2y3u4i5o6p的博客 1202

Linux下Hadoop伪分布式安装及配置步骤

实现hadoop伪分布的配置,提供配置环境的搭建以及安装压缩包。

weixin_62369128的博客 3512

【3GPP核心网】【5G】史上最全的5G协议规范总结

物理层信道定义:TS38.211(物理层信号的生成、调制,DMRS和额外DMRS,PRACH configuration index,Point A等介绍)传输信道和控制信道的数据处理:TS38.212(包括复用,信道编码,交织,DCI,DMRS端口号等)物理层控制过程:TS38.213(同步,上行功控,随机接入,UE上报和接收控制消息的过程,SSB等)物理层测量:TS38.215(UE和网络的测量控制,UE测量能力)频率、频点相关F R1:TS38.101-1。

风云说通信 3179

【数据集】基于ubESTARFM法的100m 地温LST数据集(澳大利亚)

【数据集】基于ubESTARFM法的100m 地温LST数据集(澳大利亚)

WW、forever的博客 266

(防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs)

防坑留名: 为了避免以后自己遇到什么坑爹的东西,先留脚印给自己。这个hadoop呢,主要是可以让用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。这点比较厉害了。 它主要是用来做数据分析,支持低端服务器集群(这点美滋滋- - ),先抓取大量数据,利用数据运算分析,获取日志,显示报表~~~~~;

CoffeeAndIce的博客 1万+

【乐企文件生成工程】乐企文件生成支持所有特定要素类型发票

【代码】【乐企文件】乐企文件生成最新更新!!!

九七的博客 851

部署伪分布式 Hadoop集群

Hadoop目录介绍存放内容:Hadoop的各种可执行脚本和程序,如启动和停止Hadoop服务的脚本、Hadoop命令行工具等。功能:用于执行对Hadoop相关服务(如HDFS、YARN、MapReduce等)的操作和管理任务。存放内容:Hadoop的配置文件,如hadoop-env.sh(环境变量配置)、core-site.xml(核心配置)、hdfs-site.xml(HDFS配置)、yarn-site.xml(YARN配置)和mapred-site.xml(MapReduce配置)等。

slb190623的博客 2790

机器视觉框架源码——解读5(Dock和开源UI)

本文介绍了工业软件中Dock工具面板的使用方法,主要包括三个部分:添加avalonDock引用、修改属性配置(如显示样式和背景色),以及通过MVVM命令实现布局的加载和保存。加载布局通过XmlLayoutSerializer从XML文件恢复界面状态,保存布局则将当前DockManager的布局序列化为XML文件。文章提供了代码示例和截图说明,帮助开发者快速掌握Dock面板的核心功能。

Z's Palace 404

深度拆解 ‘High-Frequency Trading’ (HFT) 系统:解析如何在 100 纳秒内完成从网卡到 C++ 策略的响应

在100纳秒内完成从网卡到C++策略的响应,这是一项对技术栈每一个层面都进行极限优化的系统工程。它要求我们深入理解计算机体系结构、操作系统、网络协议和C++语言的底层机制。从物理距离的极致缩短,到高性能网卡和内核旁路技术,再到C++代码中每一个字节、每一个CPU周期的精打细算,HFT系统展现了人类对计算速度的永恒追求。这项技术不仅仅应用于金融交易,其背后的低延迟理念和实现方法,如DPDK、无锁编程、硬件加速等,正在逐渐渗透到其他对延迟敏感的领域,例如电信网络、边缘计算和工业自动化。

weixin_41455464的博客 1040

hadoop伪分布式部署

hadoop hadoop官网:hadoop.apache.org apache官网都是:项目名称.apache.org 如:spark官网是spark.apache.org Hadoop2.x(CDH5.x)官网:http://archive.cloudera.com/cdh5/cdh/5/ hadoop部署 一、hadoop安装 1、创建用户 useradd byy su - byy ll 2、创建文件夹 mkdir app data software bin log sourcecode tmp ll

weixin_45052608的博客 716

基于深度学习的垃圾邮件识别

垃圾邮件的大量存在严重威胁着电子邮件系统的安全和效率。基于深度学习的垃圾邮件识别技术已经成为目前最有效的解决方案之一。本文将详细介绍使用深度学习技术进行垃圾邮件识别的方法,并提供相应的代码实现。 随着电子邮件的广泛应用,垃圾邮件的数量不断增加,传统的规则和统计方法已经无法满足对垃圾邮件进行准确识别的需求。深度学习技术以其强大的模式识别能力和自动特征提取能力成为解决垃圾邮件识别难题的有效工具。

一键难忘的博客 1095

Hadoop伪分布式配置教程

【代码】Hadoop伪分布式配置教程。

小松菜奈 1万+

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式

Hadoop作为一种强大的大数据处理框架,有多种运行模式,每种模式都适用于不同的使用场景。本文将介绍Hadoop的三种常见运行模式:单机模式、伪分布式模式和完全分布式模式。

阿莫夕林的博客 7103

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Hadoop伪分布式部署 - CentOS(结尾附视频)

本文关键字:Hadoop、伪分布式、安装部署、CentOS。Hadoop软件库是一个计算框架,可以使用简单的编程模型以集群的方式对大型数据集进行分布式处理。

微光点亮星辰 1万+

Hadoop伪分布式安装教程

hivesever2的模拟用户功能,依赖于Hadoop提供的proxy user(代理用户功能),只有Hadoop中的代理用户才能模拟其他用户的身份访问Hadoop集群。因此,需要将hiveserver2的启动用户设置为Hadoop的代理用户,配置方式如下:修改配置文件。首先,在根目录下创建文件夹 Downloads 用来存放传输上来的文件,在 opt 目录下创建 module 文件用来存放使用解压出来的大数据软件,选择一个安全的,并确保记住它,因为后面需要用到这个密码。要测试它,请检查其状态。

cai_4的博客 5482

Linux部署hadoop伪分布式

在Linux下安装部署hadoop伪分布式

m0_61865077的博客 1461

hadoop伪分布式模式部署

1.hadoop的部署模式 hadoop可以使用不同的模式部署,适用于不同的场景。 单机模式:无需任何守护进程,所有的程序都运行在同一个JVM上执行,一般用于调试MapReduce程序时使用(多用在Windows环境下)。 伪分布式模式:守护进程运行在本地机器上,模拟一个小规模的集群,只有一个NameNode和一个DataNode实例,数据都存放在同一个节点上。“伪”体现在如何本节点出现故障,则...

机器熊的技术大杂烩 1234

Hadoop 本地伪分布式部署

Hadoop在本地(Windows---Centos 7)的单一节点伪分布式部署实践

xhhgffd的博客 4530

Hadoop在ubuntu虚拟机上的伪分布式部署|保姆级教程

2.经后续测试发现问题,虽然已经为ubuntu系统设置了java的环境变量,但hadoop实际运行时仍会出现找不到java-jdk的现象,故再对hadoop的环境文件进行修改,此外,该文件还包括启动参数、日志、pid文件目录等信息。Hadoop和与之相关的很多工具都是通过java语言编写的,并且很多基于hadoop的应用开发也是使用java语言的,但是ubuntu系统不会默认安装java环境,所以需要安装java并配置环境变量。少了就说明上面的启动命令肯定没有完全运行成功,哪个少了就去google一下!

Yaoyao2024的博客 3618

hadoop伪分布式模式

以下是 Hadoop的环境搭建步骤。伪分布式模式下,Hadoop 的各个组件(如 HDFS、YARN、MapReduce)以独立进程运行,但所有服务均部署在单台机器上,模拟多节点集群的行为。这是学习和开发中最常用的模式。:Linux(如 Ubuntu/CentOS)或 macOS(Windows 需通过 WSL 或虚拟机)。(1)完成的安装(JDK 和 Hadoop 解压配置)。单机模式可以参考本人博客:(2) 配置 SSH 免密登录(用于启动 Hadoop 服务)。

hnlucky的博客 2011

【云计算平台】Hadoop伪分布式模式环境搭建

Centos7环境 – Hadoop伪分布式模式部署 前一篇博客 Hadoop单机模式部署 中已经配置好了jdk环境,对hadoop软件也进行了安装和基本配置;本篇博客承接前篇,简单记录一下Hadoop伪分布式模式部署,伪分布式的部署应该会比较规范一点了,这里会新建一个hadoop用户来进行与hadoop相关的操作 考虑到单机模式部署中已经将部署地前置工作(jdk,hadoop下载安装)做的差不多了,这里就不再做无用功了,直接从环境的配置方面开始记录~~ 注: 我的hadoop版本是 hadoop 2.

NingHai's blog 4257

【Hadoop】伪分布式安装

还不懂Hadoop伪分布式安装?一文带你从0开始搭建大数据代表作Hadoop环境!

你不来,再美的天地,都狼藉 ~ 4109

Hadoop 平台伪分布式模式的构建部署过程?!值得推荐!!

Hadoop 平台伪分布式模式的构建部署过程?!值得推荐!! 前言: 大数据也就是"Big data",那么是什么是大数据呢?笔者认为就是海量数据,非常多的数据的意思。那么大数据为啥在这几年又会如此之火呢?主要还是得益于中国信息高速公路发展的结果。首先是通信链路的发展。由原来的以太网、ADSL传输到后面的光纤到户,桌面百兆的速率的提升;由原来的2G到现在的4G以及马上...

weixin_43236191的博客 2830

大数据Hadoop集群搭建 1(伪分布式集群)

(2)另一种是Hadoop集群自定义配置时编辑的配置文件,包括hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和slaves共7个文件,可以根据需要在这些文件中对默认配置文件中的参数进行修改,Hadoop会优先选择这些配置文件中的参数。在完全分布式模式下,默认的块副本是3份。(1)bin:存放操作Hadoop相关服务(HDFS、YARN)的脚本,但是通常使用sbin目录下的脚本。

currify的博客 3616
上一篇: (2)hadoop系列之hadoop本地模式部署
下一篇: CentOS 7系统下网卡重新命名
远虑近忧
博客等级 码龄9年 1粉丝 8原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

远虑近忧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值