hadoop完全分布式设置问题

hadoop完全分布式集群搭建 算起来接触hadoop集群也有一段时间了,只是以前硬件条件有限,玩儿都是伪分布式。最近有了新服务器,应项目需求,完成了hadoop完全分布式的搭建,以下是具体过程。这是个人实践操作后的记录,欢迎各位阁下不吝赐教。 好了不废话了,赶紧进入正题,过程有点长。 硬件条件:多台相同linux系统主机,要求所有机器在同一网段。主机分别命名为quad1,quad2,…quadn,其中quad1作为主节 阅读详情

在完成单机器伪分布式的配置后,开始尝试配置完全分布式。一开始就遇见这个问题,slave机namenode日志如下:

2011-08-29 10:09:43,692 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.net.BindException: Problem binding to linux0/192.168.2.159:9000 : Cannot assign requested address
        at org.apache.hadoop.ipc.Server.bind(Server.java:190)
        at org.apache.hadoop.ipc.Server$Listener.<init>(Server.java:253)
        at org.apache.hadoop.ipc.Server.<init>(Server.java:1026)
        at org.apache.hadoop.ipc.RPC$Server.<init>(RPC.java:488)
        at org.apache.hadoop.ipc.RPC.getServer(RPC.java:450)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:191)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:279)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:956)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:965)
Caused by: java.net.BindException: Cannot assign requested address
        at sun.nio.ch.Net.bind(Native Method)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:119)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:59)
        at org.apache.hadoop.ipc.Server.bind(Server.java:188)
        ... 8 more

网上解决方法有下:

问题解决了 在看了slave上看了日志 就是连不到master的端口 而master自己是可以连到端口的
然后在master上启动mapred.sh后 发现jobtracker端口只监听本机
conf中core-site.xml和mapred-site.xml 都有端口的配置

不啰嗦了
最后的解决方法就是 去hosts文件中 把Ip映射去掉
在两个配置文件里 都用Ip地址
master和slave中也都用ip地址
然后 就跑起来了!

后来发现出问题是自己启动方式有问题,启动master的start-all.sh后,又启动slave上的脚本了。(纯属概念没理解清楚,实际上启动前者时后者同时已经被启动了),吼吼

hadoop集群搭建之伪分布式和完全分布式 ## Hadoop集群搭建 一、软件及环境准备 安装JDK 查询是否安装jdk: rpm -qa }grep java 如果安装版本小于1.7,卸载该版本 rpm -e 软件包 将上传好的jdk解压并配置环境变量 tar -zxf jdk-8u131-linux-x64.tar.gz -C /opt/module vim /etc/prof... 阅读详情

相关推荐

Hadoop3.1.0完全分布式集群部署

Hadoop3.1.0完全分布式集群部署,三台服务器部署结构如下 #部署完成后 root@servera:/opt/hadoop/hadoop-3.1.0# jps 14056 SecondaryNameNode 14633 Jps 13706 NameNode 14317 ResourceManager root@serverb:~# jps 5288 NodeManager 5162...

sade1231的博客 1277

Hadoop2.x完全分布式配置详解

Hadoop2.x 完全分布式集群配置

浮生若梦 3792

IAR许可证Generation 18代际不匹配问题解析与解决

IAR Embedded Workbench 的许可证机制采用‘代际(Generation)’模型,而非简单版本号匹配——这是一种基于数字签名算法、加密协议和硬件绑定策略演进的授权安全体系。Generation 18 是 v9.30 及以上版本强制要求的许可代际标准,对应 ECDSA 签名与增强型硬件指纹校验,旨在提升防破解能力与平台适配性。当旧版许可证(如 Generation 16/17)被用于新 IDE 时,启动器会在本地完成代际校验并直接拦截,导致‘The generation feature is

weixin_34203832的博客 337

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang. RuntimeExcep

升级hive之后建表使用时会有如下报错: 这是由于升级之后元数据库需要重新初始化,而元数据苦是存在mysql中的。所以需要: 第一步:删除旧的元数据库 1.删除metastore_db文件(这一项是用derby做元数据库才会生成的,一般嫌它容量小不会使用,所以没有这个文件。) 2.删除数据库中对应的database 登录mysql mysql -u root -p 删除元数据库,可以从配置文件...

Chrogean的博客 2814

差分逻辑电平——LVDS、CML、LVPECL、HCSL互连

首先了解差分逻辑电平结构,也包括单端逻辑电平常见的逻辑电平_常用的逻辑电平-优快云博客注:ECL >> PECL >> LVPECL演变而来;QDR(Quad Data Rate):四倍数据倍率本文章只涉及差分逻辑电平:LVDS 、LVPECL、CML (高速)(最常用)在任何给定的系统设计中,必须设计驱动器侧和接收器侧之间的时钟逻辑转换。通过在它们之间增加衰减电阻和偏置电路来将一个差分时钟转换为其他类型的差分逻辑,来衰减摆幅电平并重新偏置共模输入接收器。

weixin_45365488的博客 4万+

Android定位权限全解析:从基础配置到后台持续定位的完整解决方案

本文全面解析Android定位权限体系,从基础配置到后台持续定位的完整解决方案。涵盖LocationManager和FusedLocationProviderClient等主流API的对比选型,详细讲解动态权限申请、精确定位与模糊定位的智能切换,以及Android 10+的后台定位适配策略。帮助开发者构建兼顾精准度与电量友好的定位方案,适用于导航、运动轨迹记录等多种场景。

weixin_29310605的博客 600

在hive中执行sql语句:SemanticException org.apache.hadoop.hive.ql.metadata.HiveException:

hive&gt; show databases; FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMe...

Joy 3万+

死磕GMSSL通信-java/Netty系列(二)

Netty-tcnative再linux编译比较好编译,但是再window编译,我尝试了各种办法,总是编译失败,所以我采用半自动的方式进行编译,Netty-tcnative会生成临时文件,直接用vs打开,设置openssl的头文件和静态库路径,然后生成静态库,静态库改个名字放到jar包里边,其实自动编译也是这个原理哈哈O(∩_∩)O。直接传输五个证书的路径吗,之前有的是说要转成x509之类的,转来转去的有点麻烦,这个是直接传输证书路径,由底层gmssl去解析,格式必须是pem格式。然而,若项目已依赖于。

qq_36577699的博客 3024

hadoop完全分布式遇到的问题总结

第一步、确保你的jdk、hadoop、SSH免密已经配置好了,开启2台以上的虚拟机,并且能正常上网(后面放大招啦) 第二部、配置/etc/hosts文件(如下格式) 192.168.244.128   hadoop02 192.168.244.129   hadoop03 192.168.244.130   hadoop04 第三步、配置hadoop/etc/hadoop下面的core.si...

qq_32736999的博客 1330

【智能优化算法】2024年SCI鳗鱼-石斑鱼优化算法(EGO),含MathType公式、word伪代码、visio流程图、matlab代码等。

该文中包括5个内容:用MathType编辑的公式、伪代码、visio的流程图,matlab代码,PDF论文,拿来直接用,可以帮助科研者省下超多时间。 鳗鱼-石斑鱼优化算法(Eel and grouper optimizer ,EGO)是一种新型的元启发式算法(智能优化算法),灵感来源于海洋生态系统中鳗鱼和石斑鱼的共生作用和觅食策略。该成果由Ali Mohammadzadeh和Seyedali Mirjalili两位作者于2024年6月发表在SCI著名期刊《Cluster Computing》上。

2301_79359347的博客 1040

两层板如何做阻抗控制呢

两层板如何做阻抗控制呢? 这个问题可能很多人都会碰到,有的人在此等需要做阻抗控制的情况都选择做多层板。诚然,多层板在阻抗控制,EMC等等方面都有着天然的优势。然而,在价格上和周期上,两层板就有着绝对优势了。 对于成本非常敏感而又不是太复杂的产品,尽管对于我们硬件工程师而言,有一堆的理由要求使用多层板。然而在面对毛都不懂的老板“别人能做,你为什么不能做?”这个问题时只得低下我们高傲的头颅。 好...

weixin_42005993的博客 2万+

hive报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException:

安装配置好hive后启动hive正常,能进入到hive命令行界面,运行show databases报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.had...

hl17200178的专栏 3万+

YOLOv8 智能交通违章检测 - 机动车道占用(违停/非机动车占道)详解

本文提出基于YOLOv8的智能交通违章检测方案,主要针对机动车道占用问题。系统整合目标检测、目标跟踪和ROI区域判定,实现两种典型场景检测:违章停车(静止超时)和非机动车/行人占道。详细介绍了系统架构、配置文件设计、核心逻辑实现及可视化模块,包括ROI区域管理、状态跟踪和违章判定算法。针对实际应用中的堵车误判、非机动车误报等问题,提出了密度检测、轨迹分析和自适应阈值等优化策略。该方案计算量适中,适合边缘设备部署,并建议配套开发ROI标定工具和证据链保存功能。

u010117029的博客 234

Hadoop完全分布式部署(超全)

Hadoop完全分布式部署 1、配置vm共享文件夹 注意:主要是实现window与虚拟机之间的文件共享,如果用实体机的,就不需要这步 1.1 linux系统创建共享目录 mkdir -p /work/software/share 1.2 vm配置共享文件夹 2、配置vm网络 vm安装步骤看这 三台服务器ip为: hdp01 192.168.10.133 hdp02 192.168.10.134 hdp03 192.168.10.135 3、配置虚拟机 注意:以下内容三台服务器同样配置(以第一台服务

qq_27960935的博客 3673

基础入门篇 | YOLOv8 项目【训练】【验证】【推理】最简单教程 | YOLOv8必看 | 最新更新,直接打印 FPS,mAP50,75,95

三个文件搞定YOLOv8【训练】【验证】【推理】🚀🚀🚀

Coding... 2万+

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Hadoop完全分布安装部署

推荐全程使用SSH客户端,原生无可视化的Linux无法粘贴,而这次很多内容都需要粘贴。---遇到问题可以在评论区提出,如果比较典型我会补充在下面---注意看好自己的安装的文件名字(版本号)查看自己的用户名是否修改成功。

entaoSir的博客 2567

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

各位大佬,hadoop完全分布式启动时,只有master有进程,其他的slave节点没有进程。 !

各位大佬,hadoop完全分布式启动时,只有master有进程,其他的slave节点没有进程。

m0_46515642的博客 1723

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Hadoop集群安装和配置(完全分布式集群搭建)

1 虚拟机的环境准备 1.1 下载的软件 1、安装Vmware-workstation 主要步骤就不讲述,网上可以收到相关Linux虚拟机的相关密钥和安装步骤。 2、VM网络设置 打开电脑里面的控制面板——>网络和Internet——>网络和共享中心——>更改适配器设置——>VMnet8(右击鼠标,点击属性)—>IPv4(配置IP地址和DNS地址).我的电脑配置如下: 3、查看虚拟机的ip地址 打开Vmware Workstation 的编辑——>虚拟机

rqp123456的博客 762

hadoop完全分布式搭建

hadoop完全分布式搭建 Hadoop:https://pan.baidu.com/s/1EH8aMmz3NgS3Mq3Gg6EYSQ jdk :https://pan.baidu.com/s/1Bn54iReVhCaXXQ6-E6JMCQ 提取码:sxcz 准备 centos8更换国内源(阿里源) 1.备份旧的配置文件 sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2.安装wget

qq_46606428的博客 366

Hadoop分布式集群安装与使用

Hadoop基本安装配置主要包括以下五个步骤 1、 创建Hadoop用户 2、 安装Java 3、 设置SSH登录权限 4、 单机安装配置 5、 伪分布式安装配置 6、 完全分布式安装 本文使用虚拟机部署方式实现Hadoop集群,虚拟机环境采用Virtual box+Ubuntu16.04,主机操作系统环境为Windows10 一、创建Hadoop用户 为方便操作,我们创建一个名为“hadoop”的用户来运行程序,这样可以使不同用户之间有明确的权限区别,同时,也可以针对Hadoop的配置操作而不影响其他用户

qq_41444640的博客 1693

实验题目 Hadoop完全分布式集群安装

实验要求 1、集群至少3节点(考虑电脑配置3节点或者4就可以) 2、详细记录实验步骤 3、详细记录出现的问题及解决方案 4、写一份实验心得 实验记录(步骤和问题) 1.创建虚拟机Hadoop2.0,设置密码 问题一:遇到问题,刚开始的时候设置的是数字键盘的密码,到登录的时候,就发现登录不上,开始以为是电脑的问题,建了有四个虚拟机才解决, 问题二:之前建的虚拟机要删掉,这个时候虚拟机关不掉,重启...

qq_45083698的博客 663

Hadoop学习--------hadoop基础以及完全分布式的搭建

关注与Hadoop解决的问题 Hadoop是Apache专为离线和大规模数据分析而设计的开源软件,是可靠的、分布式的、可伸缩的 Hadoop主要就就是解决存储和计算两个问题(分布式存储和分布式计算)个人理解应该是基于庞大的简便的扩容机制,众多的slave节点同时处理数据。 centos系统下搭建Hadoop完全分布式模式: 1. 启动4台虚拟机,修改主机名分别为centos00,.ce...

toxic_guantou的博客 2090

Hadoop完全分布式搭建过程、maven和eclipse配置hadoop开发环境、配置Map/Reduce Locations、简单wordcount测试!

** Hadoop完全分布式搭建 ** 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: ...

SnowJ666的博客 2287

Hadoop2.x完全分布式环境搭建及测试验证

Hadoop2.x完全分布式环境搭建及测试验证 前置条件: [1]已制作好CentOS虚拟机模板。 [2] 该模板安装好Oracle JDK,且JAVA_HOME值为/usr/java/jdk1.8.0_171-amd64/jre。 准备三台虚拟机 [1] 搭建完全Hadoop...

ttjay000的博客 497

Hadoop----完全分布式集群的搭建

完全分布式集群(Fully-Distributed Cluster)的原理 Hadoop的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。我们需要在所有的主机上安装JDK和Hadoop,组成相互连通的网络。在主机间设置SSH免密码登录,把各从节点生成的公钥添加到主节点的信任列表。 搭建hadoop完全分布式集群 ...

WQY992的博客 603

hadoop 开启防火墙_Hadoop整体配置有感

这两天一直在配置Hadoop,对于刚接触linux得我而言,实在是觉得很有难度,饱受摧残,其实安装软件并不难,真正的难点在于配置文件如何配,如何格式化,分布式应该怎么分布,每一台需要的服务都有哪一些,其实我觉得只要能够理顺这一些,那么安装软件并运行应该难度会下降好几个点,可能也是因为手比较生吧(纯粹个人观点,欢迎大家指正,谢谢)关于Hadoop,我昨天已经讲过了,今天就来讲讲他的安装配置吧,顺便自...

weixin_39574246的博客 439
上一篇: hadoop学习参考1. Eclipse使用插件运行hadoop(解决错误)
下一篇: svn检出报错:Cannot map the project with svn provider
map612
博客等级 码龄18年 2粉丝 6原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值