eclipse window下连接Hadoop2.0报错:local host is: "win/127.0.0.1"; destination host is: "10.2.3.1":50070;

完美解决Ubuntu网络故障,连接异常,IP地址一直显示127.0.0.1 这就是DHCP的作用。DHCP服务器分配IP地址并提供其他网络配置信息,以使连接设备的过程更加自动化和简化。DHCP代表"Dynamic Host Configuration Protocol",它是一种网络协议,用于自动分配IP地址、子网掩码、默认网关和其他网络配置参数给计算机。命令时,DHCP客户端会向网络中的DHCP服务器发送一个请求,以获取可用的IP地址及其他配置信息。客户端会等待服务器的响应,一旦接收到响应,它将会配置设备的网络设置,包括IP地址、子网掩码、默认网关和DNS服务器等。 阅读详情
eclipse连接远程Hadoop错误信息:
Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: 
Protocol    message end-group tag did not match expected tag.; 
Host Details : local host is: "ubuntu/127.0.0.1"; destination host is: "ubuntu":50075


解决办法:
是DFS Master端口写错了,2.0默认为8020



Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。
这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper:
组件节点默认端口配置用途说明
HDFSDataNode50010dfs.datanode.addressdatanode服务端口,用于数据传输
HDFSDataNode50075dfs.datanode.http.addresshttp服务的端口
HDFSDataNode50475dfs.datanode.https.addresshttps服务的端口
HDFSDataNode50020dfs.datanode.ipc.addressipc服务的端口
HDFSNameNode50070dfs.namenode.http-addresshttp服务的端口
HDFSNameNode50470dfs.namenode.https-addresshttps服务的端口
HDFSNameNode8020fs.defaultFS接收Client连接的RPC端口,用于获取文件系统metadata信息。
HDFSjournalnode8485dfs.journalnode.rpc-addressRPC服务
HDFSjournalnode8480dfs.journalnode.http-addressHTTP服务
HDFSZKFC8019dfs.ha.zkfc.portZooKeeper FailoverController,用于NN HA
YARNResourceManager8032yarn.resourcemanager.addressRM的applications manager(ASM)端口
YARNResourceManager8030yarn.resourcemanager.scheduler.addressscheduler组件的IPC端口
YARNResourceManager8031yarn.resourcemanager.resource-tracker.addressIPC
YARNResourceManager8033yarn.resourcemanager.admin.addressIPC
YARNResourceManager8088yarn.resourcemanager.webapp.addresshttp服务端口
YARNNodeManager8040yarn.nodemanager.localizer.addresslocalizer IPC
YARNNodeManager8042yarn.nodemanager.webapp.addresshttp服务端口
YARNNodeManager8041yarn.nodemanager.addressNM中container manager的端口
YARNJobHistory Server10020mapreduce.jobhistory.addressIPC
YARNJobHistory Server19888mapreduce.jobhistory.webapp.addresshttp服务端口
HBaseMaster60000hbase.master.portIPC
HBaseMaster60010hbase.master.info.porthttp服务端口
HBaseRegionServer60020hbase.regionserver.portIPC
HBaseRegionServer60030hbase.regionserver.info.porthttp服务端口
HBaseHQuorumPeer2181hbase.zookeeper.property.clientPortHBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBaseHQuorumPeer2888hbase.zookeeper.peerportHBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBaseHQuorumPeer3888hbase.zookeeper.leaderportHBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HiveMetastore9083/etc/default/hive-metastore中export PORT=<port>来更新默认端口 
HiveHiveServer10000/etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口 
ZooKeeperServer2181/etc/zookeeper/conf/zoo.cfg中clientPort=<port>对客户端提供服务的端口
ZooKeeperServer2888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分follower用来连接到leader,只在leader上监听该端口。
ZooKeeperServer3888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分用于leader选举的。只在electionAlg是1,2或3(默认)时需要。

所有端口协议均基于TCP。
对于存在Web UI(HTTP服务)的所有hadoop daemon,有如下url:
/logs 
日志文件列表,用于下载和查看
/logLevel 
允许你设定log4j的日志记录级别,类似于hadoop daemonlog
/stacks 
所有线程的stack trace,对于debug很有帮助
/jmx 
服务端的Metrics,以JSON格式输出。
/jmx?qry=Hadoop:*会返回所有hadoop相关指标。 
/jmx?get=MXBeanName::AttributeName 查询指定bean指定属性的值,例如/jmx?get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId会返回ClusterId。 
这个请求的处理类:org.apache.hadoop.jmx.JMXJsonServlet
而特定的Daemon又有特定的URL路径特定相应信息。
NameNode:http://:50070/
/dfshealth.jsp 
HDFS信息页面,其中有链接可以查看文件系统
/dfsnodelist.jsp?whatNodes=(DEAD|LIVE) 
显示DEAD或LIVE状态的datanode
/fsck 
运行fsck命令,不推荐在集群繁忙时使用!
DataNode:http://:50075/
/blockScannerReport 
每个datanode都会指定间隔验证块信息

银河飞腾FT-M6678 DSP开发初体验:从仿真器连接到第一个网络程序(CCS5.5+FT-EMU560实战) 本文详细介绍了银河飞腾FT-M6678 DSP开发环境的搭建过程,包括CCS5.5开发环境的配置、FT-EMU560仿真器的连接与设置,以及关键模块如网络驱动的国产化替换。通过实战案例,帮助开发者快速掌握国产DSP的开发流程,实现网络通信功能。 阅读详情

相关推荐

单细胞测序数据整合

基于Seurat 联合harmony进行单细胞数据整合分析

G2530051386的博客 9792

Hadoop默认端口说明

Hadoop默认端口说明 Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。 这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper。 组件 D

zzhongcy的专栏 1万+

[附源码]计算机毕业设计JAVA网上花店系统

附源码]计算机毕业设计JAVA网上花店系统项目运行环境配置:(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。项目技术:等等组成,B/S模式 + Maven管理等等。环境需要1.运行环境:最好是java jdk 1.8,我们在这个平台上运行的。其他版本理论上也可以。2.IDE环境:IDEA,Eclipse,Myeclipse都可以。推荐IDEA;3.tomcat。

ssm毕设程序设计 2444

高可用hadoop集群搭建

准备工作 安装3台centos7 服务器 配置主机名字hd01\hd02\hd03 hostnamectl set-hostname hd01 查询地址 ip addr 连接xshell:填写名称:hostname 主机:ip地址 用户身份验证 可以向xshell窗口拖拽文件: yum -y install lrzsz hostname和ip地址形成映射: vi /etc/hosts 192.168.181.131 hd01 192.168.181.132 hd02 192.168.18

dontlikerabbit的博客 562

细聊Oracle通过ODBC数据源连接SQL Server数据库

    类似文章搜索引擎上有很多,内容大致相同,今天所谓细聊是因为我在借鉴这些文章时候走了些弯路,所以写此文,为自己备忘,同时如果能为初涉此处知识点的小伙伴提供些帮助就更好了,废话不多说。    我的应用场景:    项目系统使用oracle数据库,与客户的第三方系统供应商实现资源共享,对方为sql server数据库;    我的测试开发环境为64bitwin7PC机,本机上装有64位Oracl...

xueren_83的博客 1万+

ASM磁盘通过rebalance迁移

一、实施要点: 1、数据迁移前,如果库不大,最好全库备份一次 2、进行数据平衡时,数据磁盘是添加到现有磁盘组,而不是重新建一个磁盘组 3、本次实施过程,服务器只有1张HBA卡,本次实施先取消原有的多路径,只保留旧有存储单路径,另一个FC口插上新存储的路径。待迁移完成后,再配置新存储的多路径 二、实施步骤 1.查询并配置ASM磁盘 [root@rac1 ~]# /sbin/scsi_id...

qq_40673916的博客 1373

hadoop常用的端口号

dfs.namenode.http-address:50070 dfs.datanode.http-address:50075 SecondaryNamenode:50090 dfs.datanode.address:50090 fs.defaultFS:8020或者9000 yarn.resourcemanager.webapp.address:8088 历史服务器web访问端口:19888

星空下的那个人影 2987

医学影像弹性形变处理

这段代码的主要流程是:读取 DICOM 医学影像,尝试使用 MONAI 进行弹性形变(根据版本适配),如果失败则使用 OpenCV 实现,最后可视化并保存处理结果。这样可以在不同环境下灵活处理医学影像的弹性形变需求。后面会写一篇解释弹性变形方法的短文。

wh_xia_jun的专栏 779

Hadoop 3.x 笔记(配置、命令、脚本、重要图示、代码实现)

Hadoop 3.x 笔记 作者: Zzay 目的: 本文章记录 hadoop 3.x 使用过程中常用的配置、命令、脚本、重要图示、实现代码,以方便未来查看使用。 1. 常用配置 1.1 端口号 以下是Hadoop 3.x常用的端口号。 NameNode HTTP UI 端口:9870 NameNode 内部通信端口:8020/9000/9820 Secondary NameNode:9868 YARN 查看执行任务端口(ResourceManager):8088 历史服务器通信端口(jobHi

ZZay's 2993

AI人工智能领域持续学习:提升技术能力的关键

在当今科技飞速发展的时代,AI人工智能已经渗透到我们生活的方方面面。本文章的目的就是帮助大家了解在AI人工智能领域持续学习的重要性,以及如何通过持续学习来提升自己的技术能力。文章会涵盖AI的核心概念、持续学习的原理和方法、实际应用场景等方面,让大家对AI领域的持续学习有一个全面的认识。本文首先会介绍AI人工智能的核心概念,让大家对这个领域有一个初步的了解。然后详细讲解持续学习的原理和方法,通过代码示例展示如何在实际项目中实现持续学习。接着会分析AI持续学习在不同场景的应用,推荐一些学习工具和资源。

AI 原生应用开发的博客 1289

五步通关!宝塔Linux部署ASP.NET Core的魔法秘籍大公开!

摘要: 本文提供ASP.NET Core应用五步部署攻略,涵盖从环境配置到线上运行的完整流程: 1️⃣ 环境准备:安装宝塔面板、ASP.NET Core运行时及开放端口; 2️⃣ 应用发布:通过dotnet publish生成独立部署包并上传服务器; 3️⃣ Nginx配置:设置反向代理将域名请求转发至应用端口; 4️⃣ 进程守护:使用Supervisor确保应用持续运行; 5️⃣ HTTPS加密:通过宝塔快速申请SSL证书并解决验证路径冲突。 关键点: 强调权限设置(755)、端口开放及反向代理细节; 提

java专栏 969

hadoop单节点配置

hadoop单节点配置

ask_baidu的博客 655

【STM32实物】基于STM32的扫地机器人/小车控制系统设计

扫地机器人系统采用分层结构设计,主要包括底层硬件控制层、中间数据处理层和上层用户交互层。底层硬件控制层负责对各个硬件模块进行控制和数据采集,中间数据处理层负责对采集到的数据进行处理和解算,上层用户交互层负责与用户进行交互并显示系统状态信息。

嵌入式阿齐Archie 1万+

Hadoop:namenode访问端口2.x默认50070与3.x默认9870

Hadoop2.x的namenode界面访问端口默认是:50070 Hadoop3.x的namenode界面访问端口默认是:9870 通过修改hdfs-site.xml中dfs.namenode.http-address参数来修改: cd $HADOOP_HOME vi etc/hadoop/hdfs-site.xml ...

好刹那的专栏 9606

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Hadoop分布式集群搭建(二)

Hadoop分布式集群搭建学习

qq_36461480的博客 2262

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Hadoop安全基线

Hadoop安全基线 访问控制 1.高危-限制匿名用户访问 描述: 系统默认允许匿名用户访问,大大增加了系统信息泄露和被攻击的风险。为提高系统安全性,应配置禁止匿名方式访问。 加固建议: 找到配置文件<hadoop_home>/etc/hadoop/core-site.xml,增加或修改配置项: <property> <name>hadoop.http.authentication.simple.anonymous.allowed</name> &lt

个人博客 2742

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

关于hadoop端口的问题

在所有的进程启动之后除了用jps命令看看后台进程是否启动之外,还想用web界面验证 在登录namenode的界面的时候发现这个问题 但是其他的都是对的,从这个报错上来看应该后台进程起作用了,但是感觉好像端口制定的不对,所以,我决定重新设置一下端口在设置的时候要注意,最好把所有的相关进程都关掉再设置,或者设置完之后重启所有相关的进程的。 还有,修改完配置文件要把它们分发到其它机器上,不能光改

dawningblue的博客 5388

Hadoop学习--搭建hadoop集群

目录 1.安装环境 2.安装前准备 3.安装配置Hadoop 4.初始化及运行 1.安装环境 本博客所安装的hadoop只有HDFS、YARN以及MapReduce组件,不包含Hadoop其他组件的安装。 1)准备4台虚拟机(CentOS 7),ip与主机名如下: 192.168.134.128 master 192.168.134.129slave1 192.168.1...

乔治在哪里 1598

大数据内容分享(九):Hadoop-生产集群搭建(完全分布式)

hadoop中HDFS要存储数据,这些数据存储的目录地址,默认值为:/tmp/hadoop-${user.name},如下图2所示为默认值,在本环境 Linux系统里面是指:/tmp/hadoop-zola,但是 /tmp 目录是1个临时目录,一般Linux系统1个月清理一次。集群完成配置后,在启动集群之前,还需要 配置workers节点 ,集群中有几个节点, /opt/module/hadoop-3.1.3/etc/hadoop/workers配置文件里面对应的就配置几个主机名称。

之乎者也·的博客 1937

HDFS配置详解

HDFS配置详解随笔说明hdfs-site.xmldfs.namenode.name.dirdfs.block.sizedfs.datanode.data.dirdfs.namenode.handler.countdfs.datanode.handler.countdfs.datanode.max.xcieversdfs.permissionsdfs.datanode.du.reserveddfs...

weixin_43990680的博客 6939

搭建Hadoop HA集群

yarn.resourcemanager.store.class:用于Resourcemanager状态存储的类,默认为org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore,基于Hadoop文件系统的实现。另外,还可以指定org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore,该类为基于ZooKeeper的实现。

unhurried人生——冕临的博客 1658

hadoop--集群配置

前提:装好了虚拟机,在hadoop102装好了JDK和Hadoop 部署规划 hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager 注意:NameNode 和 SecondaryNameNode 不要安装在同一台服务器;ResourceMan.

weixin_46361294的博客 1408

hadoop学习笔记2-hdfs

本文主要介绍了hdfs的搭建和相关知识

m0_66570838的博客 1506

摄取、转换、充实和输出 dfs.namenode.http-address 页面 dfshealth 数据 Logstash 配置文件模板

#${logstash_dir}/config/dfs_health.sh.template #摄取、转换、充实和输出 dfs.namenode.http-address 页面 dfshealth 数据 Logstash 配置文件模板 input { file { path =&gt; "${logstash_input_file}" } } filter { grok { m...

卡布奇诺加点冰 1051

爬取 dfs.namenode.http-address 页面 dfshealth 数据脚本模板

#${cluster_dir}/dfs_health.sh.template #爬取 dfs.namenode.http-address 页面 dfshealth 数据脚本模板 #版权声明:不定期更新维护地址,看这里→_→ https://blog.csdn.net/qq_16592497/article/details/81333227 #脚本模板中涉及需要被替换的变量 #URL=${URL...

卡布奇诺加点冰 1422

hadoop 0.23 HDFS的搭建与配置

hadoop 0.23.0比先前的0.20版本有了很大的改动,而我目前最感兴趣的还是HDFS部分的federation部分,由于相关配置资料比较少,下面就把这两天配置情况总结一下作为备忘: 要配置hdfs,关键要知道namenode、datanode、secondarynamenode、backupnode都需要什么配置,下面分别来讨论一下: 1、namenode 1)需要一些目录放置fsi

似水流年 726
上一篇: spark submit参数及调优
下一篇: Eclipse 启动时提示loading workbench错误并提示查看.log
TheManOfCoding
博客等级 码龄9年 24粉丝 21原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值