Flink系列：Exception while invoking getStats of class ClientNamenodeProtocolTranslatorPB over

最新推荐文章于 2024-05-20 11:16:09 发布
原创 最新推荐文章于 2024-05-20 11:16:09 发布 · 795 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

这篇博客主要讲述了在Flink大数据处理中遇到的Namenode异常问题。现象是执行hdfs dfsadmin -report时出现异常。排查发现两个Namenode节点都处于standby状态。通过haadmin工具强制切换一个节点到Active状态后，问题得到解决。文章强调了启动Hadoop集群时应遵循正确的顺序，如先启动JournalNode，再启动NameNode。

目录

现象：

 排查

解决

验证

分析

现象：

执行hdfs dfsadmin -report可以正常报告节点状态 

hadoop平台日志

Exception while invoking getStats of class ClientNamenodeProtocolTranslatorPB over

 排查

在两台互为HA、运行namenode进程的设备上运行:

./bin/hdfs haadmin -getServiceState node1

./bin/hdfs haadmin -getServiceState node2

显示的状态均为standby 

解决

强行指定其中一个namenode节点的状态为Active

haadmin -transitionToActive --forcemanual node1

验证

执行hdfs dfsadmin -report可以正常报告节点状态 &nb

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink系列：assignTimestampsAndWatermarks使用demo
NIO4444
05-05 3744
assignTimestampsAndWatermarks 指派时间戳，并生成WaterMark 相关demo Flink系列：事件Time时间乱序到达处理方法https://blog.youkuaiyun.com/VIP099/article/details/107048139 Flink系列：事件时间乱序到达处理完整Demo例子https://blog.youkuaiyun.com/VIP099/article/details/107142404 Flink系列：join算子的使用方法h...
Flink系列：Filter算子的使用方法
NIO4444
03-28 1540
目录 需求 Filter用法 实现 相关：Flink系列：map算子的使用方法：https://xdoctorx.blog.youkuaiyun.com/article/details/115279338 需求 使用Filter算子，输入年龄大于31岁的person Filter用法 DataStream → DataStream 输入一个输出，如果满足filter函数内的条件，则输出；否则忽略该输入。 实现 package nio4444.connect; i...
生产环境Tomcat服务器访问HDFS报错
lhxsir的博客
01-14 725
下载Tomcat日志文件 runtime_info.log查看信息： [WARN ][19-01-11 18:07:19][http-nio-8080-exec-3][*]Exception encountered while connecting to the server : java.lang.IllegalArgumentException: Server has invalid Kerb...
HDFS 异常之 READ is not supported in state standby
Mrerlou的博客
01-30 1432
但是却没有影响到功能的正常运行，只不过是抛出了大量的上述异常，而且内容都一样，也都是操作 HDFS 产生的，所以猜测与 HDFS 集群（或者配置）有关系。本文就记录发现问题、解决问题的过程。参考：http://support-it.huawei.com/docs/zh-cn/fusioninsight-all/maintenance-guide/zh-cn_topic_0062904132.html。
Apache Hadoop2.0之HDFS均衡操作分析
mc的博客
02-22 553
文章转载自： https://www.cnblogs.com/xiaoliang-y/p/4920170.html 1. HDFS均衡操作原理 HDFS默认的块的副本存放策略是在发起请求的客户端存放一个副本，如果这个客户端在集群以外，那就选择一个不是太忙，存储不是太满的节点来存放，第二个副本放在与第一个副本相同的机架但是不同节点上，第三个放在与第二个和第一个副本不同的机架上，原则是尽量避免在相同的机架上放太多的副本。 随着时间的推移，在各个DataNode节点上的数据块会分布的越来越不均衡。如果集群不均.
Exception while invoking getStats of class ClientNamenodeProtocolTranslatorPB over 故障分析
热门推荐
lepton126的专栏
07-21 1万+
在执行 hdfs dfsadmin -report 命令时，出现故障Exception while invoking getStats of class ClientNamenodeProtocolTranslatorPB over ，在查阅log记录时发现 java.net.SocketTimeoutException: Call From clusternode***to clusterno
Exception while invoking TaskListener: Delegate expression ${pass} did not resolve to an implementat
qq_52497401的博客
10-09 1496
要解决此问题，您可以检查表达式并确保它指向TaskListener接口的有效实现。如果实现在当前代码库中未定义，则可能需要导入或添加为外部依赖项。此外，您可以检查是否存在造成问题的类型转换或语法错误。用了代理表达式了 任务节点完成不了。这个到底是什么错误 这个错误通常意味着定义TaskListener代理的表达式无效，无法解析为有效的实现。表达式可能是在引用一个不存在的类或方法，或者可能存在类型转换问题。${pass=true} 没问题啊 到底是什么原因。
idea Scala flink 报错：Exception in thread “main“ org.apache.flink.util.FlinkException: Could not close
最新发布
m0_73303210的博客
05-20 1382
求解答 报错：Exception in thread "main" org.apache.flink.util.FlinkException: Could not close resource.
Flink系列：WindowAll、Apply算子的使用方法
NIO4444
03-28 1500
目录 需求 WindowAll用法 实现 相关：https://xdoctorx.blog.youkuaiyun.com/article/details/115287210（Flink系列：Window算子的使用方法） ​​​ 需求 使用WindowAll算子，统计所有单词出现的次数总和（数据流最大延迟5s） WindowAll用法 DataStream → AllWindowedStream NOTE：有可能所有的数据流都集中在一个task上。 实现 package nio.
[ code: 500 ] Exception while invoking TaskListener: Exception while invoking TaskListener: null: h
YHLSunshine的博客
11-15 1894
Java spring 项目中使用activi 提交申请时，出现如下所示错误：[ code: 500 ] Exception while invoking TaskListener: Exception while invoking TaskListener: null: h
retry.RetryInvocationHandler (RetryInvocationHandler.java:invoke(140)) - Exception while invoking ge...
weixin_30501857的博客
12-20 4413
报错信息如下 2017-12-20 12:29:09,161 INFO [main]: retry.RetryInvocationHandler (RetryInvocationHandler.java:invoke(140)) - Exception while invoking getFileInfo of class ClientNamenodeProtocolTranslato...
Throw an exception while construct an object
Scorpio Auding @ Blog++
02-17 923
while reading the book , I got the codes below:#include #include #pragma warning(disable : 4297)using namespace std;class buffer{public: explicit buffer(size_t) throw(); ~buffer() throw();privat
Causing exception while using AlertDialog
voyager3的博客
05-01 380
Java.lang.IllegalStateException: You need to use a Theme.AppCompat theme (or descendant) with this activity.
hadoop命令报错：权限问题
weixin_33804990的博客
09-23 494
root用户执行hadoop命令报错: [root@vmocdp125 conf]# hadoop fs -ls /user/ [INFO] 17:50:42 main [RetryInvocationHandler]Exception while invoking getFileInfo of class ClientNamenodeProtocolTranslatorPB over v...
Hadoop系列——异常处理（org.apache.hadoop.hdfs.DFSClient - DataStreamer Exception）
哈哈书架
01-03 5390
报错： WARN org.apache.hadoop.hdfs.DFSClient - DataStreamer Exception org.apache.hadoop.ipc.RemoteException: File /user/erp_finance/erp_finance_dw/hdp/ods_third_party_zfb_bill_m/year=2019/month=12/1_...
hadoop报错:Operation category READ is not supported in state standby
weixin_42496757的博客
02-14 1690
执行hadoop fs -ls /  报错: [root@hadoop01 bin]# hadoop fs -ls /19/02/14 00:09:19 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where a...
spark开发问题记录
shengpli′s blog
05-21 4084
环境：spark-2.1.0-bin-hadoop2.7 一、spark on yarn client模式 1.JavaSparkContext not serializable 解决： JavaSparkContext不是可序列化的,是不应该。它不能用于函数发送到远程工作者。使用static修饰JavaSparkContext，序列化会忽略静态变量，即序列化不保存静态变量的状态。tr
java操作hdfs报错：Operation category READ is not supported in state standby
Kingsley's Blog
04-12 3539
报错信息 INFO o.a.h.i.retry.RetryInvocationHandler 236b33af11c8ab85a731ef390ef31cbe - Exception while invoking getFileInfo of class ClientNamenodeProtocolTranslatorPB over xxxxxxxxxx:8020 after 6 fail over attempts. Trying to fail over after sleeping for 200
HDFS开启HA后，集群的部分组件异常记录
再难也要坚持的博客
05-18 1188
HDFS HA后，集群部分组件异常、报错、无法正常使用的解决记录。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NIO4444

如果对您有帮助，欢迎打赏支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值