CDH 问题

最新推荐文章于 2021-08-23 20:16:53 发布
原创 最新推荐文章于 2021-08-23 20:16:53 发布 · 4.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了解决Hadoop中文件系统检查点异常的方法，包括校验和修正NameNode与Secondary NameNode的ClusterID，以及如何处理Secondary NameNode的检查点错误。此外，还提供了Cloudera建议的系统参数优化方案。
部署运行你感兴趣的模型镜像

一 . 文件系统检查点已有 1 天，14 小时，36 分钟。占配置检查点期限 1 小时的 3,860.33%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 14,632 个事务。 
2个可能； 
1 ， namenode的Cluster ID 与 secondnamenode的Cluster ID 不一致，对比/dfs/nn/current/VERSION 和/dfs/snn/current/VERSION中的Cluster ID 来确认，如果不一致改成一致后重启应该可以解决。

2，修改之后还出现这个状况，查看secondnamenode 日志，报

ERROR： Exception in doCheckpoint java.io.IOException: Inconsistent checkpoint field

这个错误，直接删除 /dfs/snn/current/下所有文件，重启snn节点


二。 Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。
当前设置为 30。
使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响： 
解决：echo 10 > /proc/sys/vm/swappiness

您可能感兴趣的与本文相关的镜像

Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

遇到问题---CDH重启namenode--Command timed-out after 150 seconds--角色正在启动
直到世界的尽头
03-04 8589
情况 我们由于某些配置参数的调整 有时候需要重启namenode。 最方便的操作就是在CM后台直接操作–重新启动。 但是这次遇到的情况比较诡异，点击重启之后 namenode的状态变成了 已停止。 再次去点击重新启动则报错: Command aborted because of exception:Command timed-out after 150 seconds 角色正在启动 ...
CDH问题处理
MY BLOG
08-15 2343
现象：CDH所有服务报异常，HDFS提示存储空间为0；在CDH管理界面中能够看到集群中所有的主机，但是主机的信息看不到。 处理过程： 1）试图重启agent，但是所有的DataNode都提示agent正在运行 2）jps查看进程发现根本没有java进程在运行 3）运行cloudera-scm-agent status显示进程已死，但PID文件仍存 4）通过在cloudera-scm-agent脚本中输出PID文件名字，定位到PID文件 5）可以发现PID文件是个空文件，将PID文件删除 6）启
大数据CDH问题解决总结
大宇进阶之路的博客
05-15 1686
​​​​​​1.impala-shell连接显示Not connected的问题 解决方案： 查看Cm界面中，kerbros是默认开启，禁用掉就OK了。 同时在impala的配置中关闭LDAP服务即可。 或者通过LDAP认证的用户和密码登陆。 2.Yarn 中显示datanode节点目录空间不足的问题 解决方法：调整Yarn的容器内存和上限。 在集群中针对某问题，将资源内存调整为150G和上限300G。 ​​​​​​​3.CM中没有置yarn.nodemanager...
解决cdh中HDFS检查点状态不良问题
qq_44912070的博客
10-14 4498
web界面不良信息： 文件系统检查点已有 13天，23 小时，59分钟。占配置检查点期限 1 小时的 3,860.33%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 ***个事务。 查看secondnamenode日志 ； 我们可以看到出现两个不同的clusterID 查看nn和snn的current目录下的version文件 ； namenode所在主机version...
NameNode Last Checkpoint报错误[Checkpoint Critical]
我思，故我在！--My data life
07-19 4687
问题： HDP重启后，NameNode Last Checkpoint报错误[Checkpoint Critical]   问题解决： 原理： HDP中的hdfs组件默认的dfs.namenode.checkpoint.period和dfs.namenode.checkpoint.txns分别是6个小时和1000000。 只要达到这两个条件之一，secondarynamenode会执行c...
HDFS中的NameNode 检查点问题
wyj1023405602的博客
08-10 904
今天在登录CDH后发现HDFS上存在运行状况报警 由于CM会默认每隔1小时SNN会执行checkpoint操作，初步分析是SNN的checkpoint操作存在问题引起，查看SNN日志，发现如下报错。 很明显是由于SNN和NN的集群ID对不上导致的，分别查看NN所在节点（此处节点node0，文件路径/dfs/nn/current）和SNN所在节点（此处节点node1，文件路径/dfs/snn/current）的version文件确认。 ...
NameNode检查点状态报警：文件系统检查点已有 1 天，2 小时，23 分钟
sunfect的博客
01-02 5338
今天发现CDH Hadoop集群的NameNode显示红色报警： 检查点状态 文件系统检查点已有 1 天，2 小时，23 分钟。占配置检查点期限 1 小时的 2,639.08%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 1,182 个事务。这是 1,000,000 的已配置检查点事务目标的 0.12%。 点击报警的NameNode，可以看到具体的错误信息： 尝试重启报警的...
CDH问题的位安全性有限
03-20
这篇研究论文所涉及的关键词包括CDH问题、Diffie-Hellman问题、d-th CDH问题、有限域、硬核比特、列表解码、乘法码、噪声预言机和部分CDH问题。 在密码学研究中，有关硬核谓词和位安全性的研究对于推动密码学的基础...
精选资源
CDH
01-20
Zookeeper是Apache的一个子项目，提供分布式服务框架，用于解决分布式环境中的一致性问题，如命名服务、状态同步、集群管理等。Flume则是日志收集、聚合和传输的系统，它允许从各种数据源收集日志，进行简单处理后，...
精选资源
CDH之ZK升级.doc
03-01
### CDH之ZK升级知识点详解 ...在进行此类升级时，确保操作准确无误是至关重要的，同时还需要做好充分的测试和备份工作，以防万一出现问题能够及时恢复。希望以上内容能够帮助到需要进行类似升级操作的技术人员。
CDH6.3拆除namenode的高可用报错
NC_NE的博客
09-22 872
报错内容： 文件系统检查点已有 2 天，16 小时，54 分钟。占配置检查点期限 1 小时的 6,490.14%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 63,898 个事务。这是 1,000,000 的已配置检查点事务目标的 6.39%。 马上查看log文件发现secondarynamenode报错检测不到edits文件 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in d
CDH问题及维护汇总
热门推荐
辉哥大数据
05-22 1万+
目录：一、HIVE错误二、HDFS错误三、oozie错误四、Kafka错误五、Hbase错误六、Yarn和CM错误七、维护及添加服务八、其他错误————————————————————————————————————————————一、HIVE错误错误01命令详细信息: 创建 Hive Metastore 数据库表 解决办法： cp -r /var/lib/hive/mysql-con
Hadoop HDFS系统检查点过程
tus00000的博客
10-10 1416
首先NameNode相应Secondry NameNode的请求，将自身的editslog文件和fsimage文件发送给Secondry NameNode，同时创建一个新的editslog，从此将日志内容记录到新的editslog文件中。Secondry NameNode收到后将fsimage文件加载到自己的内存中，并应用editslog文件中的内容，之后生成一个新的fsimage文件。随后将新的...
HDFS如何检测并删除多余副本块
走在前往架构师的路上
02-29 1万+
前言 在HDFS中,每时每刻都在进行着大量block块的创建和删除操作,这些庞大的block块构建起了这套复杂的分布式系统.普通block的读写删除操作一般人都或多或少了解过一些,但是过量的副本清理机制是否有人知道呢,就是overReplicatedBlock的处理,针对过量的副本块,HDFS怎么处理,何时处理,处理的策略机制如何,本文就给大家分享HDFS在这方面的知识. 过量副本块以
CDH 丢失块及副本不足的块
只是甲的博客
03-11 3801
备注: CDH 6.3.1 文章目录一.问题描述二.解决方案2.1 丢失块查找2.2 解决oozie副本块不足的问题2.2.1 设置3个副本模式2.2.2 删除坏的块:参考 一.问题描述 如下图所示，刚安装的CDH,提示存在丢失块，也存在副本不足的块 二.解决方案 2.1 丢失块查找 sudo -u hdfs hadoop fsck / -files -blocks 测试记录: FSCK started by hdfs (auth:SIMPLE) from /10.31.1.123 for path /
cdh 问题
mllhxn的专栏
12-23 5732
1: solrcloud集群搭建完毕之后，进入web界面，总是提示there exists no core with name”*” 不要使用IE内核的浏览器2: [root@localhost ~]# service mysqld restart Stopping mysqld: [ OK ]
性能监控诊断linux系统笔记
warrah 南极狼
03-17 321
想要换工作的时候，才想到把之前做的碎片化的性能分析进行系统化学习，这里参考的是陈志勇、马利伟、万龙著《全栈性能测试修炼宝典Jmeter实战》，感觉自己上了一个台阶。 1 评估标准 先看一下web项目性能测试通过的标准，有了评判标准，系统设计的是否优秀就有了依据。 2 瓶颈阈值分析 下图把什么方面使用什么样的命令进行了梳理。 2.1 CPU定位分析 2.2 内存定位分析 2.3 网络定位分析 2.4 IO定位分析 ...
解决NameNode写Journalnode超时，导致NameNode挂掉问题(Timed out waiting 20000ms for a quorm of nodes to respond)
weixin_44976835的博客
08-23 1886
日志问题如上 可以发现，NameNode在写Journalnode发生了超时，默认超时时间为20s，在超时发生后，Namenode会触发ExitUtil类的terminate方法，导致进程的System.exit()。 触发写入超时的原因可能是因为执行了较大文件的HDFS操作，导致Namenode的FULL GC时间较长，所以导致写Journalnode超时。 如果发生这种情况，就需要把默认的20s改成更大的值 这里可以改为60000ms <property> <name.
CDH学习记录
c123m的专栏
11-13 1264
目录 1. 离线安装(parcel) 1.1 环境 1.2 下线离线包 1.2.1 下线Cloudera Manager 1.2.2 下载cdh包 1.3 主机名及IP 1.3.1 cm 1.3.2 agent 1.3.3 验证 1.4 设置/etc/hosts 1.5 禁用ipv6 1.5.1 查看ipv6状态 1.5.2 关闭ipv6 1.5.3 验证 1.6 N...
cdh安装报错mysql问题
最新发布
01-17
### CDH 安装 MySQL 错误解决方案 #### 一、MySQL连接异常处理 当遇到`com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3887)`错误提示时，这通常意味着客户端尝试与MySQL服务器建立连接的过程中遇到了问题。该类问题的原因可能是多方面的，包括但不限于网络配置不当、认证失败或是目标数据库服务未正常启动等。 对于此类情况的一个常见排查手段即确认MySQL服务的状态及其是否已成功启动[^2]： ```bash [root@qianfeng01 ~]# systemctl status mysqld ``` 如果发现MySQL服务处于关闭状态，则应立即执行如下指令来启动它: ```bash [root@qianfeng01 ~]# systemctl start mysqld ``` #### 二、确保JDBC驱动程序正确放置 在CDH环境中集成MySQL作为元数据存储库的一部分时，还需要特别关注JDBC驱动文件的位置设置。具体来说，在某些版本下（如CDH5.11.0），为了使Oozie能够顺利访问到外部的MySQL实例，需手动复制相应的jar包至指定路径之下[^3]: ```bash cp /usr/qjp/mysql-connector-java-5.1.17.jar /var/lib/oozie/ ``` 此操作有助于防止因缺少必要的驱动而导致的一系列潜在兼容性问题以及连接失败的情况发生。 #### 三、Cloudera Manager Agent 配置调整 另外值得注意的是，在分布式计算框架内实施部署工作期间，还需留意各节点间通信所依赖的基础架构组件——比如这里提到的Cloudera Manager Agent——其配置项中的server_host字段应当指向实际存在的主机名或IP地址而非默认值。通过编辑位于/opt/cm-5.4.7/etc/cloudera-scm-agent目录下的config.ini文件并作出相应更改可以有效规避由此引发的数据传输障碍风险[^4]： ```ini vim /opt/cm-5.4.7/etc/cloudera-scm-agent/config.ini server_host=namenode1 ``` 以上措施综合运用后往往能显著提升整个集群系统的稳定性和可靠性水平，从而为后续业务逻辑层面的操作打下了坚实基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值