CDH存在隐患 : 该角色的进程使用的交换内存为xx兆字节。警告阈值:200字节

CDH运维 swap处理 CDH运维swap处理 博主在使用CDH 6.2大数据平台时发现,CDH长时间运行,Cloudera Manager管理页面在运行Spark任务时候经常会出现组件大量内存交换警告,前期博主直接忽略,毕竟不是什么大问题,后期发现如果长时间黄色警告不处理,会误导页面查看集群状态,并且交换空间所占用磁盘空间越来越大,并且警告越来越多,后续还会有从黄色变为红色异常等情况,后进入管理界面发现,CDH在安装时,Linux操作系统,有选择交换空间地址交给CDH内存不足情况下使用,测试发现手动释放会解决,管理界面警告问题 阅读详情

概述

CDH上某个服务的警告信息:存在隐患 : 该角色的进程使用的交换内存为xx兆字节。警告阈值:200字节

例如:
ZooKeeper服务进程使用了交换内存,导致ZooKeeper服务变慢,影响了集群

个人对交换内存的理解

  • 英文名称:swap space
  • 译名:交换空间 or 交换内存
  • 释义:
    swap space是硬盘上的一块空间
    当系统的物理内存不够时,一些长期冇操作的程序的内存将被释放,释放的空间被临时保存到swap space
    待到该程序要操作时,再从swap space恢复数据到内存
  • 优点:使程序可以操纵大于实际物理内存的空间
  • 缺点:swap space会产生硬盘IO,使程序会变慢

例如
Windows系统可同时运行多个程序,当切换到一个很长时间没有理会的程序时,会听到硬盘“哒哒”直响

交换内存相关操作

查看交换内存

free -h

swap space总大小8G,已用2.2G,剩余5.8G

启用交换内存

swapon -a
  • 选项-a, --all
  • 原文:
    All devices marked as swap in /etc/fstab are made available, except for those with the noauto option.
    Devices that are already being used as swap are silently skipped.
  • 译文:
    所有在/etc/fstab中标记为swap的设备都是可用的,除了带有noauto选项的设备。
    已经被用作交换区的设备被静默地跳过。

禁用交换内存

swapoff -a

一个窗口执行swapoff -a,另一个窗口执行swapon

可以看到,已用的交换空间在不断减少

永久关闭交换内存

先清理交换内存,然后编辑文件

vim /etc/fstab

把swap那一行注释掉,然后重启

CDH隐患解决方案

有2个方案:
方案1是永久关闭交换内存;
方案2是编写脚本,设置定时任务,定期清理已经使用的swap space。

#!/bin/bash
# 禁用所有交换空间
swapoff -a
# 启用所有交换空间
swapon -a
# 清理完成提示
echo "清理完毕"

清理已经使用的swap space后

CDH大数据平台内存交换,警告问题 前言 博主在使用CDH大数据平台时发现,CDH长时间运行,Cloudera Manager管理页面在运行Spark任务时候经常会出现内存交换警告,前期博主直接忽略,毕竟不是什么大问题,后期发现如果长时间黄色警告不处理,会误导页面查看集群状态,并且交换空间所占用磁盘空间越来越大,并且警告越来越多,后续还会有从黄色变为红色异常等情况,后进入管理界面发现,CDH在安装时,Linux操作系统,有选择交换空间地址交给CDH内存不足情况下使用,测试发现手动释放会解决,管理界面警告问题(黄色警告,看着也不... 阅读详情

相关推荐

Linux 交换内存处理 CDH 交换内存报错

设置swap交换内存: 【关闭Linux的swap交换内存】 操作:sysctl -w vm.swappiness=0 查看交换内存: cat /proc/sys/vm/swappiness  linux系统会用内存做很 多的buffer和cache,所以经常会看到内存用完了,其实这里面可能只有很少的一部分是程序用到的。当内存不足的时候,系统有两种选择,一

qq_34009542的博客 2279

CDH大数据集群Linux系统参数调优

系统版本为CentOS 7。 vm.swappiness 设置方法: echo 1 > /proc/sys/vm/swappiness,或 sysctl -w vm.swappiness=1,或 编辑/etc/sysctl.conf文件,加入vm.swappiness=1 swap即交换空间,作用类似于Windows中的虚拟内存,也就是当物理内存不足时,将硬盘上的s...

LittleMagic's Blog 1560

CM&CDH傻瓜安装教程(完美)

虽然我是菜鸟,但是这个安装是自己电脑搭建的,按照步骤下去,一定不会报错。--------有帮助就粉下吧!!! 下载地址 http://archive.cloudera.com/cm5/    CM http://archive.cloudera.com/cdh5/parcels/5.10.0.41/    CDH     官网链接 https://www.cloude

god_zhi_big的博客 6327

CDH大数据平台开启swap交换内存后,黄色警告

cdh交换内存问题

qq_43689775的博客 963

CDH性能调优精髓,CDH热点问题分析

CDH性能调优,CDH热点问题分析,安装注意事件

Proteus快速入门(最详细教程)

Proteus 是一款用于嵌入式单片机仿真的软件,用于在打PCB板之前对软件程序和硬件电路的正确性进行仿真验证。1.所以Proteus一般会和Keil软件进行联合仿真,在Proteus中绘制系统的电路图,在Keil软件中编写对应的程序后生成Hex文件。2.Proteus的仿真结果仅供参考,只能在一定程度上验证系统的可能性。实际实物系统还需要进行进一步的调试。以上即为本次分享的Proteus入门教程的全部内容,希望可以能够帮助到各位道友。

ediykk的博客 15万+

[1061]CDH交换内存警告解决方法

交换内存定义:Linux中Swap(即:交换分区),类似于Windows的虚拟内存,就是当内存不足的时候,把一部分硬盘空间虚拟成内存使用,从而解决内存容量不足的情况 现象:交换内存警告如下 解决方法: 1、设置swappiness值为0,表示尽可能不使用交换内存 (1)临时设置方案,重启后设置不生效 设置vm.swappiness = 0 [root@cdh-001 ~]# sysctl vm.swappiness=0 查看swappiness值 [root@cdh-001 ~]# cat /pr

周小董 815

Python模拟发送SOME/IP消息(Scapy模块)

SOMEIP提供服务、订阅、响应、通知等Python代码示例

liluo0815481的博客 3071

CDH交换内存警告解决方法

交换内存定义:Linux中Swap(即:交换分区),类似于Windows的虚拟内存,就是当内存不足的时候,把一部分硬盘空间虚拟成内存使用,从而解决内存容量不足的情况   现象:交换内存警告如下   解决方法: 1、设置swappiness值为0,表示尽可能不使用交换内存 (1)临时设置方案,重启后设置不生效 [root@cdh-001 ~]# sysctl vm.swappine...

微步的博客 1万+

【第4章 光模块实测方法总结(环境搭建、眼图测试、接收测试、注意事项)】

本文系统介绍了光模块测试的完整流程与关键要点,涵盖低速模块到3.2T PAM4超高速模块的测试方法。内容包括:1)测试环境搭建(光路/电路要求);2)核心测试项目(眼图分析、接收灵敏度/饱和测试、误码压力测试);3)PAM4专项测试(TDECQ、RLM线性度等);4)可靠性测试(温循、电压、老化);5)八大注意事项(如禁止脏端面测试、长短距混插等)。特别强调高速模块对测试环境的高敏感性,需重点关注波形质量而非单纯光功率,并需进行严格压力测试才能暴露潜在问题。

学无止境 459

Apache-Plc4x-Modbus-Tcp学习记录(一)

Apache-Plc4x-Modbus-Tcp学习记录(一)

weixin_45325423的博客 6989

CDH 交换内存警告问题解决

1、echo 0 > /proc/sys/vm/swappiness 值设为0是尽可能不用交换内存 2、swapon -s 查看交换内存使用情况 3、swapoff /dev/mapper/zt01–vg-swap_1 删除内存交换区,不再使用 4、在第三部删除内存交换区后,CDH主机信息界面交换空间变为空值栏 ...

高矮 6115

FPGA控制DDR读写(AXI4总线接口)

FPGA控制DDR读写

qq_42712308的博客 1万+

操作系统-四、内存管理(小林coding笔记)

虚拟内存虚拟内存防止内存运行多个程序时崩溃。把进程所使用的地址隔离开,让操作系统为每个进程分配一套独立的虚拟地址。操作系统会提供一种机制,将不同进程的虚拟地址和不同内存的物理地址映射起来。

weixin_45977597的博客 758

Android Profiler实战:如何用CPU分析工具揪出卡顿元凶(附线程状态解读)

本文深入解析Android Profiler中的CPU分析工具,重点聚焦线程活动监控。通过解读线程状态时间轴上的绿、黄、灰三色含义,并结合实战案例,指导开发者精准定位导致界面卡顿的CPU密集型或I/O阻塞代码,有效提升应用性能与用户体验。

weixin_29197699的博客 374

03 Token、Embedding、上下文窗口:开发者必须懂的三个基本概念

Token、Embedding 和上下文窗口是大模型应用开发的三个基础概念。本文从成本、速度、检索和上下文设计四个角度讲清它们的工程意义,帮助开发者理解为什么同一段内容会超限、变贵,为什么 RAG 能做语义检索。

老于的笔记的专栏 413

内存性能监控

段中的每页在需要之前可位于内存(RAM)中,或存储在磁盘上,同样,实内存也可以划分成4096字节的页面帧,VMM的角色是管理分配实内存页面帧并且解析程序对虚拟内存页面的引用,这些页面当前不在实内存中或还不存在(例如,当进程第一次引用其数据段的某一页时),在任何给定时刻使用的虚拟内存数量可能比实内存大,所以VMM必须将余量存储在磁盘上。自上次取样以来交换到磁盘的内存比特率。文本(共享程序)映像的大小,这是可执行文件的文本区域的大小,可执行程序文本区的页面是只能在用到时带入内存中的,即转移到内存或从内存装入。

musmuzzheng的博客 80

Android15音频进阶之音效配置与解析(一百三十一)

本篇目的:Android15音频进阶之音效配置与解析。

Android系统攻城狮 2147

linux swap 阀值,Linux 添加swap分区, 设定swap阈值

swap阈值设定1,查看当前系统swap阈值chunli@CentOS~$cat/proc/sys/vm/swappiness60内存在使用到100-60=40%的时候,就开始出现有交换分区的使用swappiness=0表示最大限度使用物理内存,然后才使用swap空间,swappiness=100表示积极使用swap分区,并且把内存上的数据及时的搬运到swap空间里面2,永久设定chun...

weixin_42116604的博客 681

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

大数据平台CDH的介绍和5.16/6.3版本的搭建

CDH介绍 Hadoop主流三大发行版本: 1. Apache hadoop 官方社区开源版本 2. CDH Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。 3. HDP 现在cdh已经将hdp收购。Cdh公司在2...

大宇进阶之路的博客 1万+

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

CDH 6.X Swap Memory Usage 报警

诊断: a.查看内存使用情况: free -h b.查看交换空间 swapon -s 方法一:vi /etc/sysctl.conf #设置swappiness值为0,表示尽可能不使用交换内存 # 在/etc/sysctl.conf 文件里添加如下参数 sudo vi /etc/sysctl.conf vm.swappiness=0 # 或者追加模式, 直接在控制台执行如下语句 echo 'vm.swappiness=0' >> /etc/sysc...

大数据&数据分析&数据治理 1589

CDH集群黄色警告消除

一般情况下的告警,都是由于在安装过程中选择了默认的根目录下的磁盘目录,如果根目录磁盘占用量超过80%,则会出现告警,下面我们依次来解决。假设我的容量大的磁盘为/home,则需要对/var下的原路径进行迁移,我的zookeeper服务安装在三台服务器上,所以对三台服务器需要同时操作。通过查看警告详情,四个告警全部为磁盘空间不足80%,所以需要对磁盘目录进行重新设置,除此之外,还可以对输出日志的等级进行设置。其它的服务是同样的原理,逐一进行改正,修改的时候需要注意用户权限、文件权限。

weixin_47444415的博客 927

hbase 单个regionserver中region过多 优化

问题 目前hbase 总是出现压缩队列和刷新队列过大的告警,导致数据的读写变慢。 首先说明一下目前集群的状况 regionServer数量:20 region 数量:6503 regionServer配置:-Xms10g -Xmx10g -Xmn3g 原因 找到一些可能的原因。 region 数量过多 regionServer 堆大小为10G,有些小 re...

苏苏爱自由 6713

Cloudera Manager 5 和 CDH5.7.0 本地(离线)安装

问题导读: 1.什么是CDH? 2.搭建CDH集群 需要的基本环境是什么? 3.如何对集群进行基本的配置? 4.怎样进行Cloudera Manager安装? 5.怎样进行CDH服务安装? 解决方案: 一、简介 CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分,分别为Cloudera M

河南骏的博客 2万+

在CentOS 7上添加Swap交换空间

提供:ZStack云计算 |如何让服务器响应更快?如何避免应用出现内存不足的错误?最简单的方法就是增加交换空间。Swap是存储盘上的一块自留地,操作系统可以在这里暂存一些内存里放不下的东西。这从某种程度上相当于增加了服务器的可用内存。虽然从swap读写比内存慢,但总比没有好,算是内存不够时的安全网。如果没有swap,则服务器一旦内存不足,就会开始终止应用以释放内存,甚至会崩溃,这会让你丢失一些还没

zstack_org的博客 3万+
上一篇: 创建企业微信机器人,实现Python任务告警,实现DS调度器节点状态告警
下一篇: CDH之HDFS用户权限问题
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值