flume系列之：-Xmx20m -Xms1024m -Xmx2048m

最新推荐文章于 2024-08-16 08:59:30 发布
最新推荐文章于 2024-08-16 08:59:30 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： flume 文章标签： flume系列 -Xmx20m -Xms1024m -Xmx2048m
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhengzaifeidelushang/article/details/122620253
版权
flume 专栏收录该内容
71 篇文章 ¥29.90 ¥99.00
订阅专栏
本文介绍了Flume启动时默认内存限制为20M，当处理大数据量时易引发OOM。通过修改`flume-env.sh`和`flume-ng`脚本，将JAVA_OPTS设置为`-Xmx2048m -Xms1024m`，以适应生产环境的内存需求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

flume系列之：-Xmx20m -Xms1024m -Xmx2048m

  • Java HotSpot™ 64-Bit Server VM warning: INFO: os::commit_memory(0x00007fe827200000, 14148960256, 0) failed; error=‘Cannot allocate memory’ (errno=12)

一、flume的bin目录下flume-ng中指定了-Xmx20m

cat flume-ng
JAVA_OPTS="-Xmx20m"
  • flume启动时的默认最大的堆内存大小是20M

二、调整flume的启动内存

  • 实际环境中数据量较大时，很容易出现OOM问题，可以在flume的基础配置文件conf下的flume-env.sh中指明JAVA_OPTS
<
了解本专栏 订阅专栏 解锁全文
flume系列之：记录一次flume agent进程被异常oom kill -9的原因定位
zhengzaifeidelushang的博客
09-08 464
具体来说，systemd-cgls memory命令将显示内存控制组的层次结构，以及每个控制组中正在运行的进程和服务。进一步定位/mde，定位到oom是因为配置Memory cgroup stats for /mde 的cgroup导致的，mde是微软的安全监控软件。至此，定位到了问题，当flume使用的内存超过4g，mde控制组就会把flume agent的进程以kill -9 方式杀死。该命令用于显示系统上所有正在运行的进程和服务的控制组（cgroup）层次结构，以及它们在内存控制组中的位置。
flume系列之：java.lang.OutOfMemoryError: unable to create new native thread
zhengzaifeidelushang的博客
08-14 401
flume系列之：java.lang.OutOfMemoryError: unable to create new native thread
Flume 内存优化之 OutOfMemoryError: GC overhead limit exceeded
Lpy的博客
09-15 824
1.问题描述：启动消费Flume抛出如下异常 ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded 2.解决方案步骤： （1）在hadoop102 服务器的 /opt/module/flume/conf/flume-env.sh 文件中增加如下配置 export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management
-Xmx20m -Xms5m
张紫娃的博客
07-07 308
初始堆的大小1/64最大堆的大小1/4。
flume简介及原理概述
snail_bing的博客
08-17 2031
Apache Flume概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。目前是Apache的顶级项目。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的...
Flume内存优化
yhm_12138的博客
03-18 458
问题描述：如果启动消费Flume抛出如下异常。
flume调优
jason_xiaojie_liu的博客
08-14 880
1 调整jvm参数     修改conf下flume-env.sh       -Xms  -Xmx参数，具体根据机器内存分配   CDH中的我修改的是，将这个参数修改了下：                      Agent 的 Java 堆栈大小（字节）1g 用ps -ef | grep pid查看 flume    29416  3102 26 12:02 ?        0...
flume系列之：定位flume没有关闭某个时间点生成的tmp文件的原因，并制定解决方案
最新发布
zhengzaifeidelushang的博客
08-16 278
flume系列之：定位flume没有关闭某个时间点生成的tmp文件的原因，并制定解决方案
flume系列之：监控JMX reporter
zhengzaifeidelushang的博客
12-15 513
flume监控：JMX reporter flume指标监控设置官方文档： https://flume.apache.org/FlumeUserGuide.html#monitoring 通过使用flume-env.sh 在JAVA_OPTS 环境变量中指定JMX 参数来启用JMX 报告，例如 export JAVA_OPTS="$JAVA_OPTS -Xms1024m -Xmx2048m -Djava.security.auth.login.config=/moudle/apache-flume-1
flume系列之：生产集群env.sh参数设置
zhengzaifeidelushang的博客
12-14 587
flume生产集群env.sh参数设置 设置java环境变量 设置hadoop环境变量 设置flume的jmx exporter #设置java环境变量 export JAVA_HOME=/moudle/java/jdk1.8.0 #设置hadoop环境变量 #设置flume jmx 参数 # Give Flume more memory and pre-allocate, enable remote monitoring via JMX # export JAVA_OPTS="-Xms100m -
“-Xmx1024m -Xms1024m -Xmn512m -Xss256k”——Java运行参数
s275287998的博客
04-08 3405
【JAVA学习】“-Xmx1024m -Xms1024m -Xmn512m -Xss256k”——Java运行参数 转载 2016年06月13日 19:33:38 2792 年轻代 年老代概念 http://jefferent.iteye.com/blog/1123677 JVM的堆的内存， 是通过下面面两个参数控制的 -Xms 最小堆的大小， 也就是当你的虚拟机启动后， 就会分...
解决 Flume 日志报错 OOM GC 堆内存问题：java.lang.OutOfMemoryError: GC overhead limit exceeded
想练武，就得下功夫
07-06 387
解决 Flume 日志报错 OOM GC 堆内存问题：java.lang.OutOfMemoryError: GC overhead limit exceeded
Flume的安装与配置
BXMMJ的博客
02-11 545
fflume的安装配置部署，flume与kafka采集的配置案例，flume采集日志脚本启动和停止的编写
【JAVA学习】“-Xmx1024m -Xms1024m -Xmn512m -Xss256k”——Java运行参数(转)
学学习习的专栏
03-29 734
年轻代 年老代概念 http://jefferent.iteye.com/blog/1123677   JVM的堆的内存， 是通过下面面两个参数控制的  -Xms 最小堆的大小， 也就是当你的虚拟机启动后， 就会分配这么大的堆内存给你  -Xmx 是最大堆的大小  当最小堆占满后，会尝试进行GC，如果GC之后还不能得到足够的内存(GC未必会收集到所有当前可用内存)，分配新
flume配置
bwf317的博客
06-22 704
2.1 配置采集方案 通过上游采集，下游直接写入到hdfs中。配置两个sink用于sink高可用 上游配置： a1.sources = r1 a1.channels = c1 a1.sinks = k1 k2 #sources：用到TAILDIR类型，记录偏移量，安全，快开重连可以接着上次的位置继续采集数据 a1.sources.r1.channels = c1 a1.sources.r1.type = TAILDIR #根据终端定义相应地文件组，分别制定其对应的日志存储位置进行数据的读
JVM默认堆大小
热门推荐
一位自然人的博客
04-26 1万+
官方文档： The default maximum heap size is half of the physical memory up to a physical memory size of 192 megabytes (MB) and otherwise one fourth of the physical memory up to a physical memory size of 1 ...
Apache Doris安装过程
Im ok的博客哦
11-28 5644
0.系统与版本要求 Linux 操作系统版本需求 Linux 系统 版本 CentOS 7.1 及以上 Ubuntu 16.04 及以上 虽然要求centos7以上，但是实测在centos8安装会出现某些依赖一直安装不上的问题，因此建议安装在centos7上 软件需求 软件 版本 Java 1.8 及以上 GCC 4.8.2 及以上 开发测试环境 模块 CPU 内存 磁盘 网络 实例数量 Frontend 8核+ 8GB+ SSD 或 SATA
flume channle 参数
xujianchao的博客
10-17 583
,batchsize &amp;lt;=transactionCapacity&amp;lt;=capacity batchsize 一次从channle transactionCapacity取出多少发送 capacity 最大容量 transactionCapacity 事物容量，默认100，take失败后丢回此队列 capacity 内存最大容量 默认100 batchsize 一次取出多少，默认...
Flume安装与配置指南
例如，设置`-Xms2048m -Xmx4096m`分别表示初始和最大堆内存，其他选项如`-XX:MaxDirectMemorySize`和垃圾回收策略也有助于优化性能。 - 在`bin/flume-ng`脚本中也可以直接修改`JAVA_OPTS`，比如设置`JAVA_OPTS="-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值