随着项目越来越依赖Erlang,碰到的问题也随之增加。前段时间线上系统碰到内存高消耗问题,记录一下troubleshooting的分析过程。线上系统用的是Erlang R16B02版本。
问题描述
有几台线上系统,运行一段时间,内存飙升。系统模型很简单,等待网络新连接,pool中找新可用process进行处理。top命令观察,发现内存都被Erlang进程给吃完了,netstat命令查看网络连接数,才区区几K。问题应该是Erlang内存泄漏了。
分析方法
Erlang系统有个好处,可以直接进入线上系统,在生产现场分析问题。我们系统是通过Rebar管理的,可以用不同方法进入线上系统。
本机登录
可以直接登录到线上机器,然后通过以下命令attach到Erlang系统里面
$ cd /path/to/project
$ rel/xxx/bin/xxx attach
(node@host)>
通过remote shell
获取Erlang系统的cookie
$ ps -ef |grep beam %%找到参数 --setcookie
新开一个shell,使用同样的cookie,不同的nodename
$ erl --setcookie cookiename -name test@127.

本文记录了使用Erlang R16B02版本的线上系统遇到内存高消耗问题的排查过程。通过远程shell进入系统,分析Erlang进程内存消耗和process创建数量,发现大量process堆积,经调查是由于lager日志库在message队列超过20条时切换为同步模式导致。关闭同步模式配置后解决了内存泄漏问题。
最低0.47元/天 解锁文章
189

被折叠的 条评论
为什么被折叠?



