1. 为什么我们需要自动化监控与恢复?
如果你在Windows服务器上跑过EMQX,肯定遇到过这种头疼事:半夜睡得正香,手机突然收到一堆报警短信,爬起来一看,EMQX又崩了。手忙脚乱地远程登录服务器,启动服务,检查日志,一套流程下来,半小时过去了,业务影响已经造成。更糟的是,有些老项目就像我遇到的那个“万年老项目”,源码丢了,问题根因找不到,EMQX隔三差五就自己“躺平”,你根本不知道它下次什么时候会出问题。
这种被动救火的模式太累了,而且不可靠。我们需要的是一个“守夜人”,一个能7x24小时盯着EMQX,一旦发现它“偷懒”或“罢工”,就立刻把它叫起来继续干活的自动化方案。这就是自动化监控与恢复脚本的核心价值——把人工从重复、低效的应急响应中解放出来,用确定的程序逻辑来应对不确定的服务故障。
在Windows环境下做这件事,批处理脚本(.bat文件)是我们的首选武器。它原生支持,无需安装额外环境,配置简单,功能也足够强大。一个设计良好的监控脚本,不仅能检测服务状态、自动重启,还能记录详细的运行日志,方便我们事后分析。我折腾过不少方案,也踩过不少坑,今天就把我实践下来最稳定、最易用的一套方法分享给你,从原理到实操,一步步带你搭建起属于你自己的EMQX“贴身保镖”。
2. 手把手打造你的监控脚本
2.1 脚本核心逻辑拆解
我们先别急着写代码,搞清楚脚本到底要干什么。它的工作流程就像一个不知疲倦的哨兵,循环执行以下几个步骤:
- 检查状态:询问EMQX:“你还活着吗?”
- 记录日志:不管死活,都把当前状态和时间记下来,留个证据。
- 判断与行动:
- 如果活着,很好,休息一会儿再问。
- 如果死了,立刻执行重启操作,并记录“抢救”过程。
- 等待间隔:休息一段时间(比如60秒),然后回到第1步,开始下一个循环。
这个逻辑用批处理来实现,关键就在于如何准确地判断EMQX的“生死”。直接看进程是否存在(比如beam.smp.exe)并不完全可靠,因为进程在并不代表服务就正常工作了。最准确的方法是使用EMQX自带的命令行工具 emqx_ctl 来查询其管理状态。
2.2 基础版监控脚本逐行精讲
下面是我在实际生产环境中打磨过的一个脚本核心版本,每一行我都加了详细注释,你完全可以照着抄,只需要改一个路径。
@echo off
REM 这行是“隐身术”,让脚本运行时不在黑窗口里刷屏显示每条命令,只显示我们想让它显示的内容(比如echo的信息),界面更干净。
REM 下面这行是“后台运行魔法”,非常重要!它能让脚本在双击运行后,黑窗口自动隐藏,在后台静默运行。
%1 mshta vbscript:CreateObject("WScript.Shell").Run("%~s0 ::",0,FALSE)(window.close)&&exit
REM 【必改】设置你的EMQX安装目录的绝对路径,别用中文和空格!
set EMQX_PATH=E:\emqx
REM 设置日志文件路径,监控日志会写在这个文件里。
set OUTPUT_FILE=%EMQX_PATH%\emqx_monitor.log
REM 定义一个标签,这是循环的起点。
:loop
REM 切换到EMQX的目录,确保后续命令在正确的路径下执行。
cd /d "%EMQX_PATH%"
REM --- 开始构造时间戳,用于日志记录 ---
REM 获取系统日期,并拆分成年、月、日。
for /f "tokens=1-4 delims=/ " %%a in ('date /t') do (
set year=%%a
set month=%%b
set day=%%c
)
REM 获取系统时间,拆分成时、分。注意小时数补零,让格式统一。
for /f "tokens=1-3 delims=: " %%a in ('time /t') do (
set hour=0%%a
set minute=%%b
)
REM 组合成我们习惯的“年-月-日 时:分”格式。
set timestamp=%year%-%month%-%day% %hour:~-2%:%minute%
REM --- 时间戳构造结束 ---
REM 进入bin目录,因为emqx_ctl命令在这里。
cd bin
REM 【核心检测逻辑】查询EMQX状态,并过滤关键信息。
REM `emqx_ctl status` 命令会输出服务状态。
REM 我们用 `findstr` 管道(|)来搜索输出中是否包含“Node 'emqx@127.0.0.1'”和“is started”这两个字符串。
REM 如果两个字符串都找到了,说明服务正常启动。`>NUL` 表示把这条命令本身的输出丢弃,不显示。
emqx_ctl status | findstr /C:"Node 'emqx@127.0.0.1'" | findstr /C:"is started" >NUL
REM 判断上一条命令的执行结果码(ERRORLEVEL)。在Windows批处理中,命令成功通常返回0。
IF "%ERRORLEVEL%"=="0" (
REM 如果返回0,说明服务正常。
echo [%timestamp%] EMQX is running normally. >> %OUTPUT_FILE%
) ELSE (
REM 如果返回非0,说明服务挂了。
echo [%timestamp%] EMQX is not running. Restarting... >> %OUTPUT_FILE%
REM 【可选但推荐】在重启前,强制结束可能残留的EMQX相关进程,避免端口占用导致启动失败。
REM 取消下面两行开头的REM注释即可启用。beam.smp是Erlang运行时的主要进程。
REM taskkill /f /im beam.smp.exe >NUL 2>&1
REM timeout /t 5 /nobreak >NUL REM 等待几秒,确保进程完全结束
REM 执行启动命令。`start /b`表示后台启动一个新窗口执行,`/c`表示执行完命令后关闭那个新窗口。
start /b cmd /c "%EMQX_PATH%\bin\emqx start"
echo [%timestamp%] EMQX has started. >> %OUTPUT_FILE%
)
REM 本次检查完毕,休息60秒,然后跳回`:loop`标签处继续循环。
timeout /t 60 > NUL
goto loop
把上面的代码保存为一个文本文件,然后将扩展名改为 .bat,比如 emqx_monitor.bat。切记,一定要把 set EMQX_PATH=E:\emqx 这一行里的路径,改成你自己电脑上EMQX的实际安装路径,否则脚本根本找不到你的EMQX在哪。
2.3 如何运行与停止这个“守护者”
运行脚本:最简单的方法就是双击这个 .bat 文件。你会看到一个命令行窗口一闪而过,然后就消失了。别担心,这不是出错,这正是我们开头那行“后台运行魔法”生效了,脚本已经默默地在你系统后台运行起来了。你可以去任务管理器里看看,会发现多了一个 cmd.exe 进程,这就是我们的监控脚本。
验证是否运行:去你设置的 EMQX_PATH 目录下,看看有没有生成一个叫 emqx_monitor.log 的文件。用记事本打开它,如果里面每隔一分钟就有一条 [时间] EMQX is running normally. 的记录,恭喜你,监控已经开始工作了!
停止脚本:既然它后台运行了,怎么关掉它呢?打开任务管理器(Ctrl+Shift+Esc),切换到“详细信息”标签页。找到 cmd.exe 进程,仔细看它的“命令行”那一列,应该能看到你脚本的完整路径。选中它,点击“结束任务”。有时候可能还会有一个 conhost.exe 进程与之关联,如果结束 cmd.exe 后监控确定停止了,这个一般也会自动消失。
模拟故障测试:这是最关键的一步,你得验证它的“抢救”能力。手动把EMQX服务停掉(可以通过 emqx stop 命令,或者在服务管理里停止)。等待最多一分钟(我们设置的间隔),再去看看日志文件。你应该会看到类似 [时间] EMQX is not running. Restarting... 和 [时间] EMQX has started. 的记录。同时,用浏览器访问EMQX的管理控制台(默认是 http://localhost:18083),或者用 emqx_ctl status 命令,确认服务确实被重新拉起来了。这个测试通过了,你晚上才能睡得踏实。
3. 进阶:让监控更强大、更省心
基础脚本能跑起来,已经解决了80%的问题。但想让它更可靠、更融入运维体系,还需要一些进阶操作。
3.1 实现开机自动启动
我们肯定不希望每次服务器重启后,还要手动登录上去双击一下脚本。把它加到Windows的启动项里,实现开机自启,是必须的。
方法一:启动文件夹(最简单)
按下 Win + R,输入 shell:startup,回车。这会打开当前用户的启动文件夹。把我们的 emqx_monitor.bat 脚本文件复制(或创建快捷方式)到这个文件夹里。这样,每次这个用户登录系统时,脚本就会自动运行。
方法二:创建系统服务(更专业、更稳定)
对于服务器环境,我更推荐把它注册为一个Windows服务。这样即使没有用户登录,服务也能在后台运行,管理起来也更规范(可以用 sc 命令或服务管理器启动/停止)。我们可以借助一个叫 NSSM (the Non-Sucking Service Manager) 的免费小工具,它简直是Windows下将任意程序封装成服务的“神器”。
- 去NSSM官网下载,解压。
- 以管理员身份打开命令行,进入NSSM的目录。
- 执行命令:
nssm install EMQXMonitor。这会弹出一个图形化界面。 - 在“Application”标签页:
- Path: 浏览选择我们的
emqx_monitor.bat脚本。 - Startup directory: 选择脚本所在的目录。
- Path: 浏览选择我们的
- 在“Details”标签页,可以设置服务显示名称和描述,比如“EMQX 自动监控与恢复服务”。
- 点击“Install service”。完成后,打开服务管理器(
services.msc),你就能找到并启动这个服务了。
用NSSM创建的服务,运行账户、失败后的重启动作、资源限制等都可以配置,比扔启动文件夹里可靠得多。
3.2 增强脚本的健壮性
基础脚本在大多数情况下没问题,但生产环境要考虑更多边界情况。
1. 增加进程清理逻辑 有时候EMQX进程卡死了,但端口还被占用着,直接启动会失败。我们可以在重启前,更彻底地清理一下。把脚本里我注释掉的那两行放开:
taskkill /f /im beam.smp.exe >NUL 2>&1
timeout /t 5 /nobreak >NUL
taskkill /f 是强制结束进程,2>&1 是把错误输出也重定向掉,避免刷屏。结束后等5秒,让系统充分释放资源。
2. 增加启动结果校验
emqx start 命令发出去了,不代表服务真的启动成功了。我们可以加一个简单的二次校验。在重启命令之后,再加一个循环检查,比如连续检查3次,每次间隔10秒,如果都失败了就记录严重错误并退出(或发告警)。
REM ... 重启命令之后 ...
echo [%timestamp%] EMQX start command issued. Waiting for service to be ready... >> %OUTPUT_FILE%
set /a retry_count=0
:check_after_start
timeout /t 10 > NUL
emqx_ctl status | findstr /C:"Node 'emqx@127.0.0.1'" | findstr /C:"is started" >NUL
IF "%ERRORLEVEL%"=="0" (
echo [%timestamp%] EMQX has started SUCCESSFULLY. >> %OUTPUT_FILE%
goto end_check
) ELSE (
set /a retry_count+=1
if %retry_count% LSS 3 (
echo [%timestamp%] EMQX not ready yet, retry %retry_count%/3... >> %OUTPUT_FILE%
goto check_after_start
) else (
echo [%timestamp%] ERROR: EMQX failed to start after 3 retries! >> %OUTPUT_FILE%
REM 这里可以添加发送告警邮件的命令,或者调用其他告警脚本
goto end_check
)
)
:end_check
3. 日志轮转与清理
监控脚本如果常年累月地跑,日志文件会越来越大。我们需要定期清理或轮转日志。可以在脚本里加一段逻辑,比如每次启动时,或者每天第一次运行时,检查日志文件大小,如果超过10MB,就把它重命名为带日期的备份文件(如 emqx_monitor_20231027.log),然后新建一个空日志文件继续写。
4. 避坑指南与经验分享
搞了这么多年运维,有些坑只有踩过才知道疼。这里分享几个我遇到过的典型问题和解决办法。
路径问题是最常见的“杀手”。批处理脚本对路径中的空格和特殊字符非常敏感。如果你的EMQX安装在类似 C:\Program Files\emqx 这样的路径下,一定要用双引号把完整路径包起来,就像我们脚本里写的 “%EMQX_PATH%” 这样。另外,所有路径尽量使用绝对路径,不要用相对路径,因为脚本运行时的工作目录可能会变。
权限问题。如果你把脚本做成了开机启动(尤其是通过启动文件夹方式),需要注意它是在哪个用户权限下运行的。如果EMQX的安装或运行需要管理员权限,那么监控脚本也需要相应的权限。用NSSM创建服务时,可以专门指定一个具有足够权限的账户来运行。
环境变量依赖。我们的脚本直接使用 emqx_ctl 这个命令,是因为我们先 cd 到了EMQX的bin目录。如果你在别的地方调用,或者系统环境变量没配置,可能会提示“命令找不到”。最稳妥的方式就是像脚本里那样,先用 cd /d 切换到目标目录再执行命令。
脚本本身的存活问题。谁来看守这个“看守者”?如果监控脚本自己因为未知原因崩溃了怎么办?对于超级重要的系统,可以考虑再写一个更简单的“看门狗”脚本,每隔几分钟检查一下监控脚本的进程是否存在,如果不存在就启动它。或者,利用上面提到的NSSM服务管理功能,将服务配置为“第一次失败后重启”、“第二次失败后重启”等恢复动作,让Windows服务管理器来保证监控服务的存活。
最后,再强调一下测试的重要性。任何自动化脚本在上生产环境之前,必须在测试环境充分模拟各种故障场景:正常停止服务、强制杀死进程、重启服务器、断网、磁盘满等等。观察脚本的反应是否符合预期,日志记录是否清晰。只有经过充分测试的方案,才敢在半夜放心睡觉。
这套基于Windows批处理的EMQX监控方案,虽然看起来不如一些专业的监控系统高大上,但它胜在轻量、直接、零依赖,特别适合快速解决眼前棘手的稳定性问题,或者作为复杂监控系统上线前的一个过渡和补充。技术方案没有最好,只有最适合。希望这份详细的指南和脚本,能切实帮你把EMQX服务稳下来,让你少熬几个夜。
396



被折叠的 条评论
为什么被折叠?



