Jenkins容器由于虚拟内存不足导致的异常退出

最新推荐文章于 2025-11-27 07:45:30 发布
原创 最新推荐文章于 2025-11-27 07:45:30 发布 · 1.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文描述了在百度云上运行的Jenkins容器由于物理内存限制，导致构建Maven项目时频繁出现问题。通过增加虚拟内存并调整Jenkins的JVM参数，最终解决了构建过程中因内存不足而引发的错误。

Jenkins容器运行在百度云上，物理内存1G，由于云服务器上的机器普遍没有配置虚拟内存，所以自己为该服务增加了1G的虚拟内存
启动Jenkins容器后，Jenkins容器在运行过程中经常自动停止运行或者在构建Maven项目时报错：
Maven JVM terminated unexpectedly with exit code 137

由于机器上还运行着其他的Jar包，尝试调整这些Jar包的的JVM参数,但是问题还是没有解决。
调整Jenkins的JVM参数又觉得特别麻烦

观察内存的运行情况，发现虚拟内存时常用尽，重新配置机器的虚拟内存为2G.问题得到解决。至少同时编译三四个maven项目不会出现退出的情况

jenkins+docker集成harbor实现可持续集成
congge
04-14 1万+
jenkins+docker集成harbor实现可持续集成
【异常】Jenkins构建失败，因内存不足提示异常failed； error=‘Cannot allocate memory‘
本本本添哥
06-20 513
日志中的关键错误信息如下，这意味着JVM尝试为某个操作分配182,976,512字节（约174MB）的内存，但操作系统返回了错误代码12（ENOMEM），表示没有足够的内存可供分配。检查构建过程中是否有可能占用大量内存的操作，比如是否加载了不必要的大文件或执行了消耗内存的第三方库。使用命令top -p ，显示你的java进程的内存情况，pid是你的java进程号，比如19663。），增加初始堆大小和最大堆大小，以确保JVM有足够的内存资源。经过检查，发现前端的单元测试运行的程序，占用了很大的内存。
ERROR: Maven JVM terminated unexpectedly with exit code 137
tao724624173的博客
07-11 4320
Jenkins、ERROR: Maven JVM terminated unexpectedly with exit code 137
Maven JVM terminated unexpectedly with exit code 137
热门推荐
qq_27791709的博客
08-02 1万+
【问题】jenkins自动部署报错，Maven JVM terminated unexpectedly with exit code 137 Maven JVM terminated unexpectedly with exit code 137 For reference the status code 137 (128 + 9) typically means (can differ b...
Linux+Docker+Gitlab+Jenkins+虚拟内存
沈夕林的博客
07-09 1539
最近想研究一下怎么自动化发布项目，于是找到了gitlab+jenkins这个组合，正好借机也研究一下最近很火的docker技术。本篇共分为五部分，分别为安装要求，内存虚拟化，安装docker，安装gitlab，安装jenkins。
jenkin内存不足导致无法正常运行
maction的博客
09-27 472
jenkin内存不足导致无法正常运行 查询容器id 1 docker ps 2 docker stop 容器id 3 docker update --memory 8G --memory-swap -1 容器id 4 docker restart 容器id
Jenkins异常1
l1h2l3的博客
03-19 525
[ERROR] Failed to execute goal on project gx-agency-agent-msm: Could not resolve dependencies for project com.gx.agency:gx-agency-agent-msm:jar:1.0-SNAPSHOT: The following artifacts could not be resol...
16、虚拟化与容器技术全解析：从基础到实践
nut55的博客
09-06 63
本文全面解析了虚拟化与容器技术的基础知识与实践操作，重点介绍了使用 virsh 工具管理虚拟机以及 Linux 容器的核心概念、优势和应用场景。同时，文章详细讲解了在 Fedora 31 系统中使用 Podman、Skopeo 和 Buildah 等工具进行容器的创建、运行、管理和部署的全过程，并通过流程图和命令对比帮助读者更好地理解和掌握容器操作。最后，文章探讨了容器技术在微服务、持续集成、云计算等领域的广泛应用及其未来发展趋势。
扩展基础设施：Packer与Jenkins助力容器构建与部署
### 扩展基础设施：Packer与Jenkins助力容器构建与部署 #### 1. Docker初步体验与容器管理 在操作过程中，会出现一个提示“Click to add logos”的页面，在该页面上点击，Docker标志会开始出现。点击刷新后，添加的...
Jenkins基础教程（207）使用Jenkins自动化你的单元和集成测试：Jenkins测试魔法：让你的代码 bugs 无处可逃！
最新发布
jxf_jxfcsdn的博客
11-27 323
还记得那次在周五下午，你花了三个小时调试一个本应在CI流程中就被发现的bug吗？ Jenkins就像一位不知疲倦的代码质量监督员，它能自动抓住那些偷偷溜进你代码的bugs，让你安心享受真正的咖啡时间 — 而不是一边喝咖啡一边加班debug。
jenkins执行bat失败_使用Jenkins持续集成的一些经验总结
weixin_34746495的博客
12-26 2498
1git clone失败 : Killed by signal 15场景：jenkins项目clone代码时，出现任务被kill掉的情况，导致出现以下错误信息：通过查看控制台的输出日志，可以看出原因是因为超时了。如果在限制时间内代码都没有clone完成，那么就任务就会被强制杀死：解决方法：当所需要clone的版本库过大或服务器网速较差时，clone的时间会超过默认的10分钟。因此需要修改...
解决jenkins构建失败，空间不足问题
qq_44691484的博客
12-15 7320
解决jenkins构建空间不足问题
Jenkins出现缓存内存不足的问题
七号空间
07-14 1951
catalina日志报错： 举个栗子： org.apache.catalina.webresources.Cache.getResource Unable to add the resource at [/WEB-INF/classes/hudson/util/HudsonIsLoading/login.default.jelly] to the cache for web application [/jenkins] because there was insufficient free space av
如何为linux释放内存和缓存_华陌飞尘_新浪博客
onebird_lmx的博客
10-20 174
在Linux系统下，我们一般不需要去释放内存，因为系统已经将内存管理的很好。但是凡事也有例外，有的时候内存会被缓存占用掉，导致系统使用SWAP空间影响性能，此时就需要执行释放内存（清理缓存）的操作了。 Linux系统的缓存机制是相当先进的，他会针对dentry（用于VFS，加速文件路径名到inode的转换）、Buffer Cache（针对磁盘块的读写）和Page Cache（针对文件i...
记一次 Jenkins 构建内存溢出的解决方案
RAB
04-29 3587
记一次 Jenkins 构建内存溢出的解决方案。
ERROR: Maven JVM terminated unexpectedly with exit code 137解决
tlimited的博客
10-21 9498
云服务上用了Jenkins构建maven项目，但是报这个错误，百度一下说是虚拟内存不够 为了减少购买昂贵的内存资源，可以暂时使用虚拟内存代替（根据运行的程序需求，性能会降低一些）。 这个技术在云服务器上使用，可以省很多银子的哦！！！ 1、查看内存使用情况 free -m [root@VM_0_8_centos ~]# free -m total used ...
Jenkins构建项目过程中：ERROR: Maven JVM terminated unexpectedly with exit code 137
悦上心灵的博客
01-21 2721
Jenkins构建项目过程中：ERROR: Maven JVM terminated unexpectedly with exit code 137
怎么把这个py写到Jenkins里面，具体步骤
11-25
<think> 我们想要将这个Python脚本集成到Jenkins中，以实现自动化数据处理。以下是具体步骤： ### 1. **准备环境** - 确保Jenkins服务器已安装Python（建议使用虚拟环境）及以下依赖： - pandas - sqlalchemy - pymysql - python-dotenv - 将脚本文件（例如`bsw_data_processing.py`）和配置文件（`responsible_config.json`）放入Jenkins工作目录下的代码仓库（如Git）。 ### 2. **设置环境变量** - 在Jenkins服务器上创建`.env`文件，包含数据库连接信息等（注意：不要将敏感信息硬编码在脚本中）： ```ini DB_HOST=your_db_host DB_USER=your_db_user DB_PASSWORD=your_db_password DB_NAME=your_db_name BSW_DB_HOST=bsw_db_host BSW_DB_USER=bsw_db_user BSW_DB_PASSWORD=bsw_db_password BSW_DB_NAME=bsw_db_name SOURCE_TABLE_NAME=source_table TARGET_TABLE_NAME=target_table ``` - 或者在Jenkins任务配置中设置环境变量（更安全，通过“Credentials”绑定）： - 进入任务配置 → “构建环境” → 勾选“Inject environment variables to the build process” ### 3. **创建Jenkins任务** - 新建一个自由风格项目（Freestyle project）。 - 在“源码管理”中选择Git，填写仓库地址和凭据。 - 在“构建触发器”中设置定时执行（例如每天凌晨1点：`0 1 * * *`）。 ### 4. **配置构建步骤** - 添加构建步骤：执行Shell（Linux）或批处理（Windows）。 - 示例Shell脚本（假设使用虚拟环境）： ```bash # 激活虚拟环境（如果有） source /path/to/venv/bin/activate # 安装依赖（如果未预先安装） pip install -r requirements.txt # 执行脚本 python bsw_data_processing.py # 检查退出状态 if [ $? -ne 0 ]; then echo "执行失败！" exit 1 fi ``` - Windows批处理示例： ```bat call C:\path\to\venv\Scripts\activate.bat pip install -r requirements.txt python bsw_data_processing.py if errorlevel 1 ( echo 执行失败！ exit /b 1 ) ``` ### 5. **处理依赖** - 在代码仓库中添加`requirements.txt`文件，内容如下： ``` pandas sqlalchemy pymysql python-dotenv ``` ### 6. **日志与错误处理** - 脚本已内置日志记录，执行日志会输出到控制台。 - Jenkins会自动捕获控制台输出，可在任务页面查看。 - 建议在Jenkins任务中配置邮件通知（在“构建后操作”中设置），当构建失败时发送警报。 ### 7. **测试** - 手动触发一次构建，观察控制台输出和数据库写入情况。 ### 注意事项： - **敏感信息管理**：数据库密码等应使用Jenkins的“Credentials”存储，并通过环境变量注入（避免写在脚本或普通环境变量文件中）。 - **路径问题**：确保Jenkins工作空间中的路径正确（尤其是配置文件和`.env`文件的位置）。 - **错误处理**：确保Python脚本在关键步骤有异常退出（非0状态码），以便Jenkins识别失败。 通过以上步骤，即可实现每天自动从源数据库拉取数据，处理后写入目标数据库。 §§相关问题§§ 1. 在Jenkins中如何安全地管理数据库密码等敏感信息？ 2. 如果Python脚本执行时间较长，如何避免Jenkins任务超时？ 3. 当需要同时支持Windows和Linux构建节点时，Jenkins任务应如何配置？ 4. 如何配置Jenkins在脚本执行失败时自动重试？ </think>要将Python脚本集成到Jenkins中实现自动化执行，以下是详细步骤： ### 1. **准备环境** ```bash # 在Jenkins服务器安装必要依赖 sudo apt-get install python3-pip -y pip3 install pandas sqlalchemy pymysql python-dotenv ``` ### 2. **创建Jenkins任务** 1. 登录Jenkins → 新建任务 → 选择"Freestyle project" 2. 在"源码管理"选择Git，填写代码仓库地址 3. 在"构建触发器"设置定时执行（如每天凌晨2点）：`H 2 * * *` ### 3. **配置构建步骤** 在"构建"部分添加Execute Shell步骤（Linux）或Batch命令（Windows）： ```bash #!/bin/bash # 设置环境变量（安全建议：使用Jenkins Credentials） export DB_HOST="jira-db.example.com" export DB_USER="$(cat /run/secrets/db_user)" export DB_PASSWORD="$(cat /run/secrets/db_pass)" # 创建输出目录 mkdir -p ./output # 执行Python脚本 python3 bsw_data_processing.py # 检查退出状态 if [ $? -ne 0 ]; then echo "执行失败!" exit 1 fi ``` ### 4. **敏感信息管理** 1. Jenkins首页 → Manage Jenkins → Manage Credentials 2. 添加Secret file类型凭证（存储.env文件） 3. 在任务配置中绑定凭证： ```bash # 在构建环境勾选"Use secret text(s) or file(s)" # 将凭证绑定到环境变量CONFIG_FILE ``` ### 5. **配置日志监控** 在"构建后操作"添加： ```groovy // 监控关键错误日志 def log = build.getLog() if (log.contains("ERROR") || log.contains("Exception")) { currentBuild.result = 'FAILURE' } ``` ### 6. **添加通知机制** 1. 安装Email Extension Plugin 2. 在"构建后操作"添加邮件通知： - 收件人：dev-team@example.com - 主题：$PROJECT_NAME - Build # $BUILD_NUMBER - 内容：包含执行日志摘要 ### 7. **错误处理增强** 在Python脚本中添加Jenkins友好退出： ```python if __name__ == "__main__": try: # 主逻辑... except Exception as e: logging.critical(f"致命错误: {str(e)}") sys.exit(1) # 非0退出码触发Jenkins失败状态 ``` ### 完整Jenkinsfile示例（Pipeline版） ```groovy pipeline { agent any environment { CONFIG_FILE = credentials('jira-db-creds') } stages { stage('Setup') { steps { sh 'pip3 install -r requirements.txt' } } stage('Run ETL') { steps { sh 'python3 bsw_data_processing.py' } } } post { always { archiveArtifacts artifacts: 'output/*.csv' } failure { emailext body: '检查构建日志: $BUILD_URL', subject: '数据处理任务失败', to: 'dev-team@example.com' } } triggers { cron('H 2 * * *') } } ``` ### 关键注意事项 1. **权限控制**：确保Jenkins用户对数据库和文件系统有读写权限 2. **依赖管理**：在仓库中添加requirements.txt包含依赖包 3. **超时处理**：在Jenkins任务设置Build Timeout（建议30分钟） 4. **资源隔离**：使用Docker容器避免环境冲突
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值