爬虫服务(chromedp)僵尸进程排查记录

最新推荐文章于 2025-03-20 00:12:42 发布
原创 最新推荐文章于 2025-03-20 00:12:42 发布
· 2.5k 阅读 · 7 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#golang #爬虫 #chromedp #zombie #僵尸进程

目录

发现现象

如何解决？

临时解决

根本上解决

修复过程

发现现象

我们的爬虫服务会使用chromedp库（https://github.com/chromedp/chromedp）模拟浏览器登录，抓取网页数据，某天在pod内查看服务运行状态时，发现有大量的zombie进程，看了下是Chrome进程，在这里记录下排查以及解决的过程，希望可以给其他遇到相同问题的人提供一些思路。

爬虫服务使用Chrome，应该是以创建子进程的方式来启动Chrome，如果在子进程销毁时没有wait或者waitpid来处理，那么子进程会成为zombie进程。

每个zombie进程会占用系统少量资源，造成资源泄露，最明显的是pid数量会逐渐变多，最终结果会造成无法启动新的进程。

如何解决？

临时解决

发现问题首先想的是快速恢复，

最低0.47元/天 解锁文章
golang 读取ajax请求,golang 使用chromedp获取页面请求日志network
weixin_42468413的博客
08-06 1912
package mainimport ("context""io/ioutil""log""os""strings""time""github.com/chromedp/cdproto/network""github.com/chromedp/chromedp")func main() {dir, err := ioutil.TempDir("", "chromedp-example")if er...
Go Chromedp库得使用----CDP（Chrome DevTools Protocol)
路小白的博客
12-24 9705
Go chromedp库的使用 —CDP 文章目录Go chromedp库的使用 ---CDPCDP（Chrome DevTools Protocol)基于CDP协议的相关语言操作Chromedp使用示例本地界面浏览器操作远程操作示例（无头浏览器）Centos 安装chronium-headless示例代码Browsesrless/chrome部署Linux-Centos安装NodeJS参考 CDP（Chrome DevTools Protocol) Chrome DevTools Protocol 是基.
Chrombie:使用Puppeteer API的无头Chrome僵尸
05-02
关于 这是一个基于Debian的Docker容器，其中包含Chrome（NOT Chromium）和Node.js，用于运行Puppeteer脚本/测试。 为什么会存在？ 有几个项目在无头浏览器中打开URL，但是该项目旨在提供一些额外的功能，同时保持其简单性。 它使用Chrome，而不使用Chromium-在Chromium无头模式下无法使用某些更复杂的功能，例如WebRTC。 这结合了Puppeteer，因此您不仅可以打开URL，还可以传递脚本并编写测试。 安装指南 创建您的人偶脚本（例如webtest.js ），请参见以下示例（API为@ ） (async() => { const browser = await puppeteer.launch({ args: [ '--no-sandbox', '--
chromedriver僵尸进程的产生原因以及官方解决办法
robinspada的博客
06-29 1750
做过爬虫的人应该会知道driver.quit()后有一定几率产生chromdriver的孤儿进程（或者说僵尸进程）。但是这些僵尸是死而不僵，占据着内存让人讨厌，然而如果你随意杀死这些僵尸有可能导致正在运行的爬虫出错。所以说它们是僵尸是冤枉它们，它们实际上是孤儿进程，不过习惯上还是称它们为僵尸。这个问题存在了很多年，通常清理僵尸的办法就是kill这些僵尸，但是时机不好掌握，它们在刚成为僵尸时还有活动，这时如果kill它们会导致session id失效，或者profile（user data dir）被破坏。
chromedp 超时问题处理
最新发布
maiz_shi的博客
03-20 657
在利用浏览器开展自动化测试（爬虫）工作时，选择进行交互要更为出色。与相比，它的一大显著优势是无需下载与 chrome 浏览器版本对应的驱动。使用者仅需安装 chrome 浏览器，就能直接与浏览器进行交互，从而在编写交互程序时，减少一些与程序核心功能无关的操作。
解决 Docker + selenium + chromedriver + chrome 会出现僵尸进程的问题
无痕的博客
04-17 2909
分析与解决 Docker + selenium + chromedriver + chrome 内的僵尸进程
armbian docker Chrome_一次 Docker 容器内大量僵尸进程排查分析
weixin_39724266的博客
10-22 448
前段时间线上的一个使用 Google Puppeteer 生成图片的服务炸了，每个 docker 容器内都有几千个孤儿僵死进程没有回收，如下图所示。这篇文章比较长，主要就讲了下面这几个问题。什么情况下会出现僵尸进程、孤儿进程Puppeteer 工作过程启动的进程与线上事故分析PID 为 1 的进程有什么特殊的地方为什么 node/npm 不应该作为镜像中 PID 为 1 的进程为什么 Bash ...
Chromedp 绕过自动化检测(取消自动化提示)
Clown95
02-28 1947
使用chromdedp爬虫，绕过检测机制。
Fedora 下 Google-Chrome 经常出现僵尸进程的权宜办法
weixin_34121282的博客
08-04 135
对于Chrome_ProcessL 和Chrome_FileThre这两僵尸进程，估计遇到过的人都对其各种无奈吧，放任不管吧，越来越多，然后卡死，只能另开个X环境或者在其他的TTY里干掉他俩再切回去，总是管他吧，一会一个，疲于关闭。这里我想到一个不是办法的办法，一个权宜之计，用crontab来设置一个定时任务，每隔一段时间自动杀一次这俩僵尸，搞定后用了两天，稳定多了，现在写出来，记录连带给大家看看...
处理僵尸进程遇到的问题
fan_Mk的博客
03-21 210
虽然写了回调函数去回收僵尸进程（利用子进程运行完后给父进程发送的SIGCHLD信号） 但是未决信号集只能记录一个状态，，当一个信号在出于递达状态中时，是不会再次记录新的SIGCHLD信号。所以还是会漏掉一些僵尸进程。 ...
僵尸进程和孤儿进程
swty3356667的博客
11-19 295
进程状态 程序运行必须加载到内存中，当有过多的就绪态或者阻塞态进程在内存中没有运行，因为内存很小，有可能内存不足。系统需要把他们一定到内存外磁盘中，称为挂起状态。就绪状态的进程挂起就是挂起就绪状态，阻塞进程挂起就是阻塞挂起状态。每个进程的产生都有自己的唯一的ID号(pid)，并且附带有一个它父进程的ID号(ppid)。进程死亡时，ID被回收。 进程间靠优先级获得CPU资源，时间片段轮换...
爬虫得到的页面和实际页面有出入_详解Nginx如何查看搜索引擎蜘蛛爬虫行为：爬行次数、爬行页面等...
weixin_39636608的博客
11-18 318
概述最近阿里云经常会被各种爬虫光顾，有的是搜索引擎爬虫，有的不是，通常情况下这些爬虫都有UserAgent，而我们知道UserAgent是可以伪装的，UserAgent的本质是Http请求头中的一个选项设置，通过编程的方式可以给请求设置任意的UserAgent。 下面的Linux命令可以让你清楚的知道蜘蛛的爬行情况。我们针对nginx服务器进行分析，日志文件所在目录：/usr/local/ngin...
消除僵尸进程的两种方法
03-29
消除僵尸进程一般有5种方法，此处为其中的最常见最常用的两种
【Golang源码学习】chromedp篇
qq_40119224的博客
08-16 1175
chromedp源码阅读
golang语言chromedp包介绍以及如何弹出浏览器进行调试
小庄
07-21 5300
golang语言chromedp包介绍以及如何弹出浏览器进行调试 背景 想要做一个定时自动发送微博的程序，微博API提供了一个接口statuses/share，但是该接口需要注册微博开发者并审核通过(需要有app或者网站)微博应用审核产品指南。因此通过搜索引擎了解到可以通过程序控制chrome浏览器来实现，在GitHub上找到了chromedp这个包，但是相关文档比较少。这里把我了解和学习这个包，并实现自动化发送微博的过程记录并分享出来。 关于chromedp GitHub地址：https://github
Golang使用selenium、chromedp操作Chrome
王小懒的学习笔记
07-28 9963
Golang使用selenium golang中使用selenium，具体可以参考这篇文章，不是很全，但是基础的差不多都有 地址：https://bbs.huaweicloud.com/blogs/172024 这里补充说一点，由于使用selenium，浏览器会出现”Chrome正受到测试软件的控制“， 对于有点强迫症的我来说，看着非常不舒服！！！！ 可以通过下面这个参数来取消掉这个提示 func main() { //1.开启selenium服务 ops := []s..
Golang爬虫终极杀器——Chromedp让你成为二维码登陆终结者（教程）
热门推荐
Avtionの秘密房间
11-08 1万+
chromedp是一个更快、更简单的Golang库用于调用支持Chrome DevTools协议的浏览器，同时不需要额外的依赖，文章记录了使用chromedp进行二维码登陆的过程
chromedp抓取数据，从0开始踩坑记录
pt13558684045的博客
07-12 2416
chromedp抓取youtube、ins、tiktok数据，从0开始踩坑记录。文中几乎会涉及到所有chromedp的函数使用场景和特性&&各种奇奇怪怪的bug
Go+chromedp实现Web UI自动化测试
路飞
12-27 1441
如题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值