Pyppeteer的安装和使用

最新推荐文章于 2025-06-04 17:37:12 发布

pcengineercn

最新推荐文章于 2025-06-04 17:37:12 发布

阅读量3.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签： pyppeteer

本文链接：https://blog.youkuaiyun.com/pcengineercn/article/details/104221392

爬虫专栏收录该内容

9 篇文章

订阅专栏

本文介绍了如何通过pip安装Pyppeteer，以及遇到的报错信息处理，如libXcomposite.so.1错误和Session closed问题，同时提供了控制台日志过多的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装

通过pip命令安装

pip install pyppeteer

对应的chromium在pyppeteer首次启动时会自动下载，不需要手动配置

常见报错信息

/root/.local/share/pyppeteer/local-chromium/575458/chrome-linux/chrome: error while loading shared libraries: libXcomposite.so.1: cannot open shared object file: No such file or directory

这是由于是最小化安装的centos7，所以需要安装相关的依赖

yum install libXcomposite libXcursor libXi libXtst libXScrnSaver libXrandr atk at-spi2-atk gtk3 -y

pyppeteer Session closed. Most likely the page has been closed.

这个目前只能通过修改源码解决，通过进入python安装目录/lib/python3.6/site-packages/pyppeteer，修改connection.py，

第44行添加两个参数 ping_interval = None, ping_timeout = None

控制台有很多不必要的日志打印

将pyppeteer类和websockets.protlcol类的log设置为WARNING级别,就可以避免WARINIG级别下的log输出，从而节省程序打印无用日志的时间和日志占用的巨大空间。

import logging
pyppeteer_level = logging.WARNING
logging.getLogger('pyppeteer').setLevel(pyppeteer_level)
logging.getLogger('websockets.protocol').setLevel(pyppeteer_level)
pyppeteer_logger = logging.getLogger('pyppeteer')
pyppeteer_logger.setLevel(logging.WARNING)