使用pyppeteer 下载chromium 报错或速度慢

加速Requests-HTML的Chromium下载

最新推荐文章于 2025-04-11 09:00:00 发布

原创最新推荐文章于 2025-04-11 09:00:00 发布 · 1.9k 阅读

7 ·

CC 4.0 BY-SA版权

本文介绍如何解决使用Requests-HTML时Chromium下载缓慢的问题。通过手动下载Chromium并将其放置在指定目录下，可以避免长时间等待及连接失败的情况，显著提升爬虫程序的运行效率。

一、概述

使用Reuqests-html的render函数，它会在用户目录（默认是~/.pyppeteer/）中下载一个chromium，然后用它来执行JS代码。

执行之后，会下载chromium

[W:pyppeteer.chromium_downloader] start chromium download.
Download may take a few minutes.

但是速度特别慢，几个小时都不一定能好。长时间允许会导致连接失败。

二、手动下载chromium

创建一个.py 文件粘贴以下内容

import pyppeteer.chromium_downloader
print('默认版本是：{}'.format(pyppeteer.__chromium_revision__))
print('可执行文件默认路径：{}'.format(pyppeteer.chromium_downloader.chromiumExecutable.get('win64')))
print('win64平台下载链接为：{}'.format(pyppeteer.chromium_downloader.downloadURLs.get('win64')))

执行输出：

默认版本是：588429
可执行文件默认路径：C:\Users\xiao\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429\chrome-win32\chrome.exe
win64平台下载链接为：https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/588429/chrome-win32.zip

注意：输出结果，可能和我的不一样，请根据实际情况来。

将上面的复制一下，使用迅雷下载，大概有130M，几分钟就下载好了。

将下载好的chrome-win32.zip解压，得到chrome-win32目录

注意：上面的路径：C:\Users\xiao\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429

是不存在的，需要自己手动创建一下。其实只需要创建588429即可。

将chrome-win32目录复制到588429里面即可。

最终只要：

C:\Users\xiao\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429\chrome-win32\chrome.exe

存在即可

最后再次执行你的爬虫程序，就不会提示下载chromium了

本文参考链接：

https://www.jianshu.com/p/1c4666b0a830