requests-html模块报错解决记录

最新推荐文章于 2024-05-22 10:20:05 发布

原创

最新推荐文章于 2024-05-22 10:20:05 发布 · 2.2k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#requests-html #python #pyppeteer

在使用requests-html的Render方法时遇到MaxRetryError和SSLError，原因是pyppeteer尝试下载Chrome但因网络问题失败。解决办法是手动指定已安装的Chrome路径，避免下载。通过修改requests_html.py文件第714行，添加executablePath设置为Chrome的实际路径，例如'./path/to/Chrome.exe'。参考了多个博客文章进行解决。

使用requests-html的render方法出错

第一次使用Render方法时，会出现urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host=‘storage.googleapis.com’, port=443): Max retries exceeded with url: /chromium-browser-snapshots/Win/575458/chrome-win32.zip (Caused by SSLError(SSLError(“bad handshake: Error([(‘SSL routines’, ‘tls_process_server_certificate’, ‘certificate verify failed’)])”)))错误提示。

这是因为：调用render 方法启动pyppeteer，pyppeteer需要与浏览器（chromium）进行交互，第一次使用时pyppeteer没有绑定Chromium的话，会从新下载一个Chrome浏览器。

由于其指定的路径被墙，没有科学上网或者SS/SSR之类的，就会出现下载错误从而导致方法中断。

实际上，可以使用系统上原来装有的Chrome，在requests-html源代码
（如C:\Users\XXX\AppData\Local\Programs\Python\Python37-32\Lib\site-packages\requests_html.py）的
第714行：

原句：

self._browser = await pyppeteer.launch(ignor

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

winry2011

关注关注

2
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Python requests ip代理爬虫报错 HTTPSConnectionPool(host=‘xxxxx‘, port=443): Max retries exceed...

LawLietW的博客

12-17

1万+

本人系统：macOS10.15.6 Catalina 场景：使用Python requests 包+ip代理池爬取网站数据出现报错：HTTPSConnectionPool(host=‘xxxxx’, port=443): Max retries exceeded with url:xxxxxxxx (Caused by Ne… 具体情况下面这个博主已经基本提到了：点击这里但是依然出现这个报错。 import time import random import requests USER_AG.

docker中使用pyppeteer报出如下错误时pyppeteer.errors.BrowserError: Browser closed unexpectedly

houmenghu的博客

12-13

3394

之前开发了一个爬虫项目，需要用到requests_html在本地html页面渲染js，执行一些加密解密操作，在linux运行时候的坑真的多得很。另外，最近换服务器，想把项目放在docker里，在这里对 Pyppeteer 打包 Docker 的坑简单做一下总结。概述 Pyppeteer 打包 Docker 主要是有这么几个坑点：依赖没有安装，导致无法正确安装和启动 Pyppeteer。没有关闭沙盒模式，导致可能出现 Browser closed unexpectedly 错误•没有提前安装好 Pyp

参与评论您还未登录，请先登录后发表或查看评论

pyppeteer安装后运行时报错如下 urllib3.exceptions.MaxRetryError: HTTPSConnectionPool

热门推荐

大数据-攻城狮

11-13

1万+

报错如下： urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='storage.googleapis.com', port=443): Max retries exceeded with url: /chromium-browser-snapshots/Linux_x64/575458/chrome-linux.zip (Ca...

解决安装requests_html报错

jackgaohahaha的博客

03-06

1477

终端输入：pip install requests_html 安装模块，结果报错如下分析：安装路径权限不足解决：添加–uer 赋予权限 pip install --user requests_html

解决使用requests_html模块,html.render()下载chromium报错、速度慢问题

weixin_30426957的博客

08-12

1132

来源：https://www.cnblogs.com/xiaoaiyiwan/p/10776493.html 稍作修改 1.第一步，代码如下： from requests_html import HTMLSession url="https://www.baidu.com/" headers={ "Host": "www.baidu.com", "Upgrade-Insecure-Req...

解决某些网站（canvas这个图片网站）使用requests爬取时403报错的问题

u011283565的博客

06-17

1601

某些网站在你的参数设置完备时仍会出现403 比如canvas这个图片网站， import requests weburl = "https://www.canva.cn/_ajax/marketplace2/media/MADVhltOAvg?version=1&qualities=PRINT" webheader = { 'referer': 'https://www.canva.com/', 'Accept': 'text/html, application/xhtml+xml,

通过 Certbot 安装 Let's Encrypt 证书,来实现全站的 HTTPS 访问,报错解决记录

sinat_39595180的博客

12-02

4758

证书安装最近终于尝试着将本站升级成了HTTPS协议，主要参考laravel学院文章通过 Certbot 安装 Let’s Encrypt 证书，来实现全站的 HTTPS 访问另外参考Certbot官网,选择相应的操作系统和中间件即可根据操作提示进行安装，本文中的错误记录是基于CentOS7+Nginx进行安装协议过程中遇到的，初次安装有很多错误导致安装失败，本文主要将安装过程中遇到的错误...

vue-admin-template4使用记录及项目遇到问题的解决方案

weixin_45915243的博客

01-18

1251

一，安装vue-admin-template # 克隆项目 git clone https://github.com/PanJiaChen/vue-admin-template.git # 进入项目目录 cd vue-admin-template # 安装依赖 npm install # 建议不要直接使用 cnpm 安装以来，会有各种诡异的 bug。可以通过如下操作解决 npm 下载速度慢的问题 npm install --registry=https://registry.npm.taobao.

nginx总结第四章----nginx模块与指令详解

qq_26312651的博客

02-17

967

四 nginx模块官方提供了5个类型的模块:核心模块、配置模块、事件模块、http模块、mail模块。配置模块主要负责解析nginx.conf文件,是其他模块的基础,该类模块中只有一个ngx_conf_module模块; 核心模块主要负责定义除配置模块之外的其他模块,该类模块中有6个核心模块。 ngx_mail_module负责定义mail模块; ...

requests_html导入错误,Python requests-html扔多处理错误

weixin_30889555的博客

06-25

341

我试图移动web抓取程序使用请求图书馆requests-html图书馆允许我把网页上的javascript。导入的模块抛出这个错误:Traceback (most recent call last):File "backend2.py", line 2, in import requests_htmlFile "/Library/Frameworks/Python.framework/Versi...

使用PyCharm安装pytest以及requests

qq_35055695的博客

07-30

2188

电脑环境：windows7 64位 python3.7 问题：在PyCharm中，使用setting下的project Interpreter安装pytest以及requests失败解决方法：（亲测有效） 1、打开Gitbash，定位到python的安装目录：我的安装目录是 D:\pythonAnZhuang\Python37\Scripts 2、输入：pip install requests，等待安装完成 3、输入：pip install pytest，等待安装完成 4...

解决requests-html上传中文附件错误

ljwwebs的博客

05-13

363

今天在使用Python的requests-html库上传中文附件时，遇到了几个问题一一解决了，怕时间长忘记，特地做一下记录。废话不多说，先直接上马： from requests_html import HTMLSession class AB30(): def __init__(self): self.sess=HTMLSession() 关键代码： with open(saveFilePath,'rb') as fs: _files={ 'from':(None,''),

python requests_html执行response.html.render()下载chrome失败

xmjx43的博客

05-22

421

第一次等待异步内容加载，会下载chrome，网址原因，会报错。脚本，可以看到执行路径，手动下载一个chrome（# 创建一个HTMLSession对象。# 让浏览器渲染页面，等待异步内容加载。# 用session打开一个URL。m_downloader.py文件。查看python安装目录下的。），解压后放到对应目录。

使用requests_html爬取数据时遇到的一些问题以及解决方法

GhostPaints的博客

12-23

5576

是用Python进行爬虫抓取数据，并且与requests_html结缘，是在这一篇文章之中：如何用 Python 爬数据？（一）网页抓取在此之前有一些对网页的理解，所以使用起来也并不是很难，倒是在理解Python语法上花了点功夫。对于requests_html里面有哪些方法，以及方法名，可以在这里查看： requests_html中文文档主要遇到的问题：在使用requests...

Python3使用requests_html中HTMLSession()的render方法渲染时报错Unable to render the page. Try increasing timeout

SuperWei的博客

01-03

1109

文章讨论了在Python requests_html库中使用HTMLSession的render方法时出现的超时问题。笔者在公司网页渲染工具应用中，发现自第6次调用后出现超时错误。通过排查日志和搜索，发现问题与资源释放不当有关。修复方法是使用with语句确保资源自动关闭。线上环境未暴露问题，因为低调用量导致资源冷启动，而测试环境中高强度测试导致资源未释放。作者建议在实际应用中，如遇类似问题，可增加超时或确保资源释放。

centos 安装 requests-html render报错

getcomputerstyle的博客

10-17

444

报错的原因有很多，以下是针对已经安装chrome但是执行报错的解决方法：安装依赖，执行以下命令 yum install pango.x86_64 libXcomposite.x86_64 libXcursor.x86_64 libXdamage.x86_64 libXext.x86_64 libXi.x86_64 libXtst.x86_64 cups-libs.x86_64 libXS...

对于Requests_html 导入HTMLSession 报错现象总结

m0_47020161的博客

06-23

3208

对于Requests_html 导入HTMLSession 报错现象总结许多刚开始学习爬虫的小伙伴在使用requests_html 这个强大方便的库时可能会出现如下报错 ImportError: cannot import name ‘HTMLSession’ from ‘requests_html’ (C:\Users…) 但是自己早已经升级到python 3.6版本以上，requests_html 也已经安装好，代码引用正确，如 from requests_html import HTMLSessio

解决使用requests_html模块，第一次使用.html.render()方法渲染，程序下载chrome失败的问题

new_python的博客

11-14

4046

1.手动下载chrome 下载地址：https://npm.taobao.org/mirrors/chromium-browser-snapshots/Win_x64/650583/ 下载完成之后，找个地方保存并解压。 2.找到requests_html运行chrome的路径进入python安装目录下的\Lib\site-packages\pyppeteer 打开chromium_downloa...

response.josn（）报错