pyspider爬取https网址的时候报HTTP 599: SSL 错误解决办法

最新推荐文章于 2023-03-16 17:16:18 发布
原创 最新推荐文章于 2023-03-16 17:16:18 发布 · 1.5w 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍在使用Pyspider爬取HTTPS网站时遇到的SSL证书问题及解决方案。通过设置validate_cert=False参数，可以有效避免因自签名证书导致的错误。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

pyspider是个非常适合新手快速入门爬取网站数据的一个框架，是国内某个大神写的，然而往往我们在实际使用过程中也会遇到很多坑，下面是我在使用pyspider爬取https网站的时候报了一个错误：

错误信息：HTTP 599: SSL certificate problem: self signed certificate in certificate chain

字面上看说的是我的ssl证书有问题，我参考了网上的各种解决办法，最终得到了一个最简单的解决办法，那就是在请求url的时候携带一个参数：

validate_cert=False

加上这个参数，保存再次运行代码就不会报刚才的错误了，效果图如下：


二十八、Pyspider 爬取链家网
微信号：RunsenLiu
10-12 1325
Pyspider 是个强大的由python实现的爬虫系统。
Python3网络爬虫实战-10、爬虫框架的安装：PySpider、Scrapy
Python追梦
07-27 359
我们直接用 Requests、Selenium 等库写爬虫，如果爬取量不是太大，速度要求不高，是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复用的，如果我们把这些组件抽离出来，将各个功能模块化，就慢慢会形成一个框架雏形，久而久之，爬虫框架就诞生了。 利用框架我们可以不用再去关心某些功能的具体实现，只需要去关心爬取逻辑即可。有了它们，可以大大简化代码量，而且架构也会变得清晰，爬取效...
Fiddler抓包之【 抓取https请求 】详解教程
m0_70618214的博客
03-16 2万+
抓包之前，先了解一下Fiddler。 　　Fiddler是一款免费且功能强大的数据包抓取软件。它通过代理的方式获取程序http通讯的数据，可以用其检测网页和服务器的交互情况，能够记录所有客户端和服务器间的http请求，支持监视、设置断点、甚至修改输入输出数据等功能。fiddler包含了一个强大的基于事件脚本的子系统，并且能够使用.net框架语言扩展。
Python pyspider HTTP 599 错误
weixin_30809333的博客
11-27 280
PySpider 框架爬虫运行代码后出现HTTP 599: SSL certificate problem: unable to get local issuer certificate错误 错误原因： 请求 https 开头的网址，SSL 验证错误，证书有误。 解决方法： 添加参数 validate_cert=False 使用 self.crawl(url, callback=se...
Pyspider报错HTTP599:SSL certificate problem:unable to get local issuer certificate和not resolve host
Yangirl_Sunny的博客
03-22 1755
1.在pyspider框架运行的时候出现 HTTP 599: SSL certificate problem: unable to get local issuer certificate错误 （1）如图： (2)原因： 这个错误会发生在请求 https 开头的网址，SSL 验证错误，证书有误。 (3)解决办法： 使用 self.crawl(url, callback=self.index_pa...
python3爬取https网页_爬取https网站
weixin_39731682的博客
12-09 1499
python2.7import urllib2import sslweburl= "https://www.douban.com/"webheader={'Accept': 'text/html, application/xhtml+xml, */*',#'Accept-Encoding': 'gzip, deflate','Accept-Language': 'zh-CN','User-Agen...
Exception: HTTP 599: SSL certificate problem
weixin_34245749的博客
08-26 141
2019独角兽企业重金招聘Python工程师标准>>> ...
Python Pyspider实战：V2EX网站帖子爬取与数据存储
同时，需要注意设置`validate_cert=False`，以解决SSL证书验证问题，避免出现HTTP599错误。 在实际操作中，首先启动爬虫，可以看到`follows`面板上有一个初始的红色计数1，点击播放按钮开始爬取。随着爬取过程的...
Python Pyspider实战：V2EX网站爬虫与数据存储
同时，强调了在设置`validate_cert=False`以解决SSL证书问题，避免遇到HTTP599错误。 在实际的爬虫配置中，作者展示了如何修改`on_start`函数中的`self.crawl`调用，指定了抓取页面的URL，并设置了回调函数来解析...
python Web爬取工具总结 1 ：Requests和BeautifulSoup
hhhparty的博客
09-28 1030
1. 引言近一年接触了不少基于python的Web爬虫系统或工具库，收获不少，需要继续总结提高，所以下面对各类工具的应用方法和特性进行总结。 2. 内容概要根据自己的学习经历，本文涉及内容大致有以下部分： - Requests - beautifuSoup - selinium - urlib - scrapy - pyspider
HTTP 599: SSL certificate problem: unable to get local issuer certificate错误
weixin_47464801的博客
02-24 1003
网上有很多关于这个问题的解决方案，笔者也尝试了几次，但是一直不成功。 现在补充一下自己的方案。 环境：windows环境下 1.先分析一下错误原因： 这个错误会发生在请求 https 开头的网址，SSL 验证错误，证书有误。 2.然后是解决方法： 1）使用 self.crawl(url, callback=self.index_page, validate_cert=False) 2） 清除浏览器缓存 这个方法基本可以解决问题了。 笔者就是一直没清缓存，然后一直重复报错。 ...
【python】py35中使用requests库爬https协议下的网站
技术杂谈
10-04 1954
使用requests库可以非常简单地爬https协议下的网站 而当爬取TLSv1或TLSv1.1网站时 我们需要使用HTTPAdapter定制requests参数...
Java实现网络爬虫：HttpClient抓取https协议页面
Sakuraaaaaaa的博客
07-11 3909
Java实现网络爬虫 HttpClient： 爬虫介绍， 爬虫的抓取环节， 使用HttpClient发送get请求， 使用HttpClient发送post请求， HttpClient连接池， HttpClient抓取https协议页面。
反扒请求报错HTTP 599: SSL certificate problem 或者requests.exceptions.SSLError: HTTPSConnectionPool
ZHH_Love123的博客
12-24 987
前提 有些网页，一开始用脚本语言（python）去访问的时候会遇到这样问题。  一般这样的网站用浏览器去访问的时候，会弹出这样的警告“您的链接不是私密链接”。 内容大多出自于崔大神书籍。本菜结合书中内容做了自己的阐述。 简单解释 这里是由于这个网页的证书没有被官方CA机构信任，所以这里会出现证书验证的错误。  这样的url典型有https://www.12306.cn 如下使用代码的时候，就...
Pyspider 错误（Exception: HTTP 599）
qq_42229759的博客
08-28 3161
Exception: HTTP 599: Failed to connect to 127.0.0.1 port 25555: Connection refused 这个错误 十有八九是 phantomjs 挂了，重新启动一下phantomjs即可解决
Python爬取HTTPS网站的图片
weixin_43878959的博客
09-03 1984
学习python已经差不多三个月了，断断续续没有目标得学着，python上手确实快，也很迅速的迷上了python，而且自己之前接触过web前端，比较片面的学习过js，有一些基础。在pygame上我自闭了几个星期后决定转向先学习python的爬虫等其他的比较好玩的模块。下面就是爬取一个HTTPS协议的一个网页（特定页），主要使使用了正则表达式和beautifulsoup4结合来获取到图片的url(其中的for循环拆分索引和值也很关键，使其能遍历，分析其网页图片结构，发现获取到的url不是像其他网站带上域名的，
pyspider框架 HTTP 599: SSL certificate problem问题
huhuo123456的博客
07-27 927
一.杂记             闲来无事,听说pyspider这个爬虫框架很神奇,于是摩拳擦掌准备大干一场,结果一来泼我一脸冷水: SSL认证出了问题, 我左找又找找到了一个解决办法,借花献佛一波 在最后面加上validate_cert=False即可   ...
Http状态码
lonzgzhouzhou的博客
09-13 1962
被用于当资源的访问由于法律原因被禁止的时候。497：（HTTP到HTTPS（Nginx））Nginx内置的代码，被用于原始的HTTP的请求发送给HTTPS端口去分辨4XX在日志中和一个错误页面的重定向。598：（网络读取超时异常(未知)）这个状态码也没有在任何RFC中指定，但是被用在微软的HTTP代理中去标注一个网络读取超时在一个客户端之前的代理的后面。599：（网络连接超时异常(未知)）这个状态码也没有在任何RFC中指定，但是被用在微软的HTTP代理中去标注一个网络连接超时在一个客户端之前的代理的后面。
PySpider爬虫脚本：高效网络爬取解决方案
资源摘要信息:"PySpider-Crawling-Scripts:PySpider的爬网脚本" PySpider是一款开源的分布式爬虫框架，由Python编写而成，主要用于网页数据的爬取。PySpider的爬网脚本是指用PySpider框架编写的，用于执行特定网站...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小牛牛先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值