爬虫之SSL-校验网站证书

最新推荐文章于 2025-05-14 20:55:14 发布
最新推荐文章于 2025-05-14 20:55:14 发布
阅读量3.1k 收藏 8
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 学习笔记 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wapecheng/article/details/94128209
本文介绍了SSL证书的概念，如何检查网站是否部署SSL证书，以及处理HTTPS请求时的SSL证书验证。SSL证书用于验证网站身份和加密传输，由受信任的根证书颁发机构颁发。当遇到证书不受信任的情况，可以通过程序设置忽略验证错误来访问网站。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、什么是 SSL证书？如何检查网站是否部署了SSL证书？

如果你能使用 https:// 来访问某个网站，就表示此网站是部署了SSL证书。一般来讲，如果此网站部署了SSL证书，则在需要加密的页面会自动从 http:// 变为 https:// ，如果没有变，你认为此页面应该加密，你也可以尝试直接手动在浏览器地址栏的http后面加上一个英文字母“ s ”后回车，如果能正常访问并出现安全锁，则表明此网站实际上是部署了SSL证书，只是此页面没有做 https:// 链接；如果不能访问，则表明此网站没有部署 SSL证书。
在这里插入图片描述
在这里插入图片描述

请注意：有些部署了 SSL证书的网站会有不安全因素警告 ( 如下图所示 ) ，表明此页面中含有指向其他没有部署 SSL证书的页面，为了安全起见，建议您选择“否”，浏览器就不显示不安全的内容，这些内容一般都是 Flash 动画或 Java Script ，如果选择“是”，则浏览器不会显示安全锁标志。
在这里插入图片描述

什么是 SSL 证书？ SSL 证书就是遵守 SSL 安全套接层协议的服务器数字证书。而 SSL 安全协议最初是由美国网景 Netscape Communication 公司设计开发的，全称为：安全套接层协议 (Secure Sockets Layer) ， 它指定了在应用程序协议 ( 如 HTTP 、 Telnet 、 FTP) 和 TCP/IP 之间提供数据安全性分层的机制，它是在传输通信协议 (TCP/IP) 上实现的

最低0.47元/天 解锁文章

200万优质内容无限畅学
Python爬虫 （SSL知多少）带你走进Requests（献给人类）
若尘的博客
01-01 2462
SSL、js加密、ajax、Requests、post
Python之爬虫-- SSL
ydw_ydw的博客
08-24 627
SSL SSL证书就是指遵守SSL安全套阶层协议的服务器数字证书（SercureSocketLayer) 美国网景公司开发 CA（CertifacateAuthority)是数字证书认证中心，是发放，管理，废除数字证书的收信人的第三方机构 遇到不信任的SSL证书，（如 https://www.12306.cn , 360），需要单独处理 案例1 from urllib im...
【SSL证书系列】客户端如何验证https网站服务器发的证书是否由受信任的根证书签发机构签发
最新发布
DZ Space
05-14 1268
客户端验证HTTPS网站证书是否由受信任的根证书颁发机构（CA）签发，涉及多个步骤。首先，客户端接收服务器发送的证书链，包括服务器证书、中间CA证书和根CA证书。客户端逐级验证证书链的签名，确保根CA证书存在于客户端内置的信任列表中。接着，客户端检查证书的有效期、域名匹配、吊销状态以及扩展用途。验证失败的常见原因包括证书链不完整、根证书未预装、域名不匹配、证书过期或吊销状态异常。最终，客户端确认服务器证书的签发路径链接到受信任的根CA，且所有中间环节合法有效，否则会提示安全警告。
爬虫学习——SSL证书验证
ziupan的博客
03-16 678
requests提供了证书验证的功能。当发送HTTP请求时，它会检查SSL证书，我们可以使用verify参数控制是否检查此证书。其实如果不加verify参数的话，默认是True，会自动验证。 如果访问未被认证的网页，我们在访问时，都可以看到一个证书问题的页面，用requests测试，print(xxx.status_code)的结果会提示一个SSLError错误，表示证书验证错误。 如何避免这样的错误：把verify参数设置成False即可 举个栗子： import requests response=re
Python爬虫之SSL认证处理
abc152176的博客
03-23 4577
python爬虫关于SSL认证的问题初遇SSL认证（不是私密连接） 初遇SSL认证（不是私密连接） 当我们爬取12306的时候，会弹出一个窗口，显示连接不是私密连接，这里就是CA机构认证，每次访问的时候都会出现证书页面错误 我们直接写代码 import request import requests response = requests.get('https://www.123...
验证SSL
Liuxb_zao的博客
01-28 445
public static void trustAppointCertificate(Context inputContext, HttpsURLConnection connection) { SSLContext context = null; try { CertificateFactory cf = CertificateFact...
8.网络爬虫—深入理解Ajax请求与SSL证书验证
weixin_63740705的博客
04-20 1773
这类状态码表示请求已被服务器接收，需要客户端继续发送其他信息才能完成请求。例如，100（Continue）表示服务器已接收到请求头，客户端可以继续发送请求体。可以将响应数据按照指定的编码方式解码为Unicode字符串。：这类状态码表示需要客户端进行额外的操作才能完成请求。：这类状态码表示服务器在处理请求的过程中发生了错误。：这类状态码表示请求包含语法错误或请求无法实现。：这类状态码表示请求已成功被服务器处理。可以获取响应的编码方式。
Python爬虫---处理HTTPS请求 SSL证书验证
热门推荐
tao3741的博客
08-01 1万+
处理HTTPS请求 SSL证书验证
Java如何跳过https的ssl证书验证详解
08-25
SSL证书只是数字证书的一种，CA机构签发SSL证书。CA是数字证书管理机构。从理论上来说，如果服务端采用HTTPS协议，而自己没有SSL证书（服务端不提供SSL证书），那么通信是不可能成功的。 三、Java跳过HTTPS的SSL...
Pyhon : 爬虫Requests高级用法--SSL 证书验证
weixin_44523387的博客
06-02 1659
SSL 证书验证 Requests 可以为 HTTPS 请求验证 SSL 证书，就像 web 浏览器一样。SSL 验证默认是开启的，如果证书验证失败，Requests 会抛出 SSLError: requests.get(‘https://requestb.in’) requests.exceptions.SSLError: hostname ‘requestb.in’ doesn’t ma...
爬虫学习-4（ssl协议）
a_b_c_007的博客
07-03 154
from urllib.request import Request,urlopen from fake_useragent import UserAgent import ssl base_url="https://www.12306.cn/index/" headers={ "User-Agent":UserAgent().chrome } url=Request(base_url,headers=headers) #忽略验证证书 context=ssl.create_default_cont.
java 爬虫ssl证书,Pyhon : 爬虫Requests高级用法--SSL 证书验证
weixin_36140400的博客
03-20 379
SSL 证书验证Requests 可以为 HTTPS 请求验证 SSL 证书，就像 web 浏览器一样。SSL 验证默认是开启的，如果证书验证失败，Requests 会抛出 SSLError:requests.get(‘https://requestb.in’)requests.exceptions.SSLError: hostname ‘requestb.in’ doesn’t match ei...
SSL证书校验到底在校验什么？
LiteHeaven的专栏
04-21 3045
https用的太多了，用https的时候，不填TrustManager，用默认代码，就可以较安全地访问经过权威ca签名的host网址，啥都不用做，安逸， 当然我们也可以加载自定义TrustManager，如下： private static OkHttpClient.Builder createBuilder(){ ProxySelectorWrapper wrapper = new ProxySelectorWrapper(ProxySelector.getDefault()
SSL 验证过程
xinyuan的专栏
07-06 2914
摘 要：SSL利用数据加密、身份验证和消息完整性验证机制，为基于TCP等可靠连接的应用层协议提供安全性保证。本文介绍了SSL的产生背景、安全机制、工作过程及典型组网应用。 缩略语： 缩略语 英文全名 中文解释 AES Advanced Encryption Standard 高级加密标准 CA Certificate Authority ...
可狱可囚的爬虫系列课程 11：Requests中的SSL
Mr.Fu的博客
01-11 1194
我们在文章中遗留了一个问题，就是为什么要添加 verify=True 这个参数，今天我给大家单独解释一下，这还要从网站的 SSL 证书说起。
爬虫遇到SSL证书问题
ytraister的博客
05-28 3678
✍转载自：https://www.cnblogs.com/fh-fendou/p/7479812.html 前言 》做爬虫，对于有的网站，需要SSL证书验证，如：12306等网站 》若没有设置SSL，会提示如下报错信息： requests.exceptions.SSLError: ("bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')],)",) 解决方法
ssl单向证书和双向证书校验测试及搭建流程
十三阿哥的博客
08-01 2447
【代码】ssl单向证书和双向证书校验测试及搭建流程。
Python爬虫的ssl证书问题完美解决
mabinmt的专栏
07-07 5725
在对接海康综合安防管理平台iSecure Center的OpenAPI过程中遇到了python ssl的ca证书问题，曾被蹂躏终被战胜，谨此记录。 一、python环境ssl问题 抛出的错误： requests.exceptions.SSLError: [Errno 1] _ssl.c:503: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed 原因...
十大SSL检查工具，助你网站安全无忧
2401_87308624的博客
09-18 4302
虽然没有法律规定网站必须拥有SSL，但这是最佳实践。毕竟，为什么要让你自己的业务、顾客和网站访问者面临风险呢？没有有效的SSL证书，实际上就是在这么做。你不用了解技术细节。你只需要知道两件事：你需要拥有SSL以及你是否已经在用。如果结果显示你没有，那么有很多优秀的网站开发公司可以帮助你完成这个特定任务，并检查你可能忽视的其他关键要素。此外，为了统筹管理你的私域流量，你可以尝试使用光年AI的平台，它支持多平台私域流量管理，以及灵活的AI工作流设计，只需要简单的操作就能打造高效的业务流程。
c++ 爬虫获得ssl证书
01-20
### C++ 爬虫获取 SSL 证书方法 在开发基于 C++ 的网络爬虫时，处理 HTTPS 请求并验证服务器提供的 SSL/TLS 证书是一个重要环节。通常情况下，这涉及到使用第三方库来简化操作流程。 对于 C++ 开发者来说，`libcurl` 是一个广泛使用的 HTTP 客户端库，它不仅能够发起各种类型的请求，还内置了对 SSL 连接的支持功能[^1]。为了确保连接的安全性和合法性，在建立与目标网站之间的安全通道之前，应该配置 `libcurl` 正确加载 CA (Certificate Authority) 根证书文件用于校验远程站点的身份真实性。 下面给出一段简单的代码片段展示如何利用 libcurl 来设置自定义路径下的 CA 文件从而完成 SSL 握手过程： ```cpp #include <iostream> #include <curl/curl.h> int main(void) { CURL *curl; CURLcode res; curl_global_init(CURL_GLOBAL_DEFAULT); curl = curl_easy_init(); if(curl) { /* 设置 URL */ curl_easy_setopt(curl, CURLOPT_URL, "https://example.com"); /* 启用 SSL 验证 */ curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, 1L); /* 指定本地存储的CA根证书位置 */ curl_easy_setopt(curl, CURLOPT_CAINFO, "/path/to/ca-bundle.crt"); /* 执行会话 */ res = curl_easy_perform(curl); /* 始终记得清理资源 */ curl_easy_cleanup(curl); if(res != CURLE_OK) fprintf(stderr, "curl_easy_perform() failed: %s\n", curl_easy_strerror(res)); } curl_global_cleanup(); return 0; } ``` 这段程序展示了怎样通过指定可信认证机构颁发的公钥基础设施(PKI)中的根证书来进行严格的 SSL 握手协商。需要注意的是 `/path/to/ca-bundle.crt` 应替换为实际环境中可用的信任链文件的位置。 当应用程序运行于生产环境之中时，建议采用操作系统自带或者由受信任的服务提供商分发的有效期范围内的最新版 CA Bundle 文档以保障安全性[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值