Requests SSL/TLS配置：证书验证与自定义CA指南-优快云博客

Requests SSL/TLS配置：证书验证与自定义CA指南

【免费下载链接】requests 项目地址: https://gitcode.com/gh_mirrors/req/requests

在现代Web通信中，SSL/TLS（Secure Sockets Layer/Transport Layer Security）协议是保障数据传输安全的基石。作为Python开发者最常用的HTTP客户端库，Requests提供了全面的SSL/TLS支持，包括证书验证、自定义证书颁发机构（CA）配置等关键功能。本文将深入探讨Requests中的SSL/TLS配置细节，帮助开发者正确处理证书验证、应对常见的SSL错误，并实现高级TLS配置。

证书验证基础

Requests默认启用SSL证书验证，这是保护应用程序免受中间人攻击（MITM）的关键安全措施。当使用Requests发起HTTPS请求时，库会自动验证服务器提供的证书是否由受信任的证书颁发机构（CA）签名，并检查证书的有效性（如是否过期、域名是否匹配等）。

默认证书存储位置

Requests使用certifi包提供的CA证书 bundle 作为默认信任源。这个证书 bundle 包含了全球主流CA的根证书，确保大多数HTTPS连接能够顺利验证。证书路径的定义可以在src/requests/certs.py中找到：

from certifi import where

# 返回默认CA证书bundle路径
def where():
    return certifi.where()

你可以通过以下代码获取当前环境中Requests使用的默认CA证书路径：

import requests
from requests.utils import DEFAULT_CA_BUNDLE_PATH

print(DEFAULT_CA_BUNDLE_PATH)

证书验证流程

Requests的证书验证过程主要在src/requests/adapters.py中的cert_verify方法实现。该方法负责配置urllib3连接对象的证书验证参数：

def cert_verify(self, conn, url, verify, cert):
    """Verify a SSL certificate. This method should not be called from user
    code, and is only exposed for use when subclassing the
    :class:`HTTPAdapter <requests.adapters.HTTPAdapter>`.
    """
    if url.lower().startswith("https") and verify:
        conn.cert_reqs = "CERT_REQUIRED"
        
        # 加载CA证书
        if verify is not True:
            cert_loc = verify
            if not os.path.exists(cert_loc):
                raise OSError(f"Could not find a suitable TLS CA certificate bundle, invalid path: {cert_loc}")
            if not os.path.isdir(cert_loc):
                conn.ca_certs = cert_loc
            else:
                conn.ca_cert_dir = cert_loc
    else:
        conn.cert_reqs = "CERT_NONE"
        conn.ca_certs = None
        conn.ca_cert_dir = None

常见证书验证问题及解决方案

证书验证失败错误

当Requests无法验证服务器证书时，会抛出SSLError异常。最常见的场景包括：

服务器使用自签名证书
证书已过期
证书域名与请求域名不匹配
系统CA证书库中缺少服务器证书的根CA

以下是一个典型的证书验证失败示例：

import requests

try:
    response = requests.get("https://self-signed.badssl.com/")
except requests.exceptions.SSLError as e:
    print(f"SSL验证失败: {e}")

临时解决方案：禁用证书验证（不推荐）

在开发或测试环境中，有时可能需要临时绕过证书验证。虽然这在生产环境中强烈不推荐，但了解如何操作有助于理解证书验证机制：

import requests

# 禁用证书验证（生产环境中禁止使用）
response = requests.get("https://self-signed.badssl.com/", verify=False)

# 禁用urllib3的警告
import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

警告：禁用证书验证会使你的应用程序面临中间人攻击的风险，可能导致敏感数据泄露。仅在绝对必要的测试场景中使用，并确保在生产环境中启用验证。

自定义CA证书配置

对于使用自签名证书或内部CA颁发证书的服务器，正确的做法是配置Requests信任自定义CA证书，而非完全禁用验证。

单请求自定义CA

可以在单个请求中通过verify参数指定CA证书文件路径：

import requests

# 使用自定义CA证书验证
response = requests.get(
    "https://internal-server.example.com",
    verify="/path/to/custom-ca.pem"
)

会话级CA配置

对于需要多次请求同一服务器的场景，使用Session对象配置CA证书更为高效：

import requests

session = requests.Session()
# 为会话设置自定义CA证书
session.verify = "/path/to/custom-ca.pem"

# 后续所有请求将使用此CA配置
response1 = session.get("https://internal-server.example.com/api/data")
response2 = session.get("https://internal-server.example.com/api/status")

系统级CA配置

对于需要全局信任自定义CA的场景，可以通过设置环境变量REQUESTS_CA_BUNDLE或CURL_CA_BUNDLE来指定CA证书路径：

# Linux/macOS
export REQUESTS_CA_BUNDLE="/path/to/custom-ca.pem"

# Windows (PowerShell)
$env:REQUESTS_CA_BUNDLE = "C:\path\to\custom-ca.pem"

设置后，所有使用Requests的Python程序将自动使用指定的CA证书 bundle。

客户端证书认证（mTLS）

在某些安全要求较高的场景中，服务器可能要求客户端提供证书进行双向认证（mTLS，Mutual TLS）。Requests支持通过cert参数配置客户端证书。

客户端证书配置

客户端证书可以是单个PEM文件（包含证书和私钥），或证书和私钥分离的两个文件：

import requests

# 单个PEM文件（包含证书和私钥）
response = requests.get(
    "https://mtls-server.example.com",
    cert="/path/to/client-cert.pem"
)

# 证书和私钥分离
response = requests.get(
    "https://mtls-server.example.com",
    cert=("/path/to/client-cert.pem", "/path/to/client-key.pem")
)

会话级客户端证书

同样，客户端证书也可以在Session对象中配置，适用于多个请求的场景：

import requests

session = requests.Session()
# 配置客户端证书
session.cert = "/path/to/client-cert.pem"

# 所有会话请求将自动发送客户端证书
response = session.get("https://mtls-server.example.com/protected-resource")

Requests测试套件中提供了用于测试双向认证的证书文件，位于tests/certs/mtls目录下，包含客户端证书和私钥文件：

tests/certs/mtls/client/client.pem: 客户端证书（包含私钥）
tests/certs/mtls/client/client.crt: 客户端证书
tests/certs/mtls/client/client.key: 客户端私钥

高级TLS配置

Requests允许通过自定义HTTPAdapter和SSLContext实现高级TLS配置，如指定支持的TLS版本、密码套件等。

自定义SSLContext

以下示例展示如何创建自定义SSLContext，限制仅使用TLS 1.2及以上版本，并指定密码套件：

import requests
import ssl
from requests.adapters import HTTPAdapter
from urllib3.util.ssl_ import create_urllib3_context

# 创建自定义SSL上下文
class TLSAdapter(HTTPAdapter):
    def init_poolmanager(self, *args, **kwargs):
        # 创建SSL上下文，仅启用TLS 1.2和TLS 1.3
        context = create_urllib3_context(
            ssl_version=ssl.PROTOCOL_TLS_CLIENT,
            ciphers="ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384"
        )
        kwargs["ssl_context"] = context
        return super().init_poolmanager(*args, **kwargs)

# 使用自定义Adapter
session = requests.Session()
session.mount("https://", TLSAdapter())

# 发送请求
response = session.get("https://secure-server.example.com")

处理证书吊销

虽然Requests默认不检查证书吊销状态，但可以通过结合pyopenssl和cryptography库实现证书吊销列表（CRL）检查或OCSP装订验证。以下是一个基本示例：

import requests
from requests.adapters import HTTPAdapter
from urllib3.contrib.pyopenssl import PyOpenSSLContext

class CRLAdapter(HTTPAdapter):
    def init_poolmanager(self, *args, **kwargs):
        # 创建支持CRL检查的SSL上下文
        context = PyOpenSSLContext(ssl.PROTOCOL_TLS_CLIENT)
        # 加载CRL
        context.load_verify_locations("/path/to/custom-ca.pem")
        context.load_crl("/path/to/revoked.crl")
        kwargs["ssl_context"] = context
        return super().init_poolmanager(*args, **kwargs)

session = requests.Session()
session.mount("https://", CRLAdapter())
response = session.get("https://server-with-crl.example.com")

测试证书与常见问题排查

Requests项目本身提供了多种测试用证书，位于tests/certs目录下，包括：

valid: 有效的服务器证书
expired: 已过期的服务器证书
mtls: 用于双向认证的客户端证书

这些证书可用于测试不同SSL/TLS场景下的Requests行为。

常见SSL错误及解决方案

错误类型	原因	解决方案
SSLError: CERTIFICATE_VERIFY_FAILED	服务器证书验证失败	1. 确保服务器证书有效且由受信任CA颁发 2. 配置自定义CA证书 3. 检查系统时间是否正确
SSLError: CERT_HAS_EXPIRED	服务器证书已过期	1. 联系服务器管理员更新证书 2. 如为测试环境，可临时禁用验证（不推荐生产环境）
SSLError: hostname 'example.com' doesn't match	证书域名不匹配	1. 确保请求URL与证书域名一致 2. 检查证书的主题备用名称(SAN)
SSLError: unable to get local issuer certificate	无法找到根CA证书	1. 提供正确的CA证书路径 2. 确保CA证书链完整
SSLError: bad handshake	TLS握手失败	1. 检查TLS版本兼容性 2. 验证密码套件配置 3. 检查服务器证书和链

调试SSL问题

当遇到难以诊断的SSL问题时，可以启用Requests的调试日志，获取详细的TLS握手信息：

import requests
import logging

# 配置调试日志
logging.basicConfig(level=logging.DEBUG)
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

# 发送请求
response = requests.get("https://example.com")

此外，还可以使用openssl命令行工具测试服务器的SSL配置：

# 检查服务器证书信息
openssl s_client -connect example.com:443

# 检查证书链
openssl s_client -connect example.com:443 -showcerts

# 测试特定TLS版本
openssl s_client -connect example.com:443 -tls1_2

最佳实践与安全建议

生产环境安全配置

始终启用证书验证：即使在内部网络中，也不应完全禁用证书验证
使用最新版本的certifi：定期更新CA证书 bundle，确保信任最新的根CA
```
pip install --upgrade certifi
```
实施最小权限原则：客户端证书应使用最小有效期，并限制其可访问的资源
监控证书过期：建立证书生命周期管理机制，提前预警即将过期的证书
使用强加密算法：配置服务器使用TLS 1.2+和安全的密码套件，禁用SSLv3、TLS 1.0/1.1

代码安全检查清单

避免使用verify=False，除非在明确的测试场景
客户端证书和私钥存储在安全位置，权限设置为仅所有者可访问
敏感环境中的TLS配置使用SSLContext强制指定安全协议和密码套件
定期更新Requests和依赖库，修复已知的安全漏洞
使用环境变量或安全配置管理工具存储证书路径，避免硬编码

总结

SSL/TLS配置是保障Web通信安全的关键环节。Requests提供了灵活而强大的SSL/TLS支持，通过合理配置证书验证、自定义CA和客户端证书，开发者可以在保障安全性的同时，灵活应对各种复杂的网络环境。本文详细介绍了Requests中的SSL/TLS配置选项，包括证书验证基础、自定义CA配置、客户端证书认证、高级TLS配置等内容，并提供了常见问题的排查方法和最佳实践建议。

正确配置SSL/TLS不仅能保护应用程序免受安全威胁，也是构建可信Web服务的基础。希望本文能帮助开发者深入理解Requests的SSL/TLS机制，编写出更安全、更可靠的网络应用。

官方文档：docs/user/advanced.rst

【免费下载链接】requests 项目地址: https://gitcode.com/gh_mirrors/req/requests

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考