python爬虫Socks代理

最新推荐文章于 2025-06-18 09:32:15 发布

原创

最新推荐文章于 2025-06-18 09:32:15 发布 · 2.5k 阅读

7 ·

CC 4.0 BY-SA版权

本文介绍了如何在Python爬虫中使用Socks代理进行网络请求，包括无用户认证和有用户认证的情况。内容涉及requests库的socks支持安装及selenium结合chrome浏览器的设置，强调了运行环境的配置需求，如安装requests[socks]、selenium、chrome和chromedriver，并将chromedriver添加到环境变量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

requests请求网页(无用户认证)

session = requests.session()
session.proxies = {'http': 'socks5://127.0.0.1:9050',
                   'https': 'socks5://127.0.0.1:9050'}
resp = session.get('https://api.github.com', auth=('user', 'pass'))
print(resp.status_code)

requests请求网页（有用户认证）

http/https网页均可适用
运行环境要求：requests >= 2.10.0
socks支持是requests的额外特性，需要安装才能使用: pip install requests[socks]

import requests

# 要访问的目标网页
page_url = "http://dev.kdlapi.com/testproxy"

# 代理服务器 提示：生成api链接时代理类型请勾选socks4/socks5
proxy = "59.38.241.25:23916"

# 用户名和密码(私密代理/独享代理)
username = "myusername"
password = "mypassword"

proxies = {
    'http': 'socks5://%s:%s@%s' % (username, password, proxy),
    'https': 'socks5://%s:%s@%s' % (username, password, proxy),
    # 提示：如果希望在代理服务器上进行dns解析，把socks5替换成socks5h
}

headers = {
    "Accept-Encoding": "gzip",  # 使用gzip压缩传输数据让访问更快
}


r = requests.get(page_