python 爬虫使用requests设置代理

最新推荐文章于 2024-07-17 15:17:23 发布

转载最新推荐文章于 2024-07-17 15:17:23 发布 · 7.7k 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/hexia7935/p/10073927.html

文章标签：

#爬虫 #python

本文介绍了如何使用Python的requests库和Selenium WebDriver通过免费代理服务器访问网络资源，包括代码示例和异常处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

免费代理的网站: http://www.xicidaili.com/nn/

代码部分：

import requests

proxy='124.243.226.18:8888'

#如果代理需要验证，只需要在前面加上用户名密码，如下所示

# proxy='username:password@124.243.226.18:8888'
proxies={
   'http':'http://'+proxy,
   'https':'https://'+proxy,
}
try:
   response=requests.get('http://httpbin.org/get',proxies=proxies)
   print(response.text)
except requests.exceptions.ConnectionError as e:
   print("Error",e.args)

输出：

{
"args": {},
"headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.20.0"
},
"origin": "124.243.226.18",
"url": "http://httpbin.org/get"
}

基于 selenium的代理设置：

from selenium import webdriver

proxy='124.243.226.18:8888'

option=webdriver.ChromeOptions()

option.add_argument('--proxy-server=http://'+proxy)

driver = webdriver.Chrome(options=option)

driver.get('http://httpbin.org/get')

转载于:https://www.cnblogs.com/hexia7935/p/10073927.html