Python3网络爬虫——（3）代理服务器设置（IP代理使用）

最新推荐文章于 2025-06-18 09:32:15 发布

探模之翼

最新推荐文章于 2025-06-18 09:32:15 发布

阅读量4.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：网络爬虫文章标签： Python3 网络爬虫

本文链接：https://blog.youkuaiyun.com/asialee_bird/article/details/79810376

网络爬虫专栏收录该内容

6 篇文章

订阅专栏

本文介绍如何使用Python的urllib.request模块设置HTTP代理服务器。通过创建ProxyHandler对象并结合Opener进行网页请求，同时设置了User-Agent头部信息。该示例访问了一个博客网站，展示了代理服务器的基本用法。

代理服务器设置

西刺代理IP URL：http://www.xicidaili.com/

使用request.ProxyHandler()来设置对应的代理服务器信息

# -*- coding: UTF-8 -*-
from urllib import request
if __name__ == "__main__":
    #访问网址
    url = 'https://blog.youkuaiyun.com/asialee_bird'
    #这是代理IP
    proxy = {'http':'117.68.192.78:18118'}
    #创建ProxyHandler
    proxy_support = request.ProxyHandler(proxy)
    #创建Opener
    opener = request.build_opener(proxy_support)
    #添加User Angent
    opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.168 Safari/537.36')]
    #安装OPener
    request.install_opener(opener)
    #使用自己安装好的Opener
    response = request.urlopen(url)
    #读取相应信息并解码
    html = response.read().decode("utf-8")
    #打印信息
    print(html)