2.04-proxy-handler

最新推荐文章于 2020-12-14 09:51:53 发布

weixin_30326515

最新推荐文章于 2020-12-14 09:51:53 发布

阅读量65

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/hankleo/p/10603015.html

本文介绍了一种使用Python的urllib库实现通过代理服务器爬取指定网页内容的方法，并提供了具体的代码示例。文中展示了如何设置代理、构建处理器及自定义opener等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import urllib.request


def create_proxy_handler():
    url = "https://blog.youkuaiyun.com/m0_37499059/article/details/79003731"

    #添加代理
    proxy = {
        #免费的写法
        "http":""
        # "http":"120.77.249.46:8080"
        #付费的代理
        # "http":"xiaoming":123@115.


    }
    #代理处理器
    proxy_handler = urllib.request.ProxyHandler(proxy)

    #创建自己opener
    opener = urllib.request.build_opener(proxy_handler)
    #拿着代理ip去发送请求
    response = opener.open(url)
    data = response.read().decode("utf-8")


    with open("03header.html", "w")as f:
        f.write(data)

create_proxy_handler()