Python3学习笔记：使用Cookie访问url地址

最新推荐文章于 2023-10-25 17:53:30 发布

weixin_34228662

最新推荐文章于 2023-10-25 17:53:30 发布

阅读量280

点赞数

CC 4.0 BY-SA版权

文章标签： python

原文链接：https://my.oschina.net/kenblog/blog/486509

本文介绍了一个简单的Python爬虫程序，该程序用于从指定网站抓取代理IP地址。通过使用urllib.request模块发送HTTP请求并解析返回的HTML内容来实现。文章提供了完整的代码示例。

2019独角兽企业重金招聘Python工程师标准>>>

#! /usr/bin/env python3
# -*- coding:utf-8 -*-

'通过url地址获取代理IP地址,目前只能获取一页'

__author__ = 'ken'

import urllib.request;
import urllib.parse;
import re;
import os;

curPath = os.path.abspath(os.path.dirname(__file__));


class proxy:
    def __init__(self):
        pass;

    def getIp(self, siteUrl):
        # 1、添加cookie支持
        opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor());

        # 2、进行请求，获取数据
        request = opener.open(siteUrl);

        # 3、获取数据，进行编码转换
        request_html = request.read();
        if isinstance(request_html, str):
            request_html = request_html;
            decoded = False;
        else:
            request_html = request_html.decode('utf-8');
            decoded = True;

        # 4、数据处理
        #......
        


if __name__ == '__main__':
    # example实例
    siteUrl = "http://www.youdaili.net/Daili/http/3464_3.html";
    pro = proxy();
    pro.getIp(siteUrl);

转载于:https://my.oschina.net/kenblog/blog/486509