实现简单爬虫中遇到的问题

本文介绍了Python中urllib库的不同版本及其用法,并提供了一个具体的下载器实现案例。同时,还探讨了常见错误及其解决办法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、urllib问题

python2.7 中使用的是urllib2
python3.6 中使用的是urllib

python2.7 中使用的是urlparse
python3.6 中使用的是urllib.parse

二、模块引入问题

这里写图片描述

解决方式:

给模块文件添加 #!/usr/bin/env python3

作用:

run a program in a modified environment 在修改过的环境中运行程序

三、python3中urllib下载器的使用问题

“`python
from urllib import request

class HtmlDownloader(object):

def download(self, url):
    if url is None:
        return None
    response = request.urlopen(url)
    if response.getcode() != 200:
        return None
    return response.read()
四、究极错误

判断是否为None 本应是is 结果写成in
Oh fuck !

终究是自己不熟练的问题

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值