实现简单爬虫中遇到的问题

原创于 2017-12-19 14:10:42 发布 · 292 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #python

本文介绍了Python中urllib库的不同版本及其用法，并提供了一个具体的下载器实现案例。同时，还探讨了常见错误及其解决办法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、urllib问题

python2.7 中使用的是urllib2
python3.6 中使用的是urllib

python2.7 中使用的是urlparse
python3.6 中使用的是urllib.parse

二、模块引入问题

这里写图片描述

解决方式：

给模块文件添加 #!/usr/bin/env python3

作用：

run a program in a modified environment 在修改过的环境中运行程序

三、python3中urllib下载器的使用问题

“`python
from urllib import request

class HtmlDownloader(object):

def download(self, url):
    if url is None:
        return None
    response = request.urlopen(url)
    if response.getcode() != 200:
        return None
    return response.read()

四、究极错误

判断是否为None 本应是is 结果写成in
Oh fuck !

终究是自己不熟练的问题