实现简单爬虫中遇到的问题

一、urllib问题

python2.7 中使用的是urllib2
python3.6 中使用的是urllib

python2.7 中使用的是urlparse
python3.6 中使用的是urllib.parse

二、模块引入问题

解决方式：

给模块文件添加 #!/usr/bin/env python3

作用：

run a program in a modified environment 在修改过的环境中运行程序

三、python3中urllib下载器的使用问题

“`python
from urllib import request

class HtmlDownloader(object):

def download(self, url):
    if url is None:
        return None
    response = request.urlopen(url)
    if response.getcode() != 200:
        return None
    return response.read()

四、究极错误

判断是否为None 本应是is 结果写成in
Oh fuck !

终究是自己不熟练的问题