用python实现简单爬虫

初识python，其简洁的语法和强大的库让人印象深刻。今天特地写了个简单爬虫，爬取了天堂图片网前10张图片。

代码如下:

#coding=utf-8
import urllib.request
import re

def getHtml(url):
    page = urllib.request.urlopen(url)
    html = page.read()
    return html

def getImg(html):
    reg = r'src="(.+?\.jpg)" alt='
    imgre = re.compile(reg)
    html = html.decode('utf-8')
    imglist = re.findall(imgre,html)
    x = 0
    for imgurl in imglist:
        x = x + 1
        if(x >= 11):
            break
        urllib.request.urlretrieve(imgurl,'%s.jpg' % x)
    return imglist

html = getHtml("http://www.ivsky.com/tupian/ziranfengguang/")

for each in getImg(html):
    print(each)

注意：该代码使用的是python3.5版本的解释器，与2.7会有一些差别。

部分代码调整如下：

• python3.X将request库纳入了urllib中，所以为import urllib.request，而2.7版本的是import request
• html = html.decode(‘utf-8’)是对read( )方法返回后的html进行编码