python简单爬虫（下载知乎图片示例）

最新推荐文章于 2024-05-08 15:02:16 发布

原创最新推荐文章于 2024-05-08 15:02:16 发布 · 956 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了一个使用Python实现的简单网页爬虫程序，该程序能够从指定的知乎页面中抓取所有图片链接并下载保存。通过解析网页源代码，利用正则表达式匹配图片URL，进而实现自动化图片抓取。

#coding=utf-8
import urllib
import re

def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

def getImg(html):
    reg = r'src="(http.+?\.jpg)"'
    imgre = re.compile(reg)
    imglist = re.findall(imgre,html)
    print imglist
    x = 0
    for imgurl in imglist:
        urllib.urlretrieve(imgurl,'%s.jpg' % x)
        print imgurl
        x+=1

if __name__ == '__main__':
    print 'start...'
    html = getHtml("https://www.zhihu.com/question/30950901")
    # print html
    getImg(html)
    print 'The end.'