python爬虫学习

网页图片爬虫实践

weixin_30916125

于 2017-09-01 10:45:00 发布

阅读量66

点赞数

CC 4.0 BY-SA版权

文章标签： python 爬虫

原文链接：http://www.cnblogs.com/enzoluo-blog/p/7462083.html

本文介绍了一种使用Python实现的网页图片爬虫方法，通过urllib及正则表达式从指定网页抓取图片并保存到本地。文中给出了具体的代码实现，并以实际网站为例进行了演示。

import re
import urllib.request
import urllib
import os

#抓取html 页面
def getHtml(url):
    page = urllib.request.urlopen(url)#非常简单的第三方类库的方法
    html = page.read()

    return html.decode('UTF-8')

#从html里面获取图片
def getImg(html):
    reg = r'src="(.+?\.jpg)" pic_ext'  # 要加括号，作为元组返回，抓取淘宝的图片png(先看源码中图片的地址路径)reg = r'data-lazy="(.+?\.png)" '
    imgre = re.compile(reg)
    imglist = imgre.findall(html)
    x = 0
    path = 'C:/ZhiBo/assert/images'# 保存在images路径下
    if not os.path.isdir(path):
        os.makedirs(path)
    paths = path + '/img'  #设置图片的名字
    for imgurl in imglist:
        urllib.request.urlretrieve(imgurl, '{}{}.jpg'.format(paths, x))
        x = x + 1


html = getHtml("http://layerstheme.com/portfolio/html/iCart/")  # 淘宝的：html = getHtml(r"http://www.taobao.com/")
getImg(html)