Python爬虫（5）——获取京东手机图片

最新推荐文章于 2021-07-15 21:47:17 发布

原创最新推荐文章于 2021-07-15 21:47:17 发布 · 1.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #京东 #手机图片

爬虫-python 专栏收录该内容

16 篇文章

订阅专栏

本文介绍了一个使用Python实现的简单爬虫程序，用于从京东网站抓取特定分类下的商品图片。程序首先获取网页源代码，然后利用正则表达式过滤无关信息并提取图片链接，最后将图片下载保存至本地。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码如下所示:

# -*- coding: utf-8 -*-
"""
Created on Thu Jun  8 15:24:27 2017

@author: zch
"""

import re
import urllib.request

def craw(url,page):
    #获取网页源代码
    html1 = urllib.request.urlopen(url).read()
    html1 = str(html1)
    #对网页源码进行过滤，只保留和产品列表相关的信息
    pat1 = '<div id="plist".+? <div class="page clearfix">'
    result1 = re.compile(pat1).findall(html1)
    result1 = result1[0]
    #print(result1)
    #再次过滤，提取网页中图片的链接，并将链接地址存储在列表中
    pat2 = '<img width="220" height="220" data-img="1" data-lazy-img="//(.+?\.jpg)">'
    imagelist = re.compile(pat2).findall(result1)
    x = 1
    #遍历列表，将链接存储到本地
    for imageurl in imagelist:
        imagename = "E:/Python/data/jd/img1/" + str(page) + str(x) + ".jpg"
        imageurl = "http://" + imageurl
        try:
            urllib.request.urlretrieve(imageurl,filename=imagename)
        except urllib.error.URLError as e:
            if hasattr(e,"code"):
                x+=1
            if hasattr(e,"reason"):
                x+=1
        x+=1
#通过for循环，将该分类下的所有网页都爬取一遍
for i in range(1,88):
    url = "https://list.jd.com/list.html?cat=9987,653,655&page="+str(i)
    craw(url,i)