爬虫：爬取京东手机图片

真你假我

于 2018-06-21 09:46:03 发布

阅读量1.2k

点赞数

分类专栏： python

本文链接：https://blog.youkuaiyun.com/zhangzejia/article/details/79717004

版权

本文介绍了如何使用Python爬取京东网站上的手机图片。通过正则表达式匹配关键内容，提取图片URL，再将图片保存到本地。文章详细展示了代码实现，包括常加载和懒加载图片的抓取，并处理HTTPError。最后，对不同页面进行遍历，爬取多页图片。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# 思路
# 1.爬取网页
# 2.根据正则表达式爬取关键内容
# 3.根据关键内容，再次使用正则匹配出图片地址
# 4.存储图片
#
import urllib.request
import re
import urllib.error

def craw(url,page):
    html1=urllib.request.urlopen(url).read()
    html1=str(html1)
    #先把所有图片部分的数据取出
    pat1='<div id="plist".+?<div class="clr"'
    result1=re.compile(pat1).findall(html1)
    if result1:
        result1=result1[0]
        #常加载正则
        pat2='<img width="220" height="220" data-img="1" src="//(.+?\.jpg)"'
        #懒加载正则
        pat3='<img width="220" height="220" data-img="1" data-lazy-img="//(.+?\.jpg)"'
        imagelist=re.compile(pat2).findall(result1) #常加载图片
        imagelist1=re.compile(pat3).findall(result1) #懒加载的图片
        imagelist=imagelist+imagelist1  #数组合并  将所有图片合并
        x=1