python爬虫——requests+beautifulsoup爬取下厨房首页图片

独听钟声晚

于 2020-02-17 13:18:39 发布

阅读量443

点赞数

分类专栏： python爬虫

本文链接：https://blog.youkuaiyun.com/weixin_44321116/article/details/104355262

版权

python爬虫专栏收录该内容

37 篇文章

订阅专栏

本文介绍了一种使用Python和BeautifulSoup库从“下厨房”网站抓取图片的方法。通过解析网页源代码，获取img标签的data-src或src属性，然后下载并保存图片到本地。文章详细展示了代码实现过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一.网站分析

在这里插入图片描述
复制图片链接查看

去掉@以及之后的参数再次查看

在这里插入图片描述
有的图片的url属性为data-src

二.python代码

import os
import requests
from urllib.parse import urlparse
from bs4 import BeautifulSoup


url = 'http://www.xiachufang.com/'
r = requests.get(url)
# 生成对象
soup = BeautifulSoup(r.text, 'lxml')
img_list = []
for img in soup.select('img'):
    if img.has_attr('data-src'):
        img_list.append(img.attrs['data-src'])
    else:
        img_list.append(img.attrs['src'])

# 初始化下载文件目录
image_dir = os.path.join(os.curdir, 'images')

for img in img_list:
    o = urlparse(img)
    # 图片命名
    filename = o.path[1:].split('@')[0] 
    filepath = os.path.join(image_dir, filename)
    if not os.path.isdir(os.path.dirname(filepath)):
        os.mkdir(os.path.dirname(filepath))
    # 原图url，非缩略图
    img_url = '%s://%s/%s' % (o.scheme, o.netloc, filename)
    # print(img_url)
    resp = requests.get(img_url)
    with open(filepath, 'wb') as fp:
        for chunk in resp.iter_content(1024):
            fp.write(chunk)

在这里插入图片描述