Python爬虫实战：批量图片数据采集（女生定制篇）

最新推荐文章于 2025-02-09 00:00:00 发布

伪善！

最新推荐文章于 2025-02-09 00:00:00 发布

阅读量1.2k

点赞数 6

分类专栏：爬虫文章标签： python xpath url 爬虫 spidermonkey

本文链接：https://blog.youkuaiyun.com/qq_45075118/article/details/117558971

版权

爬虫专栏收录该内容

3 篇文章

订阅专栏

本文详细介绍了一种使用Python实现的爬虫项目，针对女生定制图片采集，通过解析网页结构抓取喃仁图网站的图片，并展示了如何利用PyCharm和Chrome等工具进行开发。重点讲解了如何获取详情页图片URL并保存图片的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

效果展示

在这里插入图片描述

工具准备

数据来源: 喃仁图
开发环境：win10、python3.7
开发工具：pycharm、Chrome
在这里插入图片描述

项目思路解析

解析网页详情页面地址
获取首页的跳转链接和图片标题
在这里插入图片描述
发送请求进入详情页面提取到准确的图片url地址

接下来保存图片大功告成！！！！！！！！！
在这里插入图片描述

简易源码分析

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author  : BaiChuan
# @File    : 男人图采集.py
import os

import requests
import re

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
}

def get_img_url(url):
    response = requests.get(url)
    # print(response.text)
    info_list = re.findall('<a title="(.*?)" href="(.*?)"  target="_blank">	', response.text)
    # url_list = re.findall('<a title=".*?" href="(.*?)"  target="_blank">	', response.text)
    # print(data)
    for info in info_list:
        title = info[0]
        path = '图片/' + title
        if not os.path.exists(path):
            os.mkdir(path)

        new_url = info[1].split(".html")[0] + "_{}" + ".html"
        num = 1
        for i in range(1, 10):
            res = requests.get(new_url.format(i), headers=headers)
            # print(res.text)
            img_url_list = re.findall('><img src="(.*?)" alt=".*?" /></a>', res.text)
            if not img_url_list:
                break
            for img_url in img_url_list:
                result = requests.get(img_url, headers=headers).content
                with open(path + "/" + str(num) + ".jpg", "wb")as f:
                    f.write(result)
                    print("正在下载{}第{}图片".format(title, num))

                num += 1


if __name__ == '__main__':
    for i in range(1, 2):
        url = "https://www.nanrentu.cc/sgtp/xxrsg_{}.html".format(i)
        get_img_url(url)