python 使用requests爬虫爬取图片

关注

原创最新推荐文章于 2026-03-08 19:25:36 发布 1.3k 阅读 AI 写同款· GEO 优化 ›

python网络爬虫（一）爬取网站图片什么是网络爬虫？网络爬虫（Web Spider），又被称为网页蜘蛛，是一种按照一定的规则，自动地抓取网站信息的程序或者脚本。网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。爬虫流程用户获取网络数据的方式：方式1：浏览器提交请求—>下载... 阅读详情

import os

import requests
from lxml import etree

class Img():
    def __init__(self):
        self.headers = {
            "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
        }
        self.start_url = "http://www.netbian.com/"

    def get_response(self, url):
        res = requests.get(url, headers = self.headers)
        return res.content

    def trans_res_html(self, res):
        html = etree.HTML(res)
        return html

    def run(self):
        if not os.path.exists("tupian"):
            # 创建文件夹
            os.mkdir("tupian")
        res = self.get_response(self.start_url)
        html = self.trans_res_html(res)

        list = html.xpath('//div[@id="main"]/div[@class="list"]/ul/li/a')
        #遍历
        for dz in list:
            item = {}
            item["a_href"] = "http://www.netbian.com/" + dz.xpath('./@href')[0]
            res2 = self.get_response(item["a_href"])
            html2 = self.trans_res_html(res2)
            src = html2.xpath('//div[@id="main"]//div[@class="pic"]/p/a/img/@src')[0]
            name = html2.xpath('//div[@id="main"]//div[@class="pic"]/p/a/img/@alt')[0]

            img_res = self.get_response(src)
            # 保存文件
            f = open("tupian/%s.jpg" % name, "wb")
            f.write(img_res)
            # 关闭
            f.close()
            print(item)

if __name__ == '__main__':
    img = Img()
    img.run()