如何使用Python网络爬虫抓取网站图片

python爬虫 爬取网页图片 想要爬取指定网页中的图片主要需要以下三个步骤: (1)指定网站链接,抓取该网站的源代码(如果使用google浏览器就是按下鼠标右键 -> Inspect-> Elements 中的 html 内容) (2)根据你要抓取的内容设置正则表达式以匹配要抓取的内容 (3)设置循环列表,重复抓取和保存内容 以下介绍了两种方法实现抓取指定网页中图片 (1)方法一:使用正则表达式过滤抓到的 html 内容字符串 兄弟们 这个代码开有没有知道咋添加的 我没添加... 阅读详情

本文介绍两种爬取方式:

1.正则表达式

2.bs4解析Html

以下为正则表达式爬虫,面向对象封装后的代码如下:

import urllib.request  # 用于下载图片
import os
import requests  # 发送http请求
import re   # 正则表达式匹配
'''
想要学习Python?Python学习交流群:973783996满足你的需求,资料都已经上传群文件,可以自行下载!
'''
class GetJpg(object):
 
    def __init__(self, start_urls):
        self.start_urls = start_urls
 
    def get_response(self,url):
 
        '''获取网页响应内容'''
 
        response = requests.get(url).text
        return response
 
    def get_content(self,html):
 
        '''获取网页响应内容中所有图片的整体div部分'''
 
        reg = re.compile(r'(<div class="j-r-list-c">.*?</div>.*?</div>)', re.S)
        return re.findall(reg, html)
 
    def get_jpg_url(self,content):
 
        '''获取图片url'''
 
        reg = r'data-original="(.*?)"'
        return re.findall(reg, content)
 
    def get_jpg_name(self,content):
 
        ''' 获取图片名称'''
 
        reg = re.compile(r'<a href="/detail-.{8}.html">(.*?)</a>')
        return re.findall(reg, content)
 
    def download_jpg(self,src_url, path,index):
 
        '''下载图片保存到本地目录'''
 
        path = ''.join(path.split())
        path = 'E:\Python\爬图片\{name}.{index}'.format(name=path,index=index)
        if not os.path.exists(path):
            urllib.request.urlretrieve(src_url, path)  # 下载图片
            print('OK!!!')
        else:
            print('文件已存在')
 
    def get_url_name(self,start_url):
 
        ''' 逐页下载,本部分本来可以放在main函数里,考虑到会多嵌套一个循环所以单独拿出来作为一个函数'''
 
        content = self.get_content(self.get_response(start_url))
        for i in content:
            jpg_url = self.get_jpg_url(i)
            if jpg_url:
                jpg_name = self.get_jpg_name(i)
                index = jpg_url[0].split('.')[-1]
                try:
                    self.download_jpg(jpg_url[0], jpg_name[0],index)
                except:
                    continue
 
    def main(self):
        
        ''' 执行'''
        
        [self.get_url_name(start_url) for start_url in self.start_urls]   # 此处列表生成器来执行
        # 这部分的代码相当于:
        # for start_url in self.start_urls:
        #     self.get_url_name(start_url)
 
 
if __name__ == '__main__':
    start_urls = ['http://www.budejie.com/{id}'.format(id=i) for i in range(1,10)]
    jpg = GetJpg(start_urls)  # 实例化一个对象
    jpg.main()

以下为使用bs4爬取的代码:

from bs4 import BeautifulSoup
import urllib.request
import re
'''
想要学习Python?Python学习交流群:973783996满足你的需求,资料都已经上传群文件,可以自行下载!
'''
def get_urls(img_girl):
    '''
    :param img_girl: <img>标签内容
    :return: 所有图片的url
    '''
    all_urls = [girl.get('src') for girl in img_girl]
    return all_urls
 
 
def get_img_name(img_girl):
    '''
    :param img_girl:  <img>标签内容
    :return: 所有图片title
    '''
 
    all_name = [girl.get('title') for girl in img_girl]
    return all_name
 
 
def get_img_resource(url):
    '''
    :param url:网站url
    :return:网页源码中的所有<img>标签内容
    '''
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36',
               'Accept - Language': 'zh - CN, zh;q = 0.8'
    }  # 添加请求头部,模拟浏览器
    req = urllib.request.Request(url, headers=headers)  # 创建对象
    res = urllib.request.urlopen(req, timeout=20)  # 发送请求
    content = res.read()  # 获取响应网页源码
    soup = BeautifulSoup(content,'html.parser')  # HMTL源码解析
    img_girl = soup.find_all('img')  # 获取 源码中的<img>标签模块内容
    return img_girl
 
 
def main(url):
    '''
    下载保存图片
    :param url: 网站url
    '''
    urls = get_urls(get_img_resource(url))
    names = get_img_name(get_img_resource(url))
    x = 1
    for src_url in urls:
        path_l = re.split(r'\W', names[urls.index(src_url)])  # 去除图片名称中的特殊字符,不然文件名可能在保存的时候报错
        path = ''.join(path_l)
        path = 'E:\Python\爬图片\BS4\{name}_{index}.jpg'.format(name=path,index=x)
        urllib.request.urlretrieve(src_url, path)
        print('OK')
        x += 1
 
if __name__ == "__main__":
    urls = ['https://www.dbmeinv.com/dbgroup/show.htm?cid=4&pager_offset={i}'.format(i=id)for id in range(1,10) ]
    [main(url)for url in urls]

bs4面向对象封装后代码:

from bs4 import BeautifulSoup
import urllib.request
import re
'''
想要学习Python?Python学习交流群:973783996满足你的需求,资料都已经上传群文件,可以自行下载!
'''
class GetWebImg(object):
 
    def __init__(self, url, index):
        self.url = url
        self.index = index
 
    def get_urls(self,img_girl):
        '''
        :param img_girl: <img>标签内容
        :return: 所有图片的url
        '''
        all_urls = [girl.get('src') for girl in img_girl]
        return all_urls
 
    def get_img_name(self,img_girl):
        '''
        :param img_girl:  <img>标签内容
        :return: 所有图片title
        '''
 
        all_name = [girl.get('title') for girl in img_girl]
        return all_name
 
    def get_img_resource(self, url):
        '''
        :param url:网站url
        :return:网页源码中的所有<img>标签内容
        '''
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36',
            'Accept - Language': 'zh - CN, zh;q = 0.8'
            }  # 添加请求头部,模拟浏览器
        req = urllib.request.Request(url, headers=headers)  # 创建对象
        res = urllib.request.urlopen(req, timeout=20)  # 发送请求
        content = res.read()  # 获取响应网页源码
        soup = BeautifulSoup(content, 'html.parser')  # HMTL源码解析
        img_girl = soup.find_all('img')  # 获取 源码中的<img>标签模块内容
        return img_girl
 
    def main(self):
        '''
        下载保存图片
        :param url: 网站url
        '''
        url_list = self.get_urls(self.get_img_resource(self.url))
        name_list = self.get_img_name(self.get_img_resource(self.url))
        x = 1
        for src_url in url_list:
            path_l = re.split(r'\W', name_list[url_list.index(src_url)])  # 去除图片名称中的特殊字符,不然文件名可能在保存的时候报错
            path = ''.join(path_l)
            path = 'E:\Python\爬图片\BS4\{name}_{index}_{id}.jpg'.format(name=path, index=self.index,id =x)
            urllib.request.urlretrieve(src_url, path)
            print('第{index}页第{id}张图片下载OK'.format(index=self.index,id =x))
            x += 1
 
 
if __name__ == "__main__":
    urls = ['https://www.dbmeinv.com/dbgroup/show.htm?cid=4&pager_offset={i}'.format(i=id)for id in range(1,10) ]
    index = 1
    for url in urls:
        get_img = GetWebImg(url,index)
        get_img.main()
        index += 1

运行结果:

 

python网络爬虫(一) 爬取网站图片 什么是网络爬虫? 网络爬虫(Web Spider),又被称为网页蜘蛛,是一种按照一定的规则,自动地抓取网站信息的程序或者脚本。网络蜘蛛是通过网页的链接地址来寻找网页,从网站某一个页面开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。 爬虫流程 用户获取网络数据的方式: 方式1:浏览器提交请求—>下载... 阅读详情

相关推荐

python网络爬虫(二)分页爬取图片

上篇回顾 在上篇讲述了网络爬虫爬取某个网页上的图片,我们实现的是具有Img标签的所有href进行爬取。但是,一个网站不可能只有一个页面有图片,我们爬取图片也不是只爬取一个页面的图片,这时如果我们需要爬取某个网站上的多页图片时,就需要对上篇代码进行改进了。 怎么实现分页爬取呢? 还是以ZOL桌面壁纸这个网站为例,打开网站我们发现下面有上一页、1、2、3、4、5、下一页等链接可以点击,所以在改...

sunrise的博客 8355

爬虫案例:手把手教你爬取图片

大家好,我是一行今天是小白菜同学的投稿,老规矩一个赞10积分一、确认目标和思路:写在最前面:程序很简单,重要的是思路以及对错误的分析1.确认目标和大体思路: 今天我们需要爬取的网站是:h...

一行玩python 1万+

Python简单爬取图片实例

零基础详细讲解python爬取网站图片下载到本地的简单实例

Minecraft 6万+

Python爬取图片

爬取网站https://image.baidu.com/

lidiaosi的博客 2万+

python网络爬虫--爬取淘宝联盟

互联网是由一个个站点和网络设备组成的大网,我们通过浏览器访问站点,站点把HTML、JS、CSS代码返回给浏览器,这些代码经过浏览器解析、渲染,将丰富多彩的网页呈现我们眼前。 网络爬虫,也叫网络蜘蛛(Web Spider),如果把互联网比喻成一个蜘蛛网,Spider就是一只在网上爬来爬去的蜘蛛。网络爬虫就是根据网页的地址来寻找网页的,也就是全球统一资源定位符URL,用来定义互联网上一个唯一的资源 ...

阎松的博客 1万+

2024年python爬虫入门:批量爬取网站图片并保存_python爬虫图片

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。通过对网站的分析,我们发现图中创意视频推荐也在figure标签中,所以但其实际上没有a和img标签,所以匹配没有结果,导致程序直接报错停止。工欲善其事必先利其器。大致框架搭好后运行,发现了。

2401_84562425的博客 1026

Python应用开发——爬取网页图片

当我们需要从网页上面下载很多图片的时候,一个一个手动保存实在是太累人了。那么有没有批量下载的办法呢? 答案是有的,Python爬虫就可以完美的做到这一点,而且作为一个Python的初学者,我可以很负责任的告诉你,这门语言入门挺简单的,特别是对于那些有其他编程语言经验的人。

ShenZhen_zixian的博客 4万+

如何使用Python爬虫抓取社交网站的图片

本文介绍了如何使用Python爬虫抓取社交网站的图片,包括静态图片和动态加载图片的抓取方法,如何下载并存储图片,以及如何对图像进行处理和分析。通过合理的反爬虫策略和优化,我们可以高效地抓取大量社交网站图片。

2201_76125261的博客 1033

python爬虫学习之爬取169图片网站

169美女图片网以健康、美丽、年轻、时尚的审美定位,为广大网友展现美女的外形美,欣赏当代年轻女性一代的美丽与情怀。 源码分享: ''' 在学习过程中有什么不懂得可以加我的 python学习交流扣扣qun,934109170 群里有不错的学习教程、开发工具与电子书籍。 与你分享python企业当下人才需求及怎么从零基础学习好python,和学习什么内容。 ''' import reques...

Python新手学习之家 2546

如何使用Python爬虫抓取并保存图像分类网站的图片:详细教程与代码实现

引言爬虫技术概述设置爬虫环境目标网站分析构建图像分类爬虫改进与优化图像保存与管理数据清洗与可视化高级技巧:使用深度学习进行图像分类总结与展望随着互联网信息的爆炸性增长,爬虫技术已经成为数据获取的一个重要工具。尤其是在处理图像数据时,爬虫能够帮助我们抓取并存储大量的图片,应用于机器学习、深度学习模型训练,甚至图像识别和分类等场景。本教程将重点介绍如何使用Python爬虫技术抓取并保存图像分类网站的图片,帮助您从网站上获取图片数据并保存到本地文件夹中。此外,我们还将探讨如何优化爬虫性能,绕过反爬虫机制,并提供如

2201_76125261的博客 649

使用 Python 构建图片爬虫:抓取网站上的图片并保存到本地

爬虫是一种自动化程序,能够模拟浏览器的行为,向目标网站发送请求并获取网页内容。根据网页的结构和要求,爬虫提取网页中的关键信息(如文本、图片等),然后保存到本地进行后续处理。Python 是最流行的爬虫开发语言之一,因为它拥有大量支持网页抓取的库和工具,如requestsSelenium等,能够帮助我们轻松地完成爬虫任务。本文介绍了如何使用 Python 构建一个图片爬虫,抓取指定网站的图片并保存到本地。我们首先介绍了爬虫的基础知识,然后提供了完整的代码示例,并展示了如何处理常见的反爬机制。

2201_76125261的博客 1663

python网络爬虫获取图片失败_Python爬虫之网页图片抓取的方法

一、引入这段时间一直在学习Python的东西,以前就听说Python爬虫多厉害,正好现在学到这里,跟着小甲鱼的Python视频写了一个爬虫程序,能实现简单的网页图片下载。二、代码__author__ = "JentZhang"import urllib.requestimport osimport randomimport redef url_open(url):'''打开网页:param url...

weixin_40004502的博客 1206

网站图片抓取及Word文档集成实战

简介:网站图片抓取是一项利用网络爬虫技术从互联网自动下载图片并保存到本地的常见任务。本文将详细讨论如何使用Python的requests和BeautifulSoup库实现图片抓取,并结合pandoc库展示如何将抓取的图片集成到Word文档中。

weixin_42527589的博客 1122

python爬虫万能代码-python网络爬虫源代码(可直接抓取图片)

在开始制作爬虫前,我们应该做好前期准备工作,找到要爬的网站,然后查看它的源代码我们这次爬豆瓣美女网站,网址为:用到的工具:pycharm,这是它的图标?...博文来自:zhang740000的博客Python新手写出漂亮的爬虫代码1初到大数据学习圈子的同学可能对爬虫都有所耳闻,会觉得是一个高大上的东西,仿佛九阳神功和乾坤大挪移一样,和别人说"老子会爬虫”,就感觉特别有逼格,但是又不知从何...

weixin_37988176的博客 8759

『言善信』Fiddler工具 — 1、Fiddler介绍与安装

文章目录1、Fiddler简介2、Fiddler功能3、Fiddler工作原理4、Fiddler安装 1、Fiddler简介 Fiddler是强大的抓包工具之一,它能记录所有客户端和服务器之间的HTTP和HTTPS请求,是web调试的利器。 Fiddler是位于客户端和服务端之间的HTTP代理,它的原理是以web代理服务器的形式进行工作的,使用的代理地址是:127.0.0.1,端口默认为8888,我们也可以通过设置进行修改。 Fiddler可以抓取支持HTTP代理的任意程序的数据包,如果要抓取https会

繁华似锦Fighting 1473

Fastwhisper + Pyannote 实现 ASR + 说话者识别

最近在研究ASR相关的业务,也是调研了不少模型,踩了不少坑,ASR这块,目前中文普通话效果最好的应该是阿里的modelscope上的中文模型了,英文的话,还是非whisper莫属了,而且whisper很变态,粤语效果也还不错,因此,如果实际业务中需要涉及到不同的语言,还是更推荐whisper多一点faster-whisper是使用CTranslate2对OpenAI的Whisper模型的重新实现,CTranslate2是一个用于Transformer模型的快速推理引擎。

qq_44193969的博客 1万+

一篇文章教会你利用Python网络爬虫抓取王者荣耀图片

【一、项目背景】 王者荣耀作为当下最火的游戏之一,里面的人物信息更是惟妙惟肖,但受到官网的限制,想下载一张高清的图片很难。(图片有版权)。 以彼岸桌面这个网站为例,爬取王者荣耀图片的信息。 【二、项目目标】 实现将获取到的图片批量下载。 【三、涉及的库和网站】 1、网址如下: http://www.netbian.com/s/wangzherongyao/index.htm/2、涉及的库:requests、lxml 【四、项目分析】 首先需要解决如何对下一页的网址进行请求的问题。可以点击下一页的按钮,观察

pdcfighting的博客 1965

【SAP报错】BK128&K5112

在ECC中使用CO1F进行Progressive confirmation时,依次遇到了如下的报错。

weixin_45228526的博客 787

Python网络爬虫小试刀——抓取ZOL桌面壁纸图片3

获得一个类型页面中所有集合中所有的图片,使用了多线程,线程锁等使其并发执行以增加效率。

u011197105的博客 1569

OpenBCI脑电数据处理实战:用MNE库从Raw对象到可视化分析全流程

本文提供了使用MNE-Python库处理OpenBCI脑电数据的完整实战指南。从通过BrainFlow库获取原始数据流、创建核心的Raw对象,到进行工频滤波、带通滤波等关键预处理步骤,最后实现时域信号、功率谱密度及地形图等多种专业可视化分析,手把手教你完成脑机接口数据处理的全流程。

gin88的博客 372

《网络安全自学教程》- Nmap使用及扫描原理分析

使用Nmap进行端口扫描、主机发现、服务识别、操作系统识别、指定脚本、结果导出文件,使用wireshark抓包分析扫描原理。

wangyuxiang946的博客 1万+

第一篇:爬虫初体验

网络爬虫 理论学习都是枯燥的,我们学习了初步的网络编程后,再来了解一下爬虫吧,网络爬虫可以极大增强趣味性。 什么是网络爬虫? 网络爬虫又称为网络机器人,按照我个人的理解,网络爬虫就是通过编程手段,实现自动化访问网页,提取网页中我们感兴趣的信息的一种程序。 为什么用Python写爬虫? 足够简单。Python作为一种脚本语言,语法简洁; 由于网站的网页可能会定期的更新发生结构性的变化,因此...

编程之路的专栏 889

基于OpenCV和Dlib的头部姿态估计详细教程

本文详细介绍了基于OpenCV和Dlib的头部姿态估计方法。通过分析2D人脸特征点与3D头部模型的对应关系,利用PnP(Perspective-n-Point)算法求解头部在三维空间中的姿态。文章首先阐述了坐标系统转换原理,包括世界坐标系、相机坐标系和图像坐标系的转换关系,随后深入讲解了PnP问题的数学表述及求解步骤,并提供了使用Dlib检测68个面部特征点的代码示例。最后介绍了3D通用头部模型的构建方法,包括6点和14点模型的选择,为计算机视觉中的头部姿态估计提供了完整的技术实现方案。

FJN110的博客 338
上一篇: Python爬虫数据保存到MongoDB中
下一篇: 还在苦恼如何查看微信共同好友吗?用Python轻松搞定
酸菜鱼编程
博客等级 码龄6年 155粉丝 63原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值