初识爬虫2(详解)---所有图片+多进程

python网络爬虫(一) 爬取网站图片 什么是网络爬虫? 网络爬虫(Web Spider),又被称为网页蜘蛛,是一种按照一定的规则,自动地抓取网站信息的程序或者脚本。网络蜘蛛是通过网页的链接地址来寻找网页,从网站某一个页面开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。 爬虫流程 用户获取网络数据的方式: 方式1:浏览器提交请求—>下载... 阅读详情

初识爬虫—爬下所有图片+多进程

初学者学习网站:
requests的详细教程
https://segmentfault.com/a/1190000021725063
BeautifulSoup具体教程
https://wiki.jikexueyuan.com/project/python-crawler-guide/beautiful-soup.html
python多进程教程
https://cuiqingcai.com/3335.html

有些代码是沿用的我上一个博客,所以新进来的小伙伴可以花5分钟浏览一下我的上一篇文章初识爬虫

废话不多说先展示一下成果
在这里插入图片描述

在这里插入图片描述

这些是不到10秒钟机器完成的!!

一. 咱们先理清一下思路然后再上代码

首先http://desk.zol.com.cn/fengjing/这个网站第一页有21个主题,每行3种主题一共7行,我们需要找到这21个主题图片
在这里插入图片描述
然后进去每一个主题下载其中第一张大图片,然后翻页下载第二张大图片,直到这个主题下载完成
在这里插入图片描述

在这里插入图片描述

并且我们也需要第二页的21主题,第三页的21主题等等,于是也需要翻页
在这里插入图片描述

好,思路有了那就开始行动
先上代码

import requests
from bs4 import BeautifulSoup
import re
import os
from multiprocessing import Process
import time
os.makedirs('./image/', exist_ok=True)


def urllib_download(url, Dir, i):   #下载图片到特定目录
    r = requests.get(url)
    with open(Dir+'img'+str(i)+'.jpg', 'wb') as f:
        f.write(r.content)

def spider_every_theme(target):    #每一个主题壁纸
    Dir=''
    picNum=1
    while True:                
        content = requests.get(url=target)
        html = BeautifulSoup(content.text)
        bigImg = html.find_all(
            'img', width=960, height=600)          # id='bigImg',这是大图的特定属性
        Next = html.find_all('a', id='pageNext')   #显示为下一张图片的a标签
        if picNum == 1:  # 从页面找标题
            title = html.find_all('a', id='titleName')[0].string
            Dir = './image/'+title+'/'
            os.makedirs(Dir, exist_ok=True)
        urllib_download(bigImg[0].get('src'), Dir, picNum)
        if Next[0].get('href') == 'javascript:;':
            break
        else:
            picNum = picNum+1
            target = 'http://desk.zol.com.cn'+Next[0].get('href')

def spider(target):    #总爬行
    while True:        #按ctrl + c停下来
        content = requests.get(url=target)
        html = BeautifulSoup(content.text)
        main = html.find_all('ul', class_='pic-list2 clearfix')
        for child in main[0].descendants:  # 每张大页面共21个主题图片
            if child.name == 'img':        
                t = 'http://desk.zol.com.cn' + \
                    child.parent.get('href')  # 找到图片对应的a标签(父标签)的href,去每个主题下搜索图片
                Process(target=spider_every_theme, args=(t,)).start()   #多进程
                time.sleep(2)
        target = 'http://desk.zol.com.cn' + \
            html.find_all('a', id='pageNext')[0].get('href')  # 搜集21个主题后翻页,右下角的下一页的地址

if __name__ == "__main__":
    target = 'http://desk.zol.com.cn/fengjing/'
    spider(target)

二. 代码分析

代码分为两大部分
spider(): 函数用来爬取所有内容
spider_every_theme(): 用来对于每个主题进行爬取,同时也是进程调用函数,一个进程对应一个主题

1.我们先分析spider(): 函数

在这之前需要先学会查找页面元素
右键找到检查元素类似字样,点击会变成这样(我是chrome浏览器,其他浏览器自行百度)
在这里插入图片描述
点击序号1然后鼠标放在左侧,被蓝色覆盖的部分就是我们需要关注的图片部分,点击蓝色部分后序号2颜色会加重,记住这个标签的名字叫做ur,class属性叫pic-fix2 clearfix,这两个信息帮助我们过滤页面内容,暂且叫做main,主页面。

main = html.find_all('ul', class_='pic-list2 clearfix')   

接下来遍历main[0]的所有子孙节点(descendants是BeautifulSoup的语法文章开头有链接)

for child in main[0].descendants:  # 每张大页面共21个主题图片

如果是图片就去找他的父节点(a标签),并且获取其中的href属性

if child.name == 'img':        
    t = 'http://desk.zol.com.cn' + \
         child.parent.get('href')  # 找到图片对应的a标签(父标签)的href,去每个主题下搜索图片

在这里插入图片描述

然后跳转到主题下去下载图片,一个进程对应一个主题的图片,这里为什么是用多进程而不是多线程可以参考文章https://cuiqingcai.com/3325.html

Process(target=spider_every_theme, args=(t,)).start()   #多进程
time.sleep(2)

最下面的这句是主页面翻页

 target = 'http://desk.zol.com.cn' + \
            html.find_all('a', id='pageNext')[0].get('href')  # 搜集21个主题后翻页,右下角的下一页的地址

在这里插入图片描述
在这里插入图片描述

2.分析spider_every_theme():函数

spider_every_theme()函数是为了下载主题的所有图片的所以先进入主题
在这里插入图片描述
首先仔细的对比观察发现所有大图片的img标签的id=“bigImg”,并且width=“960” height=“600”,这是大图片独有的特点,我们先用后者来区分大图和其他无关的图片吧

bigImg = html.find_all(
            'img', width=960, height=600)          # id='bigImg',这是大图的特定属性

图片找到了就可以下载下来了,每个主题一个名字,按照上面的原理找到id='titleName’的a标签里面有这个主题的名字,然后建立文件夹存储图片,哪个urllib_download上一个文章有讲到,就是下载图片并且保存用的

if picNum == 1:  # 从页面找标题
    title = html.find_all('a', id='titleName')[0].string
    Dir = './image/'+title+'/'
    os.makedirs(Dir, exist_ok=True)
urllib_download(bigImg[0].get('src'), Dir, picNum)

好了,下载第一张图片下载下了,我们需要这个主题的第二张
在这里插入图片描述
看到哪个箭头了吗,我们要找到他的a标签定位到下一张图片,他的id=‘pageNext’

Next = html.find_all('a', id='pageNext')   #显示为下一张图片的a标签

然后重复上述步骤就可以一直下载了,但是有个问题,这个主题下载完了没有pageNext了怎么办,这就需要思考了,没有pageNext的页面有什么特点,然后根据这个特点结束
在这里插入图片描述
这是最后一张页面,我们发现他的pageNext变成了"javascript:;",好了,就以他为结束

if Next[0].get('href') == 'javascript:;':
    break

以上就是全部的代码讲解了,如果有不会的部分先去开头链接学习一遍(你点他并不会跳转到开头,信我)

什么是网络爬虫 又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。网络爬虫可以根据指定的规则,从互联网上下载网页、图片、视频等内容,并抽取其中的有用信息进行处理。网络爬虫的工作流程包括获取网页源代码、解析网页内容、存储数据等步骤。根据其目的和工作方式的不同,网络爬虫可以分为多种类型。常见的网络爬虫包括通用爬虫、聚焦爬虫、增量式爬虫等。 阅读详情

相关推荐

python网络爬虫——爬取指定图片

在做花卉数据增量的时候,对102flowers进行数据增量处理,在百度上直接截取图片的话,效率太低,在这里使用python网络爬虫,仅需要输入特定的图片名称,便可以直接获取大量相关图片,本例以获取rose为例进行爬取。参考之前博主的代码,稍微进行修改即可。 直接代码 import requests import os def getManyPages(keyword,pages): ...

AI_girl的博客 5192

python学习(三)scrapy爬虫框架(三)——爬取壁纸保存并命名

写在开始之前 按照上一篇介绍过的scrapy爬虫的创建顺序,我们开始爬取壁纸的爬虫的创建。 首先,再过一遍scrapy爬虫的创建顺序: 第一步:确定要在pipelines里进行处理的数据,写好items文件 第二步:创建爬虫文件,将所需要的信息从网站上爬取下来,并传递给pipelines文件处理 第三步:pipelines接收spiders传递过来的数据,并做出相应的处理,如:壁纸的下载和...

渔父歌的博客 1185

网络爬虫之必备知识

摘要:本文主要理清网络爬虫的概念,简要讲解爬虫的必备知识,分为python基础、字符编码、http头信息、http状态码、html基础、爬虫职业道德。内容浅显,主要理一理相关知识。一、网络爬虫的概念   网络爬虫,又被称为网页蜘蛛,网络机器人,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。 通俗的说,我们写爬虫的目的就是自动从不同的网页上提取海量的数据。以下是我之前爬取的部分数据

CaiNiaoWuZui的专栏 5861

图片的所有格式,对应的适合于什么场景?有什么优化的方案?

一、常见的图片的格式 1、TIFF格式 TIFF(Tag Image File Format)是Mac中广泛使用的图像格式,它的特点是图像格式复杂、存贮信息多。正因为它存储的图像细微层次的信息非常多,图像的质量也得以提高,故而非常有利于原稿的复制。 2、PSD格式 PSD其实是Photoshop进行平面设计的一张"草稿图",它里面包含有各种图层、通道、遮罩等多种设计的样稿,以便于下次打开...

qq_39507723的博客 1830

网络爬虫

参考我的知乎专栏:网路爬虫 现在从网络爬虫的五个方面开始讲起,即定义,背景,原理,工具,实战。 一:网络爬虫定义 参考:百度百科网络爬虫定义 网络爬虫(又被称为网页蜘蛛,网络机器人,网页追逐者等),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,跟浏览器一样,是一个web客户端程序,如下图: 网络爬虫 二:网络爬虫背景 计算机网络本质上是一种传播工具,方便人们更好的相互交...

lcj200813138020的专栏 4727

Python 初识网络爬虫:从概念到实践

本文介绍了Python网络爬虫的基础知识与应用。网络爬虫是一种自动获取网页信息的工具,广泛应用于电商价格监控、学术研究等领域。Python因其丰富库(如requests、BeautifulSoup)和简洁语法成为爬虫开发首选。文章详细讲解了爬虫的基本流程:发送请求、解析网页、存储数据,并强调遵守robots协议的重要性。最后通过图片爬取实例展示实际操作,并建议进阶学习动态网页处理、代理IP等技术。

srlsong的博客 1047

学习爬虫之前必知必会(http原理,爬虫原理,进程和线程详解)

学习爬虫之前必知必会 ​ 如果你有数据收集的需求,而且觉得传统的数据收集方法太笨重、繁琐,又或者是想提高python的编程水平,那么来学习爬虫就对了! 文章目录学习爬虫之前必知必会神魔是爬虫?爬虫的现状基础知识http的基本原理爬虫基本原理Session和Cookies进程和线程多线程(多路加速)多进程(多路加速) 神魔是爬虫? 爬虫:一段自动抓取互联网信息的程序,从互联网上抓取对于我们有价值的信息。 其实就是一段可以自动收集特定数据的python代码。 爬虫所涉及的知识面也非常广,计算机

qq_43665434的博客 633

爬虫基础(1)什么是网络爬虫

文章目录一. 认识网络爬虫二. 网络爬虫的组成三. 网络爬虫的类型1. 通用网络爬虫2. 聚焦网络爬虫3. 增量式网络爬虫4. 深层网络爬虫(1)静态网页(2)深层页面和表层页面(3)网络爬虫表单填写四. 网络爬虫的用途 一. 认识网络爬虫 说起网络爬虫,人们常常会用这样一个比喻:如果把互联网比喻成一张网,那么网络爬虫就可以认为是一个在网上爬来爬去的小虫子,它通过网页的链接地址来寻找网页,通过特定的搜索算法来确定路线,通常从网站的某一个页面开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地

Python达人 2841

Python如何在网络爬虫程序中使用多进程进行数据爬取

本文介绍了python在网络爬虫程序中如何使用多进程的方式进行数据爬取

hubing_hust的专栏 1万+

python爬虫之线程池和进程池功能与用法详解

主要介绍了python爬虫之线程池和进程池功能与用法,结合实例形式分析了Python基于线程池与进程池的爬虫功能相关操作技巧与使用注意事项,需要的朋友可以参考下

Spine动画在Unity里卡顿、闪烁、排序错乱?这些性能优化与渲染问题一次讲清

本文深入解析了Spine动画在Unity中常见的卡顿、闪烁和排序错乱问题,提供了全面的性能优化与渲染解决方案。从性能瓶颈诊断到材质合并、动态合批优化,再到层级错乱与Alpha闪烁的处理,帮助开发者提升动画表现和运行效率。特别针对Unity和Spine的协同工作进行了详细的技术探讨。

weixin_29967445的博客 383

网络爬虫-----初识爬虫

网络爬虫的简单介绍,什么是网络爬虫?应用方面、以及就业前景,工作领域等等,进来看看吧!

m0_73633088的博客 3462

Flink CDC 1.18.1 Oracle 数据同步到postgresql

8、修改Flink的配置文件,主要是各种服务的绑定地址,默认为localhost,统统改为0.0.0.0,如:rest.address: 0.0.0.0 #localhost。将flink-sql-connector-oracle-cdc-3.0.1.jar复制到flink-1.18.1/lib目录中。6、下载 flink-connector-jdbc-3.1.1-1.17.jar,postgresql-42.7.3.jar。7、安装postgresql就不说了,相信你已经有了数据库了。

ynzhangyao的专栏 1800

网络爬虫详解

网络爬虫(web crawler,又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 产生背景 随着网络的迅速发展,万维网成为大量信息的载体,如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine),例如传统的通用搜索引擎AltaVista,Yahoo!和Google等,作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南

顺其自然~专栏 9168

TSmaster CANFD配置避坑指南:为什么你的PCAN盒不支持最新版本?

本文针对TSmaster配置PCAN硬件进行CANFD通信时的常见问题,提供了详细的避坑指南。重点解析了CANFD配置中TSEG1等关键参数的理解误区,并深入探讨了TSmaster新版本与PCAN硬件驱动之间的兼容性变化,帮助工程师快速定位并解决连接失败或无法发送CANFD报文等问题。

alpha的博客 547

FreeRTOS笔记(十五)FreeRTOS总结

文章目录01 - 裸机和FreeRTOS区别1.1 - 裸机1.2 - FreeRTOS1.3 - 区别02 - 对FreeRTOS的感受03 - 推荐 上一文链接:FreeRTOS笔记(十四)[简] 软件定时器、事件组、任务通知 01 - 裸机和FreeRTOS区别   学完FreeRTOS,应该要自己总结一下FreeRTOS和裸机的区别,宏观上说,FreeRTOS是一个运行在裸机上的微内核,...

单眼皮根号三的博客 4115

01.爬虫---初识网络爬虫

网络爬虫,亦称网络蜘蛛或网络机器人,是一种能够自动地、系统地浏览和收集互联网上信息的程序。它依照一定的规则和算法,访问网页并提取所需的数据,使得数据收集变得高效且自动化。网络爬虫在不同领域有着广泛的应用,如搜索引擎、数据挖掘、舆情监测等,它能够帮助我们快速地从海量数据中提取所需信息,为决策提供强有力的数据支持。网络爬虫是一种强大的自动化工具,它能够在众多领域发挥重要作用,助力我们从海量数据中提取所需信息。在使用网络爬虫时,我们应当遵守相关法律法规,尊重用户隐私,合理使用,确保数据抓取的合法性。

hsadfdsahfdsgfds的博客 3499

将Apollo高精地图中的车道线叠加在多种导航地图上

本文介绍了将Apollo高精地图车道线叠加到普通导航地图的技术方案。高精地图具备厘米级车道精度和丰富的语义信息,叠加可实现可视化验证、调试分析和数据对比等功能。核心技术包括坐标系统转换(UTM/WGS84/BD09/GCJ02)和数据处理流程,通过Python脚本完成Apollo地图解析、坐标批量转换和多格式输出。文章详细提供了环境准备、工作目录创建和坐标转换脚本等操作步骤,实现了高精地图数据在OpenStreetMap、百度地图和高德地图上的可视化展示。

Hi20240217的博客 1338

【愚公系列】《Python网络爬虫从入门到精通》001-初识网络爬虫

随着互联网的快速发展,数据的获取与处理变得愈发重要。在这个信息爆炸的时代,如何有效地收集和利用网络上的海量数据,成为了各行业面临的一大挑战。网络爬虫,作为一种自动化获取网页信息的技术,正逐渐成为数据分析、市场研究、竞争对手监控等领域不可或缺的工具。本文将带领读者初步了解网络爬虫的基本概念、工作原理以及常见应用场景。我们将探讨爬虫的构建过程,包括如何发送请求、解析网页、存储数据等关键步骤。同时,还会涉及一些爬虫开发中的注意事项,如如何遵循网站的robots.txt协议、避免被封禁等。

愚公智库 12万+

第四天 Labview交互也很轻松(4.1 DAQ数据采集)

LabVIEW DAQ数据采集有很大的优势,NI提供了超过5千万条I/O通道,支持多种主流总线(如USB、PCI、PCIe、PXI等),并为所有这些设备提供统一的编程接口,实现软硬件的无缝集成。LabVIEW包含全套范例,覆盖各类应用,用户无需从头创建整个数据采集系统,可以快速启动并执行这些范例程序。所有NI DAQ硬件都采用NI-DAQmx驱动程序,支持多种编程语言,并包含了这些编程语言的示例代码,使得与NI硬件的通信变得更加便捷。

weixin_38637405的博客 2618

C#上位机开发实战全流程:从需求到落地,避坑指南+完整代码

作为一名做了5年工业自动化上位机开发的程序员,我踩过的坑比写过的代码还多——从最初串口通信粘包导致数据错乱,到可视化图表卡顿卡死,再到现场异常崩溃无日志可查,每一次踩坑都是一次血泪教训。今天这篇文章,我会把C#上位机开发的全流程拆解开,从需求分析到通信模块、数据可视化,再到异常处理,每个环节都结合工业实际场景,分享真实项目中能用的方案、完整代码和避坑技巧。不管你是刚入门的新手,还是想优化现有项目的老司机,相信都能有所收获。很多新手做上位机开发,一上来就闷头写代码,最后发现做出来的东西不符合现场需求——比如客

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 997

网络爬虫解析

网络爬虫(也称为网页蜘蛛、网络机器人)是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。网络爬虫可以用于从网站提取数据,例如监测社交媒体平台上的活动,或者从网上收集新闻和文章。它们也可以用于搜索引擎,如Google和Bing,来抓取和索引网页,以便在用户进行搜索时提供结果。URL通常由多个部分组成,包括协议类型(如HTTP、HTTPS)、主机名(域名或IP地址)、路径(资源在主机上的位置)以及可选的查询参数(用于传递额外的信息)。通过URL,用户可以方便地访问和定位到特定的网络资源。

2301_82032652的博客 2636

数字游民产业小报告 · 2025

2025 年全球数字游民约(不同统计口径差异很大,低估法约 4,000 万,高估法 8,000 万),美国来源占比最高。:2025 Q1 约岗位允许一定程度远程;2024 年美国员工至少部分远程(全球 2023 年约 28%)。:到 2025 年,提供数字游民/远程工作签证(媒体口径 50–73 个不等;福布斯 66、Citizen Remote 50+、有机构清单称 73)。:以英国为例,期望未来一年全勤到岗、企业因强制返岗出现离职,说明“灵活/远程”仍是劳动力市场的筹码之一。

Anthony1453的博客 1469

网络爬虫技术

本文介绍了网络爬虫的基础概念与应用。主要内容包括:1)爬虫定义与分类,分为通用、聚焦、增量式和深层网络爬虫四种类型;2)核心工作原理,涉及HTTP请求过程、响应结构和网页基础;3)常见爬取策略如宽度优先(BFS)和深度优先(DFS)遍历;4)Python中Requests库的使用方法,包括请求发送、响应处理和异常捕获。文章通过百度网页爬取实例,展示了网络爬虫从发送请求到获取响应的完整流程,为初学者提供了网络数据采集的基础知识框架。

2302_78993464的博客 2961

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

一、网络爬虫入门

文章目录一、都有哪些爬虫?二、网络爬虫是否合法?1.引入库2.读入数据三 、网络爬虫的约束。四、python网络爬虫的流程。总结 一、都有哪些爬虫? 网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型: 通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的。 搜索引擎(Search Engine),例如传统的通用搜索引擎baidu、Yahoo和Google等,是一种大型复杂的网络爬虫,属于通用性网络爬虫的范畴。但是通用性搜索引擎存在着一定的局限性

weixin_51852924的博客 7571

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

网络爬虫的基本原理及抓取静态网页详解

网络爬虫(又称为网页蜘蛛,网络机器人)是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。网络爬虫可以从一个或若干初始网页的URL开始,通过抓取网页上的链接地址,自动地访问网页、提取数据,实现对整个网站内容的爬取。网络爬虫主要用于搜索引擎、数据挖掘、信息提取、网页抓取等应用,是网络数据采集的重要工具。网络爬虫的技术实现涉及到多个领域的知识,包括计算机网络、数据挖掘、自然语言处理等。网络爬虫的分类有多种,根据其爬取范围可以分为通用爬虫和聚焦爬虫。

2303_76177437的博客 3382

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

上一篇: 初识爬虫1(详解)
下一篇: sqli-labs提示和答案(含详细教程)
小健健健
博客等级 码龄8年 101粉丝 68原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值