爬虫抓图2022年全网最新方法,这一次终于是4k高清美图

爬虫抓图全网最新方法分享,爬取轻松爬终极4K高清美图? 都2020年了,爬虫党还在为了图片的下载质量烦恼吗?还是只会下载JPG图片?那我有一种另类方式可以帮助你真正的白嫖高质量图片,肝了一个礼拜的干货,绝对能改变你对爬虫的看法和思考,原来爬虫这么有趣,也不会这么思维固然,代码方式尽量简单一点,让大家能看懂,加油各位! 防止有人说我标题党,我先给图致敬,绝对是4k以上画质,作假的剁手! . 技术分析: 爬虫还用JPG? 这个另类技术设计到一点值得我们思考,我们每次爬虫保存的图片都是默认JPG,为什么 先不管他们的定义是什么,简单来说,JPG. 阅读详情

我学爬虫一直有一个梦想,就是想真正达到可见即可爬的态度,所以我一直在尝试找一种方式去搞定它,从最开始的模拟接口去交接数据,但是我发现这行不通,然而条条大路通罗马,后浪又怎么能这么消逝在沙滩上,直到我想了一个问题,为什么我们每次保存图片都是JPG格式,为什么不是PNG格式? 那我就查阅了相关文献,终于,我成功了,我用另类的方式搞定了这些限制次数的图库,这是一次大胆的创意,可以适用在任何图站,希望对大家有帮助!

都2021年了,爬虫党还在为了图片的下载质量烦恼吗?还是只会下载JPG图片?那我有一种另类方式可以帮助你真正的白嫖高质量图片,肝了一个礼拜的干货,绝对能改变你对爬虫的看法和思考,原来爬虫这么有趣,也不会这么思维固然,代码方式尽量简单一点,让大家能看懂,加油各位!

防止有人说我标题党,我先给图致敬,绝对是4k以上画质,作假的剁手!

在这里插入图片描述
在这里插入图片描述

技术分析:

爬虫还用JPG?

这个另类技术设计到一点值得我们思考,我们每次爬虫保存的图片都是默认JPG,为什么

  • 先不管他们的定义是什么,简单来说,JPG就是一种有损压缩技术,在符合所需画质的前提下,尽可能的提高压缩比,来减少储存空间,所以传输速度快,文件小,画质低,这也就是网站为什么都用JPG来存储图片了。

  • 而PNG我定义就是一种大保健,他能保存完整的画质,也就是相对无损压缩技术,缺点也就是存储空间大,保留了很多原始通道,所以网站不采用,爬虫教学也不采用。

  • 而位图的定义,理论上是可以无限放大的,JPG作为位图自然是糟糕的选择,而PNG确实是一个完美的搭档,这里我就钻了这个空子,用了这种方式搞定了高清图库。

  • 采用这种方式,我不是吹嘘我有多厉害,可能有人想过,但是我只是分享这种方式给更多的朋友,改善他们的固有思维,如果你想要小图片的话保存JPG也是很好的选择,而我喜欢高清大图,我采用的是PIL库的Image类的操作,下面我会给出很好的解释。这是一个全站点图片爬取的爬虫,速度可能有点慢,我尽力使用了线程池,谢谢理解!

技术关键代码:

存储为位图,然后无损放大图片,就可以得到我们的效果了,还不懂的留言问我。

with open(''.join(name) + '.png', 'wb') as fw:
  fw.write(rr.content)
    img = Image.open(''.join(name) + '.png')
    img = img.resize((4000, 2000), Image.ANTIALIAS)  # 改变大小 抗锯齿
    # print(img.size)
    img.save(''.join(name) + '.png', quality=95)  # 质量分数 95

如果看到这里觉得对你有帮助的,希望给个在看和赞,这是对我最大的支持!

项目技术:

还是熟悉的网站 彼岸图网(http://pic.netbian.com/) 这个网站质量挺高的,但是有个缺点就是限制次数,所以这次就决定搞它了,其他网站也是大同小异之作。

总的步骤分了几大模块,设计到的技术点不是很多,requests和xpath 作为爬虫基础技术,还有Image类和线程池技术,然后文件的os库也是必须的。

我保证说的很清楚,我们就开始实践吧!

获取分组网址和标题:

我们这次做的是一个全站点爬取,所以得考虑分组问题,这里我们编写爬虫获取箭头所指向的信息,我保存为一个列表,方便我接下来的操作。

在这里插入图片描述
代码:

def get_groups(url, headers):  # 获得重要信息
    """根据传入的最初网址和标题头,获得每个专栏的网址和标题"""
    r = requests.get(url, headers=headers)
    r.encoding = r.apparent_encoding  # 转换编码
    if r.status_code == 200:
        html = etree.HTML(r.text)
        html = etree.tostring(html)
        html = etree.fromstring(html)
        url_list = html.xpath(r"//div[@class='classify clearfix']//a/@href")  # 获得网页分组的url
        name = html.xpath(r"//div[@class='classify clearfix']//a/text()")  # 获得网页分组的标题

    else:
        print('请求错误!')
    return name, url_list  # 把分组标题和分组网址回溯

开始下载选择:

获取成功这些我们就开始选择下载,更友好和人性化:

这里我就简单的写写哈,别介意:

在这里插入图片描述
代码如下:

def begin_down(title, url, headers):  # 下载选择
  """这里的参数为刚获取的标题和网址还有请求头"""
    print('白嫖方式下载高清图片'.center(30, '-'))
    for i, j in enumerate(title):
        print(i, '\t\t\t\t\t', j)
    inp = int(input('输入下载选项:'))
    # print(title[inp], url[inp])
    get_image_1st(title[inp], url[inp], headers)  # 调用第一页的网址进行下载
    get_image(title[inp], url[inp], headers)  # 下载剩下的所有页

这里获取的网址需要到下一步进行拼接,根据我的观察,分组网站的第一页和其他页网址不相连,没有规律可循,所以我写了爬取第一页和爬取其他页二个函数来获取图片,这里下面我也会说。

获取图片网址:

在这里插入图片描述
随后我们点击图片进入这样页面,看我箭头标注,我们要获取href的内容,而不是img中的网址,img里面的是缩小图片,没什么质量,看多了还伤眼睛,不值得,我给你大图,你也爽。编写代码,获取href然后网址拼接这个样子 http://pic.netbian.com/tupian/17781.html 就可以打开了。

代码:

def get_image_1st(title, url, headers):  # 得到第一页的图片网址
    url_1st = 'http://pic.netbian.com/' + url  # 拼接分组网址
    r = requests.get(url_1st, headers)
    if r.status_code == 200:
        html = etree.HTML(r.text)
        html = etree.tostring(html)
        html = etree.fromstring(html)
        page_url = html.xpath(r'//ul[@class="clearfix"]//li/a/@href')  # 获得每张图片的真实网址
        #  print(page_url)
        page_url = ['http://pic.netbian.com' + i for i in page_url]  # 网址拼接
        pool_down(title, page_url, headers)  # 调用图片下载函数 下载选择页的 第一页全部图片,因为第一页网址特殊


def get_image(title, url, headers):  # 得到其他页的图片网址
    """找其他页的网址,然后找到每张图片的点击图片网址"""
    pages_url = []
    for i in range(2, 10):  # 我们假定最大翻页为10页
        other_url = 'http://pic.netbian.com' + url + 'index_' + str(i) + '.html'  # 拼接网址
        # print(other_url)
        r = requests.get(other_url, headers=headers)  # 尝试请求第二页 获得图片的点击网址
        if r.status_code == 200:
            html = etree.HTML(r.text)
            html = etree.tostring(html)
            html = etree.fromstring(html)
            page_url = html.xpath(r'//ul[@class="clearfix"]//li/a/@href')  # 获得每张图片的真实网址
            page_url = ['http://pic.netbian.com' + i for i in page_url]  # 网址拼接
            pages_url.append(page_url)
    pool_down(title, pages_url, headers)  # 调用下载

获得下载网址:

然后我们打开图片,通过控制台,可以得到我下图的画面:

在这里插入图片描述
这里注意一点,我们获取的是src里面的图片网址,这个质量更高一点,便于我们修改画质,这里使用到了线程池和Image的使用,简单使用起来不是很难。

代码如下:

def image_down(title, page_url, headers):  # 下载图片
    if not os.path.exists(title + '//'):
        os.mkdir(title + '//')
        os.chdir(title + '//')
    else:
        os.chdir(title + '//')
    for i, j in enumerate(page_url):  # 遍历第一页的图表列表
        r = requests.get(j, headers=headers)  # 请求这个图片网址
        if r.status_code == 200:
            r.encoding = r.apparent_encoding  # 修改编码
            html = etree.HTML(r.text)
            html = etree.tostring(html)
            html = etree.fromstring(html)  # 以上搭建xpath对象
            url = html.xpath(r'//a[@id="img"]/img/@src')
            name = html.xpath(r'//a[@id="img"]/img/@title')
            rr = requests.get('http://pic.netbian.com' + ''.join(url), headers=headers)
            if rr.status_code == 200:  # 请求下载图片网址
                rr.encoding = rr.apparent_encoding  # 修改编码
                with open(''.join(name) + '.png', 'wb') as fw:
                    fw.write(rr.content)
                img = Image.open(''.join(name) + '.png')
                img = img.resize((4000, 2000), Image.ANTIALIAS)  # 改变大小 抗锯齿
                # print(img.size)
                img.save(''.join(name) + '.png', quality=95)  # 质量分数 95
                print(f'{title} 中第 {i + 1} 张下载完成!')
        else:
            print('错误啦')


def pool_down(title, page_url, headers):  # 线程下载
    # print(title, len(page_url))
    path = 'D://彼岸图库//'
    # 创建总的文件夹
    if not os.path.exists(path):
        os.mkdir(path)
        os.chdir(path)
    else:
        os.chdir(path)
    #  创建一个多线程下载
    pool = Pool(6)  # 一次6下
    if len(page_url) > 2:  # 如果是其他网址
        for i in page_url:
            pool.apply(image_down, args=(title, i, headers))
    elif len(page_url) == 1:  # 如果是第一页
        pool.apply(image_down, args=(title, page_url, headers))  # 调用线程池
    pool.close()
    pool.join()

项目经验:

全部的代码我差不多全部给出了,为了让你们身体健康,我还是希望大家可以自行的编写一下主函数,主函数很简单的,就是简单的调用,参数我已经都给了,体验一下编程的快乐,这样左右手就很充实啦!

我对爬虫的理解不在于代码多难实现,而是如何分析网站,好的分析,绝对事半功倍!

这一次项目,因为是静态网址,没有遇到多少坑坑洼洼,都是小毛病,我就不提出来博取幸苦费用了。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

一、Python所有方向的学习路线

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(文末获取!)
在这里插入图片描述
温馨提示:篇幅有限,已打包文件夹,获取方式在“文末”!!!

二、Python必备开发工具

在这里插入图片描述

三、精品Python学习书籍

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述

四、Python视频合集

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述
在这里插入图片描述

五、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

六、Python练习题

检查学习结果。
在这里插入图片描述

七、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
在这里插入图片描述
在这里插入图片描述

这份完整版的Python全套学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

Python资料、技术、课程、解答、咨询也可以直接点击下面名片,添加官方客服斯琪↓

爬虫抓图全网最新方法,这一次终于是4k高清美图,只因为我不下载JPG图片! 都2020年了,爬虫党还在为了图片的下载质量烦恼吗?还是只会下载JPG图片?那我有一种另类方式可以帮助你真正的白嫖高质量图片,肝了一个礼拜的干货,绝对能改变你对爬虫的看法和思考,原来爬虫这么有趣,也不会这么思维固然,代码方式尽量简单一点,让大家能看懂,加油各位! 阅读详情

相关推荐

方法教程 | Python爬虫:爬取美女图片,看到了意想不到的场景美女图片

python练手项目——爬取网页美女图片 1.下载数据 动态网页 下载数据的模块 2.解析数据 正则表达式说明 3.保存数据 1.下载数据 首先打开要爬的网站,分析URL,每打开一个网页看URL有什么变化,有可能带上上个网页的某个数据,例如xxID之类,那么我们就需要在上一个页面分析HTML,找到对应的数据。如果网页源码找不到,可能是ajax异步加载,去xhr里去找。 有的网站做了反爬的处理,可以添...

yying333的博客 1640

超级简单,四步带你入门爬虫,爬取图片

四步带你入门爬虫,爬取图片 本人还是学生,python小白。其实很多基础还不牢固,但是对爬虫比较有兴趣,在这里也希望能帮助大家入门爬虫,毕竟还是比较有趣。需要一些html基础,不过这个html也很简单。 完整代码块 import requests from lxml import etree import os if __name__ == '__main__': url = 'https://pic.netbian.com/4kdongman/' #爬取到页面源码数据 header

guguo666的博客 1万+

企业微信API实战:解密external_userid的跨应用一致性管理

本文深入探讨企业微信API中external_userid的跨应用一致性管理问题,解析其本质及在不同应用场景下的ID不一致挑战。通过ID转换与统一管理方案,结合unionid实现跨应用客户数据整合,提供实战代码示例和架构设计,助力企业构建高效的客户管理系统。

weixin_29258297的博客 638

python爬虫入门:批量爬取网站图片并保存

通过爬虫技术对图片进行批量爬取可以说是我们必备的爬虫技巧之一,网络爬虫也叫做网络机器人,可以代替人们自动地在互联网中进行数据信息的采集与整理。在大数据时代,信息的采集是一项重要的工作,如果单纯靠人力进行信息采集,不仅低效繁琐,搜集的成本也会提高。这里先对要运用的第三方库进行安装。本文选取的函数库主要为requests、lxml、etree。打开anaconda prompt,这是anaconda的交互界面,很多指令在该界面直接输入,便可直接下载众多函数库。

m0_74942241的博客 7616

Mimics 21.0软件学习笔记(一)基本操作

Materialise Mimics 21.0打开工程窗口化Thresholding 二值化Region growing区域增长创建一个3D表示,并显示股骨头从髋臼中区分出来,并单独为股骨头建立3D模型 打开工程 Opening the Project 窗口化 Windowing 二值化 Thresholding 区域增长 Region Growing 建立 3D 表示 Creating a 3D representation 显示 3D 表示 Displaying a 3D representation

qq_35495464的博客 4万+

汽车诊断之UDS入门-0x19 0x0A服务

0x19 0x0A解析

weixin_44842720的博客 3838

python爬虫,抓取图片(新手一看就会)

图片链接地址:/public/uploads/small/1727147150221172714715045.jpg​​。

2301_82087280的博客 2507

手把手教你用Xilinx Ultrascale+ FPGA解串12-bit ADC的LVDS信号(附Verilog代码)

本文详细介绍了如何使用Xilinx Ultrascale+ FPGA解串12-bit ADC的LVDS信号,涵盖硬件设计、时钟域处理和数据对齐等关键技术。通过Verilog代码实例和调试技巧,帮助工程师解决高速数据采集中的核心挑战,提升系统稳定性和性能。

weixin_42522964的博客 373

python爬虫抓取网页图片教程

在使用爬虫时,一定要遵守网站的robots.txt文件和其他相关规定,以合法和负责任地使用爬虫。请注意,这只是一个简单的示例,实际爬取过程中可能需要处理各种情况,例如处理JavaScript生成的内容、处理网页的编码问题、处理爬虫的频率限制等等。或者,如果你想爬取的是特定格式的图片(例如JPEG或PNG),你可能需要使用更复杂的逻辑来过滤和下载这些图片。最后,在使用爬虫时,一定要遵守网站的robots.txt文件和其他相关规定,以合法和负责任地使用爬虫。在Python中,你可以使用。

分享likeshop开发知识 3457

无监督低照度增强实战:用ZeroDCE和SCI拯救你的夜间照片(附PyTorch代码)

本文深入探讨了无监督低照度图像增强技术,重点解析了ZeroDCE和SCI两大代表性模型的核心原理与实战应用。通过对比分析两者的技术路径、网络结构及性能特点,并附上详细的PyTorch代码实现,旨在帮助读者掌握无需配对数据即可有效提升夜间照片画质的深度学习解决方案。

git9versioner的博客 490

OMNET++ INET框架学习教程(一)

在自组网学习的道路上摸石头过河,帮你快速入门OIMNET++平台下的INET框架。

NLDwangzhe的博客 6565

Python能做什么?用我做过的Python项目来说一下都可以做什么

初学Python的我看完后说:嗯,感觉很牛的样子,但是我完全不知道他们在说什么?工作3年后的我决定用自己做过的实例项目来说一下Python能做什么?1、Python能实现自动发邮件2、Python能自动化操作excelxlwings,让excel飞起来!用python进行办公自动化都需要学习什么知识呢?3、Python能定制酷炫二维码4、Python能下载视频、MP35、Python能写爬虫爬虫抓图2021年全网最新方法,这一次终于是4k高清美图!

2401_84562143的博客 282

Swin Transformer 与 CNN 结合实现图像分类

Swin Transformer 与 CNN 结合实现图像分类。(含swin transformer 结构讲解,cnn网络搭建,代码)

这里是Mae。 5028

最全Python能做什么?用我做过的Python项目来说一下都可以做什么,腾讯面试做题

不知道你们用的什么环境,我一般都是用的Python3.6环境和pycharm解释器,没有软件,或者没有资料,没人解答问题,都可以免费领取(包括今天的代码),过几天我还会做个视频教程出来,有需要也可以领取~给大家准备的学习资料包括但不限于:Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。

2401_84139697的博客 923

使用 Python 爬取 YouTube 视频评论(弹幕)

✅ 如何使用 Python 调用 YouTube Data API v3。✅ 如何爬取指定视频的所有评论信息。✅ 如何对评论数据进行初步分析与可视化。✅ 如何扩展功能,实现评论回复获取和多视频批量爬取。

2201_76125261的博客 645

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

【无标题】求一个思路,可否把一个DIV作为整体对象做放大缩小的效果

求一个思路,可否把一个DIV作为整体对象做放大缩小的效果 azt2233 2013-05-08 04:39:45 我已经做到用jquery的hover把IMG的图片做到放大缩小,就是鼠标移动到图片上图片变大鼠标移走后图片变回来。代码应该很多人都见过,很简单。 那个col是一个大的DIV的id。 现在我想的是如果不是IMG,而是一个DIV呢,这个DIV里面有图片有文字,然后这个DIV还有background属性。 我想做到复数的长方形DIV一行行排下来,然后鼠标移动到一个DIV就按照比例变大,离开就变回去,

qq_40631247的博客 1219

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

python爬虫抓图_Python系列之五_爬虫抓图

Python系列之五_爬虫抓图前面我们粗略地学习了Python语言的语法,一直学语法也挺无聊的,现在让我们让做一些有趣的事情。例如你在百度贴吧里看到一篇文章,里面有很多好看的图片,但是一张张另存比较慢,学完Python语言后,我们可以编写一个爬虫程序,把所有图片全部抓下来。我们的思路是这样的:首先,把这个网页的HTML源代码先抓下来;然后,分析HTML源代码,找出所有图片的链接;最后把所有图片下载...

weixin_39946767的博客 502

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Python 网络爬虫:爬取4K高清美图

爬取4K高清美图 这篇爬虫主要是用来爬取网站高清4K图片,这也是笔者学初学爬虫的时候最先写一个的爬虫脚本,现在回过头来重新梳理一下,也算是对从前知识的一个总结,希望对大家有所帮助! 文章目录爬取4K高清美图1、分析url以及页面结构2、开始编码2、优化程序总结 爬取任意网站的的首要都是分析目标网站,我们需要做的主要流程如下: 1. 访问目标网站,找到你需要的资源具体在某个页面,如何进入该页面,资源在具体的什么位置。 2. 通过 F12 开发者工具,找到数据的获取接口,数据是在静态页面直接获取,还是异

泾溪石险人兢慎,终岁不闻倾覆人。却是平流无石处,时时闻说有沉沦。 3159

福利~ 用异步爬虫快速爬取养眼美图

一、准备爬取 这里我们选取的网站是彼岸图网:4K美女壁纸_高清4K美女图片_彼岸图网 使用的爬虫工具包是asyncio、aiohttp异步请求包,还有xpath爬取方法 同时需要os模块帮我们创建一个存储图片的的文件夹 二、页面分析 当我们在切换彼岸图网的页面时,我们会发现,页面有两种请求,一种是第一页https://pic.netbian.com/4kmeinv/还有其他页https://pic.netbian.com/4kmeinv/index_2.html不同在于从第二页开始请...

qq_47438442的博客 1150

python爬虫自学宝典——如何爬取高清图片

前文回顾 获取高清图片的任务交给爬虫也是一个不错的选择,现在很多图片网站的图片,大部分都是用爬虫进行爬取的。原因很简单,与其一张一张入库,不如直接利用爬虫爬取入库,效率简直是天差地别。本节呢,讲述如何到专门的图片发布网址上爬取高清图片并且下载下来。 登录以下网址: https://unsplash.com 进去之后,可见这是一个专门为图片发布提供的网址,其主页结构如下: 如果你要浏览这个网页的...

良木 3549

基于urllib抓取视觉中国旗下网站的高清图片

基于Pyside2开发可视化程序界面,抓取高清图片的小工具。用户可以通过输入要查找图片的名称,和需要抓取多少页进行下载到本地上,每一页的图片数量是根据的提供来决定的,当前对版权保护日益严格,因此在此说明爬取的图像仅用于个人学习使用,禁止用作商用目的。项目架构程序运行起来,只有一个UI主进程,在初始化的时候创建一个子线程,用于和待开启的子进程(点击下载按钮后,就会开启一个子进程完成事务)交换进程间的数据。

m0_51608622的博客 4651
上一篇: 从零开发一个Python项目——手势识别
下一篇: Python生成图文并茂的PDF报告
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2841原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值