一起学爬虫(Python) — 13

零基础学 Python 爬虫(13):urllib 基础使用(三) 人生苦短,我用 Python 引言 前面两篇基础,我们介绍请求发送的过程。 不知道各位同学有没有想过这样一个问题,如果在爬虫运行的过程中,网络突然波动了下,比如突然网速很慢很慢,造成当前的请求超时,程序很可能会直接挂掉。 这种处理方式显然不是我们希望看到的,我们希望看到的肯定是如果当前的请求挂掉,那就挂掉,不要影响其他的请求或者是下一次的请求。 那么,我们在发送请求的时候,异常处理就显得十分... 阅读详情

一起学爬虫(Python) — 19 年轻人,进来学自动化

今天要实现简单的手动识别验证码

啊

也许你刚进来的时候会吓一跳,以为这个博主疯了,因为他的标题都是啊啊啊啊啊啊,这是为什么呢?

因为我实在是不会起标题啊啊啊!!!

所以在这里,找一个比较擅长排版或者骚话比较多的小姐姐(女装的小哥哥也可以),义务 义务 义务 帮小泽排一下版,当然,如果效果很好的话,也是可以请你喝一杯奶茶的嘛~

联系方式:
在这里插入图片描述
本群绝对没有广告~

希望一起搞骚操作的小伙伴快点进来玩啦~~~

啊

在这里插入图片描述
今天我们要欺负的网站是……

在这里插入图片描述

名著小说网!

在这里插入图片描述
看看,多么有道理的一句话!

为什么你找不到女朋友,就是因为看小泽的博客看的还不够!!

什么?你全都看过了…那你都点赞了吗!

什么?你全都看过还全都点赞了…那就说明是你读书太多而想得也太多,所以就不要让自己想太多,就不会有那么多的失落了。

但是这不妨碍你把小泽所有的博客都点一次赞,嚯嚯~

在这里插入图片描述

啊啊

在这里插入图片描述

……

在这里插入图片描述

……

在这里插入图片描述
好吧,看来还是要专心的给大家写博客,本来想领略一下古人的多人运动技巧,但是看来这个网站也不怎么样,所以我们还是要…

在这里插入图片描述

在脑海里时刻的回想起这句话,她真的很有道理!

好啦,不跟大家水字数了,直接直奔主题哈,我们昨天不是讲了模拟登陆嘛,但是有的网站登陆的时候是需要验证码的,所以呢,我们就在昨天模拟登录的基础上,进一步升级,模拟登陆有验证码的网站。

当然,今天只是找了一个好欺负的网站来进行示范,思路要先明确,然后我们后续再说怎么解决越来越厉害的反爬机制。

啊啊

这里为什么要换一个标题再讲呢,是因为我感觉如果一个标题讲完了所有的东西,就会显得很不专业,虽然我们很不专业,但是气质不能没有!

在这里插入图片描述

虽然短小,但是精悍,而且未来可期,实属未来战士!

啊啊

没错,又换了一个标题,就是这么任性,你不服气你给我想标题名字啊~

在这里插入图片描述

咳咳,看到我们名著小说网最上面的那两句话的旁边的登录了吗,点开他~

在这里插入图片描述
我们会发现这个登录界面整体上是非常绿色的,很健康的颜色,这也可能是为什么他没有金瓶梅的理由吧,健康生活,希望大家都跟小泽一样戒掉XX,每天早睡早起,喝养生粥,泡养生脚,睡养生觉,一起做头发最茂盛的程序员吧!

在这里插入图片描述
好的,让我们继续学习。

各位同学不要想得太多,而读书太少。

当然,在这之前请各位同学先自行注册一个账号,虽然说一会小泽的账号肯定会暴露,但是还是希望各位能用自己的账号比较好,我现在已经登不上我的4399了。

啊,不对,是我同学的4399账号。

然后打开抓包工具,也就是F12,也就是检查,也就是开发者工具。

上面的4个东西,是同一个东西哦。

为什么要打开呢,因为我们要模拟登陆的话,就先登录一遍,把我们本地发给服务器的数据拦截一下,看一下发送了什么东西:

在这里插入图片描述
可以看到,Data里面有我们的账号密码,还有验证码,下面那个CookieDate呢,则是时效,也就是说我们的账号密码还有时效都是可以写死的,可以不变的,但是验证码是要我们自己输入的!

只要我们登录进去了,就会给我们返回一个

在这里插入图片描述
这样绿油油的个人页面,让我很不舒服,为什么要这么绿色???

我记得绿加红是王八来的……

在这里插入图片描述

啊啊

好的,快让我们直接上代码吧,哦~我亲爱的各位观众姥爷们已经迫不及待的要学习了嘛,好的好的,这就给各位上菜!

在这里插入图片描述

首先呢,导入模块,没有异议吧,有的话也请坐下。

在这里插入图片描述
然后进行调用Session()方法,还有准备好伪装头,这一步肯定是没有异议的,如果有,那就是你昨天没有好好听讲,罚你到操作跑一百圈。

在这里插入图片描述
然后准备好两个url,第一个url是我们登陆的时候获取验证码需要用到的,第二个url呢,是我们模拟点击登录按钮,也就是找到了发送登录信息的接口,如果你这一块不明白的话,说明更前面的没有好好看啊,兄弟,不带这么跳着看的吧,而且一定没点赞吧,白嫖是不可以的!

在这里插入图片描述
我可不希望我亲爱的各位小粉丝,因为白嫖而……

咳咳,回到正题吧:

在这里插入图片描述
我们先把整个页面爬取下来,然后直接从页面这个页面里找到验证码的位置!

在这里插入图片描述
至于为什么要这么拼接,是因为:
在这里插入图片描述
在找到验证位置的时候,发现是不完整的验证码,所以我们需要把它拼接一下下。

然后再把验证码图片保存在本地:
在这里插入图片描述
接着接着接着,就开始了我们的最后一步,也就是昨天进行过的一步,登录!

在这里插入图片描述
这里为什么要这样写呢,就是…呀嘿,被水印挡住了,再截一个:

在这里插入图片描述
.text大家应该都能理解,.encode就是把这个text转换成这个格式,然后再decode转换成这个格式,只要知道大概意思是这样的就ok了。

为什么要这样转换呢?

因为我一开始也是直接用的text,但是发现保存下来的页面是有乱码的,所以才进行了转换格式,至于到底要怎么判断转换成什么格式比较好,这些呢,以后再说,或者加入我们的交流群,诶嘿嘿:
在这里插入图片描述
关于 源码呢,也会发布到这个群里,还有就是,如果各位有什么稀奇古怪的想法和项目,也可以到群里跟各位菜鸡一起讨论,毕竟三个猪八戒顶一个孙悟空嘛,所以大家要加油哦。

在这里插入图片描述
最后呢,再直接保存我们的详情页就好了,为什么可以直接保存呢??

因为你想啊,我们登录上去如果成功了是不是直接就给我们返回了一个个人详情页,不是说还要我们再次请求对吧,就是返回来的就是一个个人详情页,没有为什么,做就是了!

在这里插入图片描述

啊

好的,今天有愉快的水完了一篇,看到这里,还是希望各位漂亮的小哥哥们能大发慈悲点一个赞,好不好啦~

如果有什么想说的,想问的,想想的,欢迎留言,或者加入交流群直接0距离击剑哦~

在这里插入图片描述

MAX96712在车载摄像头系统中的带宽分配与传输能力计算解析 在计算摄像头带宽与传输接口的关系时,需要考虑视频流的像素分辨率、帧率、颜色深度等因素。以 MAX96712 这种 GMSL2 产品为例,它支持每个链路在正向方向以 3Gbps 或 6Gbps 的固定速率工作。 阅读详情

相关推荐

匈牙利算法解决指派问题清晰流程

匈牙利算法解决指派问题清晰流程 百度词条上,指派问题(Assignment problem)是这么定义的:在满足特定指派要求条件下,使指派方案总体效果最佳。如:有若干项工作需要分配给若干人(或部门)来完成;有若干项合同需要选择若干个投标者来承包:有若干班级需要安排在若干教室里上课等。   一、做减法(归约): 行归约:每行元素减去该行最小元素。 列归约:每行元素减去该行最小元素。

siss0siss的博客 6万+

Python爬虫这么简单却还是学不会?13天教你学会Python爬虫分布式

1.爬虫是什么 网络爬虫(web crawler 简称爬虫)就是按照一定规则从互联网上抓取信息的程序,既然是程序那和正常用户访问页面有何区别?爬虫与用户正常访问信息的区别就在于:用户是缓慢、少量的获取信息,而爬虫是大量的获取信息。 这里还需要注意的是:爬虫并不是Python语言的专利,Java、Js、C、PHP、Shell、Ruby等等语言都可以实现,那为什么Python爬虫会这么火?我觉得相比其...

Python这样学 980

【算法】—前缀和与差分详解

前缀和指一个数组的某下标之前的所有数组元素的和(即数列的前n项求和),前缀和是一种重要的预处理,能够降低算法的时间复杂度,可以快速地求出某一段的和,对于处理区间之间的问题是往往十分高效相比较其他算法而言,前缀和更像是一种解题的技巧,一种优化方式输入一个长度为 n 的整数序列。接下来再输入 m 个询问,每个询问输入一对 l,r 对于每个询问,输出原序列中从第 l 个数到第 r 个数的和5 32 1 3 6 41 21 32 4123453610。

DAY I 的成长之路 6022

只要你学透这13个Python爬虫,就能爬取天下的的数据!还不快上车

用网页看各大网站的VIP视频,用python下载?用Python玩跳一跳,跳到50000分?过年过节各大亲友群、红包群抢红包还用Python?这把火已经烧到了程序员的圈子外,从小学生到职场老司机,都开始学习这一门新的语言,门槛低、零基础、操作骚…再也没有什么能阻挡Python晋升网红。

weixin_55154866的博客 456

Mixly/Arduino实战:WS2812点阵动态显示自定义图案与汉字

本文手把手教你使用Mixly和Arduino驱动WS2812点阵屏,实现自定义图案与汉字的动态显示。内容涵盖硬件连接、取模软件设置、高效数据处理技巧(巧用Excel)、Mixly图形化编程及Arduino代码解析,并深入探讨动态显示与滚动汉字原理,最后提供常见问题排查与性能优化心得,助你从零开始轻松玩转智能硬件。

weixin_29185199的博客 454

NFT图片批量合成及稀有度计算工具

一、制作背景 -当前NFT作品制作的大多方式都是使用部件拼接的形式,然后从大量的可能性结果取优; 二、解决问题 拼接合成的组合数量十分巨大,手工合成费时费力; 合成中对各个部件的使用次数不容易控制,部位出现的概率对作品的稀有度及评分影响较大; 对于生成的作品各个部位的信息(包括来源和使用率)统计繁琐,不利于对作品的介绍中体现; 三、程序功能介绍 1、功能自定义部位稀有度批量合成NFT作品 步骤一:创建各个合成部件文件夹,将图片放到文件夹内 步骤二:软件上设置各个部件对于的图片文件夹及出现的概率 步骤二

Keeping111的博客 4638

只要你学透这13个Python爬虫,就能爬取天下的的数据!还不快上车_可以爬取哪些数据

在2017年“中国互联网企业100 强”的数据中显示,大数据、游戏以及人工智能等相关企业占比近,这都得益于Python语言的广泛应用,同时进一步掀起了Python语言的学习热潮。Python被誉为最好的人工智能语言,人工智能的各种功能就是靠Python的程序编写来实现的。而且,Python已经被纳入信息技术的高考,可见python已经受到了战略性的重视。

2401_84557849的博客 1093

【Flutter 面试题】 怎么减少Widget的重新构建?

关于 const 关键字的使用:在 Flutter 开发中,任何时候当你确定一个 Widget 在其整个生命周期内都不会发生变化时,使用 const 关键字声明这个 Widget。这样的声明告诉 Flutter 框架这个 Widget 可以在编译时生成,后续的构建周期中可以重用已经创建的 Widget,从而避免了重复的构建开销。这适用于静态文本、图标或整个不变的 Widget 树。

Code Metaverse 1577

小白学 Python 爬虫(13):urllib 基础使用(三)

人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Linux基础入门 小白学 Python 爬虫(4):前置准备(三)Docker基础入门 小白学 Python 爬虫(5):前置准备(四)数据库基础 小白学 Python 爬虫(6):前置准备(...

极客挖掘机 2347

用python画带有正负值的条形图

常见的条形图只能表现数据的大小,却不能表现值的正负关系。但是其实仅仅使用`pandas`和`matplotlib`两个包就可以实现y轴负轴的添加以及负值的显示,并且可以为正负值分别设置不同的颜色,让条形图看上去更加清晰,易于我们分析

weixin_44853840的博客 5383

微信小程序 - 最新详细实现气泡菜单功能,点击任意元素在底部或附近周围弹出气泡菜单列表,仿微信气泡弹框显示菜单快捷功能收纳,自定义气泡弹窗/菜单气泡弹窗,小程序气泡框嵌套菜单组件插件,自动计算弹出定位

微信小程序,vue2,vue3,气泡列表,汽泡菜单,气泡框,泡泡框,悬浮框,悬浮菜单,点击菜单按钮弹出气泡,对话箭头气泡框,弹出的气泡准确定位并吸附在附近,弹出式气泡,弹窗菜单,气泡自定义HTML弹窗,带三角的气泡弹框,三角气泡框里面嵌套菜单,当点击一个按钮或元素时,会从附近弹出一个小气泡一样的菜单列表,自定义气泡框内的内容,点击一个元素在附近弹出一个气泡弹框功能效果,气泡弹框不准怎么办,被盖住了,挡住了,长按弹出,组件插件,微信,自定义气泡菜单组件,气泡弹出框,小程序自定义气泡框,菜单气泡,包裹列表的三角

🏆 前端领域优质创作者 3916

爬虫python对电脑要求_北大计算机教授:别说不可能!只要你学!相信我13天我带你搞定python爬虫分布式...

来来来,小伙伴们,今天我来告诉你如何13天搞定python爬虫!怎么?你觉得不可能?你还别不信,现在我来给你看一下13天如何学习你就知道我是不是在吹牛了!1. 什么是爬虫?网络爬虫也叫网络蜘蛛,如果把互联网比喻成一个蜘蛛网,那么蜘蛛就是在网上爬来爬去的蜘蛛,爬虫程序通过请求url地址,根据响应的内容进行解析采集数据, 比如:如果响应内容是html,分析dom结构,进行dom解析、或者正则匹配,如果...

weixin_39892565的博客 1616

QT C++ AI棉花智能变量灌溉工上位机(信创完整版)

北斗履带灌溉机器人/田间分区电磁阀基站 → 多层土壤温湿度/盐分EC传感器实时采集墒情 → 双目AI视觉扫描棉田长势、病苗分布 → AI融合**生育期+土壤墒情+盐分+棉株长势**计算变量灌溉定额、水肥配比、灌溉时长 → 分区电磁阀/变频水泵变量供水,病弱苗地块减量、干旱地块增量;墒情、盐分、长势多因子闭环修正灌水量;多层土壤含水率(0–10/20–40/40–80cm)、土壤EC盐分、土壤温度、空气温湿度、蒸发量、北斗地块坐标、管道水压、水肥罐液位、分区流量计、水泵电机负载、滴灌带压力反馈。

寒寒豆豆软件公司的博客 185

request爬虫返回404_小白学 Python 爬虫(13):urllib 基础使用(三)

人生苦短,我用 Python前文传送门:小白学 Python 爬虫(1):开篇小白学 Python 爬虫(2):前置准备(一)基本类库的安装小白学 Python 爬虫(3):前置准备(二)Linux基础入门小白学 Python 爬虫(4):前置准备(三)Docker基础入门小白学 Python 爬虫(5):前置准备(四)数据库基础小白学 Python 爬虫(6):前置准备(五)爬虫框架的...

weixin_39913807的博客 1066

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

只要你学透这13个Python爬虫,就能爬取天下的的数据!还不快上车(附零基础学习资料)

只要你学透这13个Python爬虫,就能爬取天下的的数据!还不快上车(附零基础学习资料)

Java癫疯的博客 1790

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

java爬虫代码示例_小白学 Python 爬虫(13):urllib 基础使用(三)

人生苦短,我用 Python如果我的文章对您有帮助,请关注支持下作者的公众号:极客挖掘机,您的关注,是对小编坚持原创的最大鼓励:)前文传送门:小白学 Python 爬虫(1):开篇小白学 Python 爬虫(2):前置准备(一)基本类库的安装小白学 Python 爬虫(3):前置准备(二)Linux基础入门小白学 Python 爬虫(4):前置准备(三)Docker基础入门小白学 Python 爬...

weixin_39619174的博客 349

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

python 抛出异常_小白学 Python 爬虫(13):urllib 基础使用(三)

人生苦短,我用 Python前文传送门:小白学 Python 爬虫(1):开篇小白学 Python 爬虫(2):前置准备(一)基本类库的安装小白学 Python 爬虫(3):前置准备(二)Linux基础入门小白学 Python 爬虫(4):前置准备(三)Docker基础入门小白学 Python 爬虫(5):前置准备(四)数据库基础小白学 Python 爬虫(6):前置准备(五)爬虫框架的...

weixin_39989980的博客 219

只要你学透这13个Python爬虫,就能爬取天下的的数据!(附零基础学习资料)

只要你学透这13个Python爬虫,就能爬取天下的的数据!(附零基础学习资料)

python03013的博客 375

python spacy 安装超时_小白学 Python 爬虫(13):urllib 基础使用(三)

人生苦短,我用 Python如果我的文章对您有帮助,请关注支持下作者的公众号:极客挖掘机,您的关注,是对小编坚持原创的最大鼓励:)前文传送门:小白学 Python 爬虫(1):开篇小白学 Python 爬虫(2):前置准备(一)基本类库的安装小白学 Python 爬虫(3):前置准备(二)Linux基础入门小白学 Python 爬虫(4):前置准备(三)Docker基础入门小白学 Python 爬...

weixin_32340083的博客 333

爬虫 404 try_零基础学 Python 爬虫(13):urllib 基础使用(三)

人生苦短,我用 Python引言前面两篇基础,我们介绍请求发送的过程。不知道各位同学有没有想过这样一个问题,如果在爬虫运行的过程中,网络突然波动了下,比如突然网速很慢很慢,造成当前的请求超时,程序很可能会直接挂掉。这种处理方式显然不是我们希望看到的,我们希望看到的肯定是如果当前的请求挂掉,那就挂掉,不要影响其他的请求或者是下一次的请求。那么,我们在发送请求的时候,异常处理就显得十分有必要。urll...

weixin_39530288的博客 119

python爬虫怎么挣钱_只要你学透这13个Python爬虫,就能爬取天下的的数据!还不快上车...

Python简直就是万能的,你用Python都做过哪些事?用网页看各大网站的VIP视频,用python下载?用Python玩跳一跳,跳到50000分?过年过节各大亲友群、红包群抢红包还用Python?若问今年最火的一门编程语言是什么?答案一定是Python。这把火已经烧到了程序员的圈子外,从小学生到职场老司机,都开始学习这一门新的语言,门槛低、零基础、操作骚...再也没有什么能阻挡Python晋升...

weixin_39935654的博客 105

Python 爬虫 | 猿人学第十三题

今天讲猿人学第十三题,这题是入门级的cookie反爬地址:http://match.yuanrenxue.com/match/12目录:1、环境2、分析请求3、实现爬取1、环境Python3.7、pyexecjs、requests2、分析请求图2-1第一步找到数据接口如图2-1,同时我们可以看到有三个一样的请求,初步判断可能是cooike反爬(当然题目也告诉我们了),我们也可以请求的时候请求头先不...

weixin_44623587的博客 360

python人工智能_只要你学透这13个Python爬虫,就能爬取天下的的数据!还不快上车...

Python简直就是万能的,你用Python都做过哪些事?用网页看各大网站的VIP视频,用python下载?用Python玩跳一跳,跳到50000分?过年过节各大亲友群、红包群抢红包还用Python?若问今年最火的一门编程语言是什么?答案一定是Python。这把火已经烧到了程序员的圈子外,从小学生到职场老司机,都开始学习这一门新的语言,门槛低、零基础、操作骚...再也没有什么能阻挡Python晋升...

weixin_39670849的博客 151

基于百度翻译的python爬虫示例

花了一周时间,从零基础开始学习了python,学有所获之后,就总想爬些什么,不然感觉不得劲,所以花了一天时间整出了个百度翻译的爬虫示例,主要卡点花在了找token、sign以及调试请求上。代码有点乱,毕竟是demo,但是功能是实现了的。(今年java工作真难找啊,有广州java高级岗位招人的好心人麻烦推一下,拜谢。最新版本python3.13不支持js2py模块,所以我切换到了3.8版本。

hunwanjie的博客 1159

猿人学 第13题 入门级cookie

按照惯例,对这个请求打一下XHR断点然后清空cookie并刷新,检查一下堆栈,很简单我们就能发现。在执行该异步请求之前,cookie值为空,执行后出现cookie,由此我们推断yuanrenxue_cookie来自于这个接口的返回值。如此很简单了,先发请求给/api2/13,获取yuanrenxue_cookie后再请求/api/question/13即可。我们检查一下这个接口 发现刚好是我们获取数据请求上的那个,检查响应值 发现确实是。先简单看一下题目要求,然后F12打开控制台刷新一下看一下网络请求。

weixin_43063631的博客 55

Python网络爬虫

Python以简单高效著称,在日常工作中用处非常多,处理文件、群发网络请求、爬网页信息等等,现把Python语法总结如下,供后续方便复习查阅。 文章目录一、变量 一、变量

Captain_RB的博客 5704
上一篇: 一起学爬虫(Python) — 12
下一篇: 一起学爬虫(Python) — 14
「已注销」
博客等级 码龄6年 1406粉丝 35原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值