一起学爬虫(Python) — 25 震惊!某妈妈竟被多次“玩弄”……

一起学爬虫(Python) — 21 蝉妈妈,嘿嘿 一起学爬虫(Python) — 19 年轻人,进来学自动化 这里呢,还是宣传一下这个跟自动调试有关系的一篇博客,为什么呢,因为她能帮你们自动给我的博客点赞!!! 诶嘿嘿,各位一定不会想白嫖吧。 蝉妈妈,嘿嘿前言蝉妈妈何为蝉妈妈今天的目标了解一下cookies了解一下蝉妈妈开冲全部代码结尾 前言 经过两到三天的咕咕咕,小泽发现这个浏览量是蹭蹭蹭的往上涨,顿时变得无比纳闷,为什么我不勤奋更新了反而看的人变多了呢… 难道… 这是大家在用事实告诉我,更新是错误的,咕咕咕才是我应该做的吗! 带师,我悟了。 当然, 阅读详情

年度催泪大剧:2020,我一定会回来的!

年度最佳拒绝白嫖奖:一起学爬虫(Python) — 19 年轻人,进来学自动化

略显夸张,略显。

但是还是希望,也不是希望吧,是卑微地渴望各位姥爷,给个赞吧T-T

在这里插入图片描述

前言

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

我被绑架了,竟然三天没有更新,这个…

对,就理解为我被绑架了吧!

最近不是有那个年度征文嘛,然后我就参加了一下,毕竟……

高情商:你写的那么好,一下就吸引了一堆小学生来看,一定能获取评委的认可的!

低情商:就你还参加个xx

在这里插入图片描述
所以希望各位能高抬贵手,让我输得不要太惨,拜托啦~~

在这里插入图片描述
就亿次!!!

点这里:2020,我一定会回来的!

那么…点赞的事情,就拜托了,轻一点哦~

自动化获取cookies

前景回顾:蝉妈妈,嘿嘿

至于为什么要用自动化,这里我们选择selenium。不过想要实现自动化操作有很多种方法,而且最近不是新出了一个更方便的嘛,我没记名字,你打我啊。

不过这里我们先用selenium对整体的思路进行一个理解,日后再进行新的方式的传销 传播。

我们上次爬取蝉妈妈的商品信息的时候,是分了两大步。

第一步是获取了登陆后的cookie。

第二步是用带有登录后cookie的headers进行一个post请求,然后获取了那些我们需要的,也可以是不需要的,但是这里假装我们是需要的,的数据。

在这里插入图片描述
那么我们进行模拟登陆的这个操作,就是最难的了吧,相对来说嘛。

如果你要说处理那些数据是更难的操作的话…那就听你的吧,不过处理数据的方法是可以一直用的嘛,但是不同的网站就有不同的登录方式,是多变的,所以相对来说还是我说的比较对,你要听话。

在这里插入图片描述
从上一次的结果来看,大致可以推断出,我们只要获得登陆后的cookies,就不用进行账号密码的输入了,就是可以直接绕过登录了,也就避开了验证码这一个超级烦人的环节。

那就来让我们偷偷地潜入…

获取cookies!

这一呢,我们是用selenium进行一个cookies的获取。

这里为什么说是cookies,而前面是cookie呢?

因为cookie是有很多的,可以理解为合起来就是一个字典!

cookies里面放的是一条一条的cookie,有的有用,有的只是说明一下ip鸭,时间鸭什么的,是属于可有可无的。

可以选择全都放进去,也可以选择细一点,只放我们需要的!

在这里插入图片描述
这里我们先用selenium进行一个模拟的登录~

# 导入sleep是为了等待一下,确保网页可以加载完,避免出现还没加载出来程序就走完了的情况
from selenium import webdriver
from time import sleep

导入这些呢,就不多说了,关于等待其实也是有三种等待的,如果想要详细了解可以到 一起学爬虫(Python) — 22 自动化详解 了解一哈~

如果你让我推荐一个的话,做大项目肯定是要显式等待,随便玩玩的话sleep就够用了。

# 初始化driver对象
driver = webdriver.Chrome(executable_path='./chromedriver.exe')
# 打开指定页面
driver.get('https://www.chanmama.com/login')

这里有的人可能会先打开https://www.chanmama.com/然后点击里面的登录按钮,其实没必要哦,直接放登录界面的url进去就好了。

如果初始化那里错了,可能就是你的浏览器引擎版本不对,或者路径不对。

# 这里也可以注释掉,在下面的send_keys里面手动写上自己的账号密码
tmf = input('请输入你的手机号:')
password = input('请输入你的密码:')

# 等待1秒,万一下面的东西没加载出来就会报错了
sleep(1)

# tmf就是手机号的缩写,不要问我怎么知道的,我刚百度来的!
# 至于xpath里面的东
一起学爬虫(Python) — 03 今天要爬我们想要的东西爬─=≡Σ(((つ•̀ω•́)つ抢银行o(▼皿▼メ;)o怎么抢∑(´△`)?!总结 爬─=≡Σ(((つ•̀ω•́)つ 先表示一下我很开心啊,为什么开心呢,因为有几个小伙伴给咱留言了,哈哈哈。 还是蛮有成就感的,在这里点名几位小伙伴,谢谢你们对我的支持哦~ 当然也会听取各位的建议,少用点表情包,多一点有用的东西! 昨天我们学会了把一整个网页给爬下来,但是这还只是最基础的东西。 举个例子:我们去抢劫的话,是不是要抢到钱才肯罢休啊,同样的我们去爬东西肯定要爬到有用的才肯罢休嘛,但是有的人 阅读详情

相关推荐

Python爬虫实战:百度贴吧—妈妈吧

上次,我们用requests 和 xpath爬取了极客学院的课程,感觉还是不过瘾,今天我们再来爬一下百度贴吧妈妈吧里面的话题,看看妈妈们都喜欢讨论什么吧! 爬取前我们先看一下我们的目标: 1.抓取百度贴吧妈妈吧的话题 2.抓取每一个话题的发布人、发布时间、发布标题、发布内容和回贴数目 1.确定URL 1.确定URL 1.确

flyingfishmark的博客 2125

python爬虫100个入门项目

断点续爬并存入MySQL 秒爬,python爬虫中的多线程,多进程,协程 抓取百度图片唯美意境模块 抓取百度贴吧某话题下的所有图片 淘宝模拟登录 天猫商品数据爬虫 爬取淘宝我已购买的宝贝数据 每天不同时间段通过微信发消息提醒女友 爬取5K分辨率超清唯美壁纸 爬取豆瓣排行榜电影数据(含GUI界面版) 多线程+代理池爬取天天基金网、股票数据(无需使用爬虫框架) 一键生成微信个人专属数据报告(了解你的微信社交历史) 一键生成QQ个人历史报告 微信公众号文章爬虫 新浪微博爬虫分享(一天可

daijunxia123的博客 3945

Python 爬虫实战:于妈妈网抓取育儿经验分享热度,解决育儿难题

通过本次 Python 爬虫实战,我们成功抓取了妈妈网育儿经验分享热度数据,并进行了数据分析和可视化。基于分析结果,为新手妈妈们提供了有价值的建议,帮助她们解决育儿难题。

u014481728的博客 794

Python爬虫-蝉妈妈热门视频榜单

本文是该专栏的第38篇,后面会持续分享python爬虫干货知识,记得关注。数据需要账号登录才能正常看到,day_type:目测是榜单类型,day表示按天为基数的榜单,week表示按周为基数的榜单。day:目测是时间,这种类型的榜单当天的数据可能明天才会更新,所以最新数据可能为昨天。通过禅妈妈查看视频榜单数据的前提,首先需要账号登录才能正常看到榜单数据,到这里,基本上思路都通了

Python进阶专栏《爬虫实战进阶》,《Pyppeteer从入门到精通》原创作者 2403

统计学工具软件hlm6.08

This is the release edition of HLM 6.

Isaac Sim 车辆动力学:从参数调优到户外仿真的挑战与实战

本文深入探讨了Isaac Sim在车辆动力学仿真中的应用,从参数调优到户外场景模拟的实战经验。详细解析了悬架系统、轮胎物理模型等核心参数的设置技巧,并分享了应对户外仿真挑战的实用方案。通过Vehicle Wizard高级使用和传感器配置,帮助开发者高效完成车辆仿真与算法开发。

weixin_29192211的博客 404

以LAN8720A为例的以太网硬件设计方案

输入时钟(XTAL1/CLKIN,XTAL2):推荐外加25MHz(性价比较高)晶振为PHY芯片提供时钟,PHY芯片内部PLL将其倍频为50MHz来使用,亦可使用直接使用50MHz晶振。三位MODE通过高低电平组合分别对应以上8种模式 ,包含10M半双工,10M全双工,100M半双工,100M全双工,是否启用自协商协议,CRS是否有效等。VDDCR:1.2V电源,可由芯片内部稳压电源提供,亦可由外部电源提供,由外部电源提供可降低芯片功耗。REF_CLK:参考时钟,由MAC或外部时钟晶振向PHY芯片提供。

weixin_46154042的博客 5885

【电击防护篇】电击防护技术详解:从人体效应到接地系统全解析

本文系统讲解了电击防护的关键知识,包括电流对人体的影响(如30mA是心室颤动阈值)、人体电阻特性(700Ω-6100Ω)以及电气接触防护措施。重点分析了TT、TN和IT三大接地系统的结构特点与应用场景,强调TN-S系统最安全,IT系统供电连续性最佳。详细介绍了漏电保护器(RCD)的工作原理与选型指南,建议人身防护选用30mA高灵敏度RCD。文章通过对比表总结三大系统的安全性、成本及适用场景,为电气安全设计提供实用参考。

2301_81299416的博客 1744

手机如何高效辅助林业调查

手机如何高效辅助林业调查 很多林业工作者将栅格类型的地形图处理后导入平板电脑,在林地使用平板电脑加载小班矢量图,辅助林业调查。但是,如果没有地形图底图,这种方法可能就有难度,而且最重要的是,大部分林地工作者没有能力配置平板电脑。大凡林业基层工作者在林地调查时,除调查记录本等部分纸质材料外,都必然携带手机和水杯,此外其他设备已经成为累赘,尤其是炎热的夏季在杂灌丛生的林地进行调查作业。因此,使用手机...

xu780820的博客 3078

移动机器人底盘-四轮差速模型(四轮独立)

对于底盘的前轮和后轮来说,其速度是同步的,那么在理想条件下,可以将底盘运动视为以ICR为圆心做圆周运动,对于四个轮子来说,圆周运动的角速度是一致的,圆周运动圆心ICR始终位于底盘几何中心COG的y轴延长线上,ICR与COG之间的距离。有关,整个底盘的速度位于速度瞬心COM处,用。四轮差速底盘设定左轮、右轮得速度分别为。圆周运动的角速度公式如式1所示。受约束,约束与圆周运动的角速度。合成,设四个轮子的速度分别为。,设左轮和右轮之间的轴距为。为圆周运动角速度,线速度为。,其均由预设目标速度。

Moresweet 猫甜 1万+

机器人动力学与控制学习笔记(一)————机器人控制概述

一、概述 1、机器人控制的目的 对自由运动机器人来说,控制的目的是要控制机器人手端的位置和姿态(以后统一简称为位姿),即所谓位置控制问题。这时希望机器人手端所达到的位置称为期望位置或期望轨迹。期望轨迹可以在机器人任务空间中给出,也可以通过逆运动学关系转化为机器人关节空间中的期望轨迹。期望轨迹通常有两种形式:一种是一个固定位置(即固定点),另一种是一条随时间连续变化的轨迹。自由运动机器人位置控制的目的,是要使机器人手端从任意起始位置出发都能到达期望轨迹。当期望轨迹是固定点时的位置控制称为定...

冰与火的青春的博客 6882

STM32入门教程:图像处理

然后,我们使用 STM32 的 DSP 模块中的 arm_mean_u8 函数计算原始图像的平均值,并将结果存储在 meanValue 变量中。然后,我们需要编写代码配置 STM32 的外部中断输入引脚,并在中断处理函数中读取 OV7670 摄像头模块输出的图像数据。然后,我们需要编写代码配置 STM32 的 USB OTG 接口,并在回调函数中读取 USB 摄像头输出的图像数据。一、图像采集 图像采集是图像处理的第一步,我们需要将外部图像源的数据导入到 STM32 中进行处理。

2401_85625565的博客 1616

编织数据的实时脉络——构建基于MySQL的数据编织平台,实现实时数据治理

除了上述基本设置外,我们还可以根据实际应用场景自定义一些特定的监控项目。例如,对于某些高并发读写的表,可能需要特别关注它们的锁等待时间和回滚段使用率;而对于涉及到跨库关联查询的操作,则应当着重检查网络延迟及缓存命中率等因素。-- 获取InnoDB行级锁等待情况-- 统计各表的缓存命中率这段SQL脚本不仅展示了如何查询InnoDB引擎下的锁争用状况,还介绍了计算表级别缓存命中率的方法,有助于深入理解系统的运行状态。

墨夶的博客 1789

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

上一篇: 一起学爬虫(Python) — 24 自动化详解3
下一篇: Python写游戏,我上我也行 - Flappy Bird 01
「已注销」
博客等级 码龄6年 1406粉丝 35原创
评论 12
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值