一起学爬虫(Python) — 19 年轻人,进来学自动化

python爬虫系列二:爬取糗百成人的妹子图片(requests+正则) 在我的上篇文章:python爬虫系列一:爬取糗百成人的妹子图片中,体现的主要还是代码,这一次我用了更加流行的requests 和正则来改写代码,并且简单的说说思路爬取图片到底需要干什么1,定义要爬取的页面。 糗百官网:http://www.qiubaichengren.com,里面是不是有很多的妹子图片,我们就是要把这些妹子图片爬取下来。接着我们点击‘下一页’按钮,发现网址变成了http://www 阅读详情

前言

在这里插入图片描述

Hello,大家好,今天是早起的小泽!

在这里插入图片描述

早上10点相信对大家来说都还没有起来吧,当然有工作的除外,要上学的除外,相信还是有很多可以天天在家里待着的富婆鸭,会来这里偷偷地学习。

那么今天咱们是要搞什么呢?

相信通过标题你也是知道了,自动化!

在这里插入图片描述

那么话不多说,直接带大家起飞,好好学,好好问,你也可以成为大神!

什么是自动化

今天我们说到的自动化,不是你们可能听过很多的无人驾驶,机器人鸭什么的,就是没有那么高级哈。

这个自动化呢,在python里面用一个模块来实现:selenium

在这里插入图片描述

如果缺少这个东西呢,大家是有可能得抑郁症的,所以也可以看出来自动化对大家来说是多么的重要,还不赶紧学起来!

什么,你老抑郁了?
在这里插入图片描述
还没12点呢。

当然想只通过上面毫无关联的翻译来了解自动化,不太现实。

所以再给大家科普一下:

Selenium
是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9,10, 11),Mozilla Firefox,Safari,Google,Chrome,Opera等。这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成
.Net、Java、Perl等不同语言的测试脚本。

如果你还是看的不太明白,就可以这么理解:

selenium就是能帮我们自动浏览网页,自动获取那些我们能看到的数据。

总之呢,requests是属于黑暗里的一道光,而selenium就是光明正大的搞你,就是要搞你。

虽然上面说支持的浏览器有很多,但是还是推荐大家统一使用谷歌浏览器哈。

怎么安装selenium

又到了熟悉的教小白环节,小泽发现有很多人是直接学爬虫的诶,然后很多基础方面的,或者前端方面的知识鸭,就不太懂,这里可以花点时间把需要掌握的知识,系统的学一遍,毕竟不能急嘛,比的就是基本功。

在这里插入图片描述
直接开始教程,很快啊。

在这里插入图片描述
上面那个Project:1有的人可能找不到哦,因为你的项目名字不是1,找你的项目名字就好了,项目名字是最外层那个文件夹的名字哦。

在这里插入图片描述
找加号,有的人的加号可能在下面。

在这里插入图片描述
搜索selenium,然后点击左下方的下载,等你变绿了,就说明没毛病了嗷。

当然有的小伙伴可能会出现红色,下载失败,解决方法呢,在 一起学爬虫(Python) — 07 里面是有介绍的,在中间往下的部分,可以去找一找。

在这里插入图片描述
神奇の传送门1号

然后,模块我们就安装完成啦!

接下来就是重头戏了,要一起安装谷歌浏览器的引擎!

神奇の传送门2号

打开这个网址之前呢,大家先跟着小泽一起看一下自己谷歌浏览器的版本:

在这里插入图片描述
在帮助里面呢,有个关于Google Chrome,点进去。

在这里插入图片描述
你就能看到你的版本啦。

然后打开上面的传送门2号:

在这里插入图片描述
找到你对应的版本号的文件,然后点进去:

在这里插入图片描述
再根据自己的系统进行下载哈。

下载完了把里面的:

在这里插入图片描述
放在你能找得到的地方。

如果这些你都准备好了,那我们就可以开始了!

开冲!

最近小泽看到淘宝上有代冲的哦,10块钱一次,能让老板代替我们冲,如果大家实在忍不住可以去光顾一下,关爱自己,人人有责。

在这里插入图片描述

# 导入模块
from selenium import webdriver

第一步当然不用说啦,导入模块。对了,上面那个引擎,可以放在py文件的当前目录下哦,用的时候也方便!

# 这里指定自己的谷歌引擎目录
driver = webdriver.Chrome(executable_path='./chromedriver.exe')

今天,我们都是老司机!

上面那句是每次都要这样写的,所以不用纠结是为什么哦,Chrome就是谷歌的意思嘛~

from time import sleep
# 打开csdn的登录界面
driver.get('https://passport.youkuaiyun.com/login?code=public')
print('正在打开指定网页…')
sleep(1)

这里sleep1秒呢,是因为怕还没加载出来就继续下一步了,就有问题了。

先不要问代码为什么这么写,试试效果鸭!

# 找到那个输入账号密码的按钮
dl = driver.find_element_by_xpath('//*[@id="app"]
一起学爬虫(Python) — 01 首先要了解爬虫1.什么是爬虫1.自言自语2.为什么要学爬虫1.为了赚钱2.为了私欲3.爬虫违法吗?如何避免踩坑爬虫的分类爬与反爬robots.txt协议http协议和https协议常用请求头信息(先知道有这个东西)常用响应头信息(同上,都要通过抓包工具查看)加密方式(大致知道就好)结尾 1.什么是爬虫 1.自言自语 深思良久… 所以为什么要问这个问题呢? 传统! 每学一门技术之前都要了解我学的是什么,为什么要学,好学吗…… 但是小泽不要这么学,为什么呢? 如果跟别人一样的话,那有那么多优质的文章摆在前面,像 阅读详情

相关推荐

一起学爬虫(Python) — 05

今天我们爬图片开始分析实践 开始 大家好鸭,又是新的一天! 无论做什么事情,都要恪守初心,要知道我们是为了什么才学爬虫的,比如我,就是为了爬取一些好看的图片…… 所以,今天带大家一起爬一些好看的,图片~ 话不多说,直接高速! http://www.win4000.com/zt/dongman.html 作为一个老二刺猿,当然是直接找动漫图片~ 分析 打开页面后往下拉,发现图片是真滴好看…… 里面还有我的02老婆~ 认真分析,看到这一张张的图片,我们是不是可以认为这些图片是放在一个列表里的,所以一会我们爬取

小泽 1万+

一起学爬虫(Python) — 03

今天要爬我们想要的东西爬─=≡Σ(((つ•̀ω•́)つ抢银行o(▼皿▼メ;)o怎么抢∑(´△`)?!总结 爬─=≡Σ(((つ•̀ω•́)つ 先表示一下我很开心啊,为什么开心呢,因为有几个小伙伴给咱留言了,哈哈哈。 还是蛮有成就感的,在这里点名几位小伙伴,谢谢你们对我的支持哦~ 当然也会听取各位的建议,少用点表情包,多一点有用的东西! 昨天我们学会了把一整个网页给爬下来,但是这还只是最基础的东西。 举个例子:我们去抢劫的话,是不是要抢到钱才肯罢休啊,同样的我们去爬东西肯定要爬到有用的才肯罢休嘛,但是有的人

小泽 6721

一起学爬虫(Python) — 02

今天要学会爬requests模块什么是requests模块如何安装requests模块怎么用requests模块实战! requests模块 什么是requests模块 大家好鸭,今天是写博客的第二天,昨天写的结果只有不几个人看了呢,不过还有两个小伙伴点赞了,真的是万分感谢!!! 希望各位看客能多多提意见还有提问题哦,小泽都会努力解答的~ 咳咳,开始今天的正题:requests模块。 如果学过python基础的话就会知道模块是个什么东西,没有学过直接来这里看的呢,也应该大致知道模块是个什么东东,就是类似于

小泽 9207

一起学爬虫(Python) — 04

今天要学会实战爬个难的爬个大的step1step2 爬个难的 哈喽大家好,这里是小泽的一起学爬虫(Python)系列的第四天!!! 如果你是新来的,没关系,点个赞收藏一下最好是可以关注一下,然后看一看前面的基础,相信你很快也能跟得上我们的步伐! 虽然点赞还有收藏对我没有什么收益吧,但是能让我知道有人在看,就充满了一直把这个系列写下去的动力! 爬个大的 如果这个时候让你去把某个翻译界面爬下来,对学过之前的知识点的你应该是很轻松的,但是借用一下昨天的比喻,我们还是只能扒下来衣服,不能实现我们要的那个功能。 那

小泽 4245

一起学爬虫(Python) — 22 自动化详解

一起学爬虫(Python) — 19 年轻人,进来学自动化 自从这个一起学自动化发布之后,也是有很多小粉丝就偷偷跟我说看不懂,不明白,求求你教教我之类的(自我想象),所以今天就来详细的教大家什么是selenium! 深入Selenium前言回顾真·回顾干饭去了 前言 又是一大早就来给大家伙更新啦,昨天好像是发烧了…有些小粉丝问的问题没有及时回答到,偷懒了一天。 不过昨天有看到某个大佬写的2020年总结,其中看到他一开始是每天更新三篇,然后每天访问量5000左右。 那么我也要每天… 怎么可能。 每天三篇也

小泽 3508

一起学爬虫(Python) — 07

今天要偷懒前言填坑get()post()总结不知道起什么名字干干什么怎么干 前言 没想到点赞这么快就到100了…… 那就说到做到,说更就更! 今天就来把之前写的时候的一些坑,给大家填喽~ 填坑 不知道大家有没有注意到啊,我们之前使用requests模块的时候,后面有时候跟的是get(),有时候跟的是post(),各位细心的小伙伴不会没注意到吧,不会吧不会吧,竟然没有一个人问这个问题,难道你们都懂了吗…… 呐,看上面的三幅图,都是我们之前敲过的代码,聪明的你一定发现了requests.get()和req

小泽 7660

一起学爬虫(Python) — 09

今天划划水从零开始的爬虫生活梦回s4明确思路 从零开始的爬虫生活 标题为什么要这么写呢,因为我发现啊,有很多跟着一起学习的小伙伴,对于基础并不是掌握的很牢固,或者说很充实,所以小泽准备讲的慢一点,在讲爬虫的同时,把基础也给好好地讲一讲! 对了,400赞更新下一期哦!!!400赞400赞,大家一起努力鸭 (`・ω・´) 梦回s4 今天,就让我们一起重新完善一下,昔日我们写下的,翻译器! 这里跟大家说一个需要注意的点,如果我们要在原本可以运行的代码上做出修改或者添加功能,最好最好最好是重新建立一个py文件,然

小泽 3332

一起学爬虫(Python) — 21 蝉妈妈,嘿嘿

一起学爬虫(Python) — 19 年轻人,进来学自动化 这里呢,还是宣传一下这个跟自动调试有关系的一篇博客,为什么呢,因为她能帮你们自动给我的博客点赞!!! 诶嘿嘿,各位一定不会想白嫖吧。 蝉妈妈,嘿嘿前言蝉妈妈何为蝉妈妈今天的目标了解一下cookies了解一下蝉妈妈开冲全部代码结尾 前言 经过两到三天的咕咕咕,小泽发现这个浏览量是蹭蹭蹭的往上涨,顿时变得无比纳闷,为什么我不勤奋更新了反而看的人变多了呢… 难道… 这是大家在用事实告诉我,更新是错误的,咕咕咕才是我应该做的吗! 带师,我悟了。 当然,

小泽 8768

一起学爬虫(Python) — 11

今天我们学异步协程概念第一个案例第二个案例实现异步下载图片整体的思路流程很黄很暴力 概念 event_loop:事件循环,也就是通过不断的循环获取任务的状态(完成/未完成)来分配任务。 coroutine:协程对象,python中万物皆对象,不多说,懂的都懂。 task:任务对象,对协程对象进行包装,加上了状态,完成和未完成。 future:和task一样,只不过可以提前包装。 async:定义一个协程,定义! await:挂起阻塞的操作,还记得之前说的IO等待吗,在那前面就要用到这个。 第一个案例 第

小泽 2270

一起学爬虫(Python) — 15 进攻,有道翻译!

Hello,大家好,这里是超级勤奋的小泽亲~ 因为不会用目录所以直接不用目录… 那么今天要干什么呢? 标题不都说了嘛,进攻,有道翻译! 虽然说我们昨天已经试图进攻过有道翻译了,而且也貌似实现了效果,但是那只是一种错觉,其实昨天可以借鉴的主要是思路,总体来说是比较不合格的,鉴于让大家都能学会的原则呢,今天要再一次向有道翻译发起进攻! 首先,打开我们的有道翻译: 神奇的传送门 在当前页面呢,按下F12,或者右键,然后找到检查或者开发者工具,这里用谷歌浏览器或者360极速浏览器都是可以的哈。 然后打开我们的N

小泽 5014

用Python手把手教你实现一个爬虫(含前端界面)

随着互联网的飞速发展,再加上科技圈的技术翻天覆地的革新,互联网上每天都会产生海量的数据,这些数据对于企业和个人都具有重要的价值。作为开发者对数据处理并不陌生,关于使用python应该也不会陌生,因为现在python语言已经在初中阶段就开始普及了,关于python的主要功能之一的爬虫想必也不陌生,其实爬虫(也称网络蜘蛛)是一种能够自动抓取网络数据的工具,它可以帮助我们从网络上获取所需的信息。

全沾软贱开发攻城狮 1万+

软件测试面试题汇总

软件测试面试题汇总 测试技术面试题 ........................................................................................................................................................................ 5 1、什么是兼容

晴天的专栏 2万+

BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network(2018,妆容迁移)

论文下载地址:BeautyGAN | Proceedings of the 26th ACM international conference on Multimedia 目的:在实例级实现化妆图像和非化妆图像的妆容迁移 方法:全局域集损失和本地实例级损失合并到一个双输入/输出对抗生成网络。步骤:使用一对鉴别器将非化妆面传输到化妆域,鉴别器从域的真实样本中分辨出生成的图像。在域集迁移的基础上,采用基于不同人脸区域的像素级直方图损失来实现实例级迁移。为了保持人脸的一致性和消除伪影,在总体目标函数中加入了.

weixin_53965540的博客 664

电磁波成像技术全解析:从γ射线到无线电波的应用实践

本文全面解析电磁波成像技术,从γ射线到无线电波的应用实践。详细介绍了不同波长电磁波的特性与实用场景,包括医疗影像、工业检测、安防监控等领域。特别探讨了X射线、红外热成像、毫米波雷达等前沿技术的实战应用,为读者提供技术选型指南和操作技巧。

weixin_29305337的博客 293

Halcon实战:5种边缘检测算子对比(Sobel、Roberts、Prewitt、Kirsch、Canny)

本文深入对比了Halcon中Sobel、Roberts、Prewitt、Kirsch和Canny五大边缘检测算子的实战表现与核心差异。通过工业图像实例与代码解析,提供了基于噪声水平、边缘连续性及实时性要求的场景化选型指南,帮助工程师精准选择最适合的算子以优化视觉检测流程。

weixin_29266007的博客 393

让 AI 变聪明的 20 条指令:如何让大模型回答得更精准、更专业、更实事求是

让 AI 变聪明,本质上不是写几句神奇咒语,而是把你的任务表达得更清楚,把事实标准设得更严格,把输出格式规定得更明确,把不确定性管理得更认真,把历史对话利用得更充分。大模型的强项是语言生成、信息组织、模式归纳和方案扩展;弱项是事实核验、实时更新、责任判断和对模糊意图的准确猜测。好的指令,就是在用人的判断弥补模型的弱点,让模型把强项发挥在正确的地方。

Sumarua的博客 1506

Qt QCustomPlot 图形库详解及使用

QCustomPlot 是一个开源的 Qt C++ 库,专门用于创建数据图表。易于集成到 Qt 项目中。支持多种图表类型,如折线图、散点图、条形图等。提供丰富的交互功能,如缩放、平移、选择和拖动。高度可定制,支持图形的各种样式设置。// 添加第一条曲线i < 101;++i) {// 设置曲线颜色// 添加第二条曲线i < 101;++i) {// 设置曲线颜色// 设置散点样式// 添加图例。

MusicScore的博客 764

基于DO-178C/331的飞控软件研发环境的研究

本研究提出了一套基于DO-178C/331标准的飞控系统软件开发和验证框架。通过优化模型库的设计、代码生成配置和测试验证流程,显著提升了飞控系统软件的开发效率和安全性。未来的研究可以进一步扩展模型库的功能,以适应更复杂的飞控系统需求。

qq_41854911的博客 561

Python分布式爬虫深度实战:反爬破解+数据清洗+性能优化全流程

分布式爬虫的核心是“调度中心化+执行分布式”,Scrapy-Redis是最易落地的框架,无需从零写调度逻辑;反爬破解要分级应对:基础反爬靠随机UA/限流,进阶反爬靠代理池,高级反爬靠第三方验证码API;数据清洗的关键是“批量处理+标准化”,避免内存溢出,核心字段去重和异常值过滤是必做步骤;性能优化不是单纯加节点,而是从架构(分片)、代码(批量写入)、服务器(索引/网络)三层协同优化,才能实现效率翻倍。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1200

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

上一篇: 一起学爬虫(Python) — 18 一生之敌查帕斯
下一篇: 博客索引
「已注销」
博客等级 码龄6年 1406粉丝 35原创
评论 88
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值