Python爬虫学习笔记一:模拟登录(人工输入简单验证码)

Python爬虫入门与登录验证自动化思路 Python爬虫是通过编写程序自动访问网页并提取信息的技术,常用于数据抓取、信息分析和自动化测试。然而,爬虫开发中最具挑战性的是处理网站的登录验证,尤其是图片验证码。为了应对这一问题,开发者可以采用半自动化或全自动化的方式,利用打码平台自动识别验证码,并通过Selenium工具模拟用户操作。 阅读详情

# -*- coding: utf-8 -*-

import requests, base64, re
from PIL import Image
from io import BytesIO

def logon():
    loginUrl = 'http://############/login.do?method=enterbs'  #登陆提交地址
    imgUrl = 'http://############/form/digitalverify.jsp'     #验证码获取地址
    s = requests.session() #建立一个会话
    res = s.get(imgUrl, stream=True) #获取验证码图片
    im = Image.open(BytesIO(res.content))
    im.show() #显示验证码
    code = input() #人工输入正确的验证码

    #用户名、密码进行转码(根据网站要求)
    loginId = "############"
    password = "############"
    base64_loginId_utf_8 = base64.b64encode(loginId.encode('utf-8'))
    base64_password_utf_8 = base64.b64encode(password.encode('utf-8'))
    ID = re.findall(r'b\'(.*)\'', str(base64_loginId_utf_8)) #进过转码后会出现标志符号b',这里处理掉它
    PWD = re.findall(r'b\'(.*)\'', str(base64_password_utf_8))
    str_loginId_utf_8 = ID[0]
    str_password_utf_8 = PWD[0]

    #构建POST数据并提交
    postData = {'loginId': str_loginId_utf_8,
                'password': str_password_utf_8,
                'vericode': code}
    rs = s.post(loginUrl, postData)

    url = 'http://############/projectInfo.do?method=#######' #登陆成功后的展示地址
    res = s.get(url)

    print(res.text)

if __name__ == '__main__':
    logon()

Python3 爬虫 模拟登录验证码处理 在线验证码识别 阅读详情

相关推荐

python爬虫豆瓣网的模拟登录实现

这篇文章主要介绍了python爬虫豆瓣网的模拟登录实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧 思路 一、想要实现登录豆瓣关键点 分析真实post地址 ----寻找它的formdata,如下图,按浏览器的F12可以找到 实战操作 实现:模拟登录豆瓣,验证码处理,登录到个人主页就算是success 数据:没有抓取数据,此实...

python爬虫教程 4838

爬虫之模拟登录--验证码+cookies+session

目录验证码识别概念模拟登录cookies概念处理方法session会话cookies的存储与读取存储读取代码示例 验证码识别 概念 一种反爬机制。需要识别图片中的数据,用于模拟登录操作。 识别验证码图片的操作: 1、人工肉眼识别,不推荐 2、第三方自动识别 ① 云打码 () 流程: 1、将验证码图片进行本地下载 2、调用平台提供的示例代码进行图片数据识别 模拟登录 爬取基于某些用户的数据。 需求:对人人网进行模拟登录。 进行登录操作,经分析发现: 1、点击登录按钮会发起一个post请求 2、post请求中会

Xi_You_Zi的博客 3747

网站模拟登录总结

目录                                            网站模拟登录总结 一、环境 二、简介 三、模拟登录网站 1、拉勾网模拟登录 2、优快云模拟登录 3、微博模拟登录                                            网站模拟登录总结 一、环境     window7系统     python3语...

sinat_40557813的博客 1万+

Python爬虫如何处理验证码与登录

登录验证:许多网站要求用户登录后才能访问某些页面,因此爬虫也需要具备模拟用户登录的功能,提交正确的用户名和密码后才可以继续抓取登录后的数据。验证码:验证码通常用来防止自动化行为,比如识别出用户是否为真人。验证码常见的形式有图片验证码、滑动验证码、短信验证等。对于爬虫,处理验证码可能会比较复杂,因为它们通常要求图像识别或者第三方服务的协助。在 Python 爬虫中处理登录和验证码是常见的难题。图片验证码:可以使用 OCR 技术识别,也可以通过第三方平台自动识别。滑动验证码。

chusheng1840的博客 7401

Python爬虫之模拟知乎登录的方法教程

@本文来源于公众号:csdn2299,喜欢可以关注公众号 程序员学府 文章目录前言登录原理实战应用获取 xsrf获取验证码登录auto_login.py 示例代码 在爬虫过程中,有些页面在登录之前是被禁止抓取的,这个时候就需要模拟登陆了,下面这篇文章主要给大家介绍了利用Python爬虫模拟知乎登录的方法教程,文中介绍的非常详细,需要的朋友可以参考借鉴,下面来一起看看吧。 前言 对于经常写爬虫的大家都知道,有些页面在登录之前是被禁止抓取的,比如知乎的话题页面就要求用户登录才能访问,而 “登录” 离不开 HTT

python基础学习教程 3188

python3爬虫验证码识别——超级鹰打码平台的使用&实战:识别古诗文网登录页面中的验证码

一、验证码和爬虫之间的爱恨情仇? 反爬机制:验证码.识别验证码图片中的数据,用于模拟登陆操作。 二、识别验证码的操作: 人工肉眼识别。(不推荐) 第三方自动识别(推荐) - 超级鹰打码:https://www.chaojiying.com/ 超级鹰打码平台的使用流程: 1. 注册: 2. 登录: 查询该用户是否还有剩余的题分 创建一个软件:超级鹰首页>用户中心>软件ID>生成一个软件ID>录入软件名称>提交(软件id和秘钥) 下载示例代码:开发文档>

zep 7952

爬虫之登陆验证

运行爬虫抓取某些网站的时候,经常会碰到需要登陆验证(输入账号、密码)之后才能获取数据的情况。那么问题来了,如何完成登陆验证呢?下面以itunes为例大概总结两种方法。主要使用工具为python/java、selenium、phantomjs或firefox/chrome等浏览器. 一 python urllib2库的简单介绍 本人之前主要使用java进行外部数据获取,用的工具包httpclie

u011747443的专栏 3万+

uni踩坑笔记 - 离线打包调起微信分享后从微信返回APP时黑屏

apk能成功调起微信并进行分享操作,但分享完成后点击回到应用后应用出现黑屏的情况,并在约3-5秒后自动重启。

weixin_46737742的博客 5215

python爬虫之模拟登录

python爬虫中模拟登录中的验证码识别以及cookie和代理的简单介绍

qimo__的博客 3276

2024年捡垃圾指南:E5 V3/V4服务器CPU怎么选?从游戏多开到深度学习,附华南X99主板搭配清单

本文详细解析2024年E5 V3/V4服务器CPU的选购策略,涵盖游戏多开、深度学习等多种应用场景。通过对比E5 V3与V4系列的制程、功耗及性能差异,提供高性价比的CPU型号推荐及华南X99主板搭配方案,帮助用户在有限预算下打造高效能工作站。

weixin_42549451的博客 1583

Unity+Hybridclr发布WebGL记录

问题不多,比预想中的顺利,如果遇到问题建议先看Hybridclr的常见问题里面有没有解决方案,没遇到Hybridclr的报错,所以记录的问题里面没有Hybridclr相关的。导出设置里的压缩格式选择了Brotli,而服务器或浏览器不支持,据说是可以拓展服务器配置使支持Brotli,但是由于我本人是IIS小白,所以换了种压缩格式,在publishing Settings修改Compression Fromat为Gzip。3.在浏览器运行之后视图一直闪烁。,修改配置,这个网上很常见。

a598211757的博客 1038

【Python网络爬虫案例】python爬虫之模拟登录

在进行数据采集时,有些网站需要进行登录才能获取到所需的数据。本文将介绍如何使用Python爬虫进行模拟登录,以便采集网站的数据。我们提供了完善的方案和代码示例,让你能够轻松操作并获取所需的数据。

左手の明天的博客 2875

RAD Studio 12安装全攻略:从下载到破解InterBase的完整流程(附KeyPatch使用技巧)

本文提供RAD Studio 12的完整安装指南,包括系统要求、安装步骤及InterBase数据库的高效配置方法。详细介绍了如何使用KeyPatch工具进行许可证处理,并分享了IDE优化和开发技巧,帮助开发者快速上手这一强大的跨平台开发工具。

q6r7s8t9的博客 951

Python爬虫——模拟登录

模拟登录现在主要分为两种模式,一种是基于Session和Cookie的模拟登录,一种是基于JWT(JSON Web Token)的模拟登录。

Bruce_xiaowei的博客 6276

大模型——Coze工作流实战:一键生成像素风格视频

本文介绍了如何利用Coze平台工作流生成像素风格心理学短视频的方法。通过创建工作流、设置变量节点、调用大模型生成文案、数据格式化处理、合成音频、生成字幕等步骤,最终实现从输入主题到生成完整视频的自动化流程。文章详细展示了每个节点的具体配置方法,包括提示词编写和数据处理脚本,为读者提供了完整的像素风格视频制作解决方案。

819

走向审计4.0:内部审计数字化转型的路径与方法

企业的内部审计人员可以以数字化为手段,建立内部审计新生态,在数字化过程中引进战略审计、服务审计、开放审计、敏捷审计、数字审计、智慧审计等理念、方法和工具,完成数智生态审计转型。内部审计的审计对象远比国家审计和公众审计丰富和多元化,理论上企业经营管理和日常操作的各个方面都可以成为内部审计的对象,此外还可以开展独立咨询活动。由于内部审计的数字化或数字化的内部审计是实现审计数字化转型的必要条件,是实现“数字引领、数据强审”目标的核心手段,因此企业内部审计部门势必要投入足够的资金和人才来打造一支数字化审计新队伍。

一键难忘的博客 6737

Python 模拟登录网页,或者编写爬虫时模拟登录的详细总结

在 **Network** 选项卡中查找登录请求的 URL,找到需要提交的表单字段(如用户名、密码等),并确认是否需要发送其他隐藏字段,如 `token` 或 `CSRF`(跨站请求伪造)防护码.- **维持会话状态**:网站通常通过 cookies 维持用户的会话状态,模拟登录后可以保持登录状态,以便进行后续的爬取操作,如访问登录后的页面、获取用户数据等.- **更新和维护**:网站的登录机制和页面结构可能会发生变化,定期检查和更新爬虫代码,以适应网站的更新和变化,确保爬虫的稳定性和有效性.

AI 前沿技术实战博客:LLM / Agent / AI 制药 / 生信四大栏目日更,硬核干货 + 可复现代码,看完就能上手 3661

15 君正IPC库开发总结

在前面的章节中,我们介绍了君正ISP、视频采集、音频采集、音频播放、云台电机、移动侦测算法、人形侦测算法、移动跟踪算法等的封装。那么,应用层如何使用这些封装好的接口呢?根据设计模式中的依赖倒置原则:高层次的模块不应该依赖于低层次的模块,它们都应该依赖于抽象。因此,应用层应当只能感知到我们封装的接口类,而不应当感知到其对应的具体实现类。

hope_wisdom的技术博客 1662

浅谈网络爬虫

浅谈网络爬虫 什么是网络爬虫? 爬虫能干什么 搜索引擎 抢票、刷票等自动化软件 部分破解软件 金融等行业数据挖掘、分析数据来源 其他 爬虫很简单 语言的选择 两种语言的小demo 爬虫也不简单 ip、浏览器头(User-Agent)、和cookie限制 需登录的验证码限制、参数限制 JavaScript渲染/ajax加密 爬虫知识储备路线 1.基础语法: 2.正则和爬虫相关库,以及浏览器F12...

bigsai 1万+

RK3568平台开发系列讲解:Linux wifi的调试

查询结果中state为ENABLE,表示hostapd程序启用成功。首先查看设备是否存在。

内核笔记 167

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Python爬虫之selenium,有验证码模拟登录

在学习Selenium之前,通过request.get()或者.post(),很难获取网站所加载的动态数据,通过Selenium强大的自动化功能、多浏览器支持、跨平台支持等优点,让我轻松获取一些之前很难获取的数据,这次的案例也是结合之前的所学知识完成二.感兴趣的话还可以尝试以下其他的网站进行模拟自动登录,以后可以方便的进行各个软件的登录啦,Selenium真是一个强大的测试工具。

Tudective的博客 3742

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Python Requests库实现模拟登录全攻略

本文介绍了使用Python Requests库实现模拟登录的核心技术与实践。主要内容包括:1. 模拟登录的必要性,如获取需身份验证的网页内容;2. Cookie与Session机制的原理及差异,Cookie存储在客户端,Session在服务器端;3. 两种模拟登录方法:直接携带Cookie和使用Session对象维持会话;4. 通过豆瓣网站的实际案例,演示了分析登录URL、构造请求参数、创建会话和验证登录状态的完整流程。文章强调理解状态保持机制的重要性,并展示了Requests库在模拟登录中的高效应用。

2401_89720799的博客 2271

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

爬虫模拟登陆手机验证码_网络爬虫干货总结,这次比较全面!

我从五个方面介绍了利用 Python 进行网络爬虫开发的相关知识点和技巧:抓取解析存储反爬加速目录一、爬取爬取的目标可以大致分为两类:网页、APP对于网页,可以分为两种类别,即服务端渲染客户端渲染对于APP,可以分为四类,即普通接口加密参数接口加密内容接口非常规协议接口(一)网页爬取服务端渲染对于服务端渲染,用一些基本的HTTP请求库就可以实现爬取,如 urllib、urllib3、pycurl、...

weixin_39616880的博客 2228

Python爬虫和反爬虫的斗争

我们常接触的网络爬虫是百度、搜搜、谷歌(Google)等公司的搜索引擎,这 些搜索引擎通过互联网上的入口获取网页,实时存储并更新索引。搜索引擎的基础 就是网络爬虫,这些网...

Python大本营的博客 1万+

chatgpt赋能python:Python爬虫绕过验证码的技巧及实现方法

验证码是一种用于确认用户是否是人类的技术。它由各种形式的数字、字母、符号组合而成,要求用户识别并输入到相应的输入框中。当爬虫脚本遇到验证码时,常常会被阻挡在外无法继续爬取目标网站的数据。因此,破解验证码一直是爬虫技术开发中比较困难的部分。本文由chatgpt生成,文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型,只是展现它原本的实力。对于颠覆工作方式的ChatGPT,应该选择拥抱而不是抗拒,未来属于“会用”AI的人。

tulingtest的博客 2242

Python爬虫学习(十一)下载验证码图片

本文是继前面爬取登录教务系统时,遇到验证码登录的遗留问题探讨! 思路: 下载登录教务系统时的图片,打开读取,人工识别,手动写入再结合账户登录。 目录一、获取验证码图片二、带验证码图片的request模拟登录1、分析2、模拟登陆3、验证结果 一、获取验证码图片 进入 教务系统 找到验证码位置:http://jwgl.cqjtu.edu.cn/jsxsd/verifycode.servlet?...

cungudafa的博客 9046
上一篇: 球的体积公式推导
下一篇: Python爬虫学习笔记二:模拟登录(以API形式调用tesseract识别简单验证码),并打包成执行文件(exe)
TypeCool
博客等级 码龄22年 58粉丝 93原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值