Python爬虫学习笔记一:模拟登录(人工输入简单验证码)

Python爬虫入门与登录验证自动化思路 Python爬虫是通过编写程序自动访问网页并提取信息的技术,常用于数据抓取、信息分析和自动化测试。然而,爬虫开发中最具挑战性的是处理网站的登录验证,尤其是图片验证码。为了应对这一问题,开发者可以采用半自动化或全自动化的方式,利用打码平台自动识别验证码,并通过Selenium工具模拟用户操作。 阅读详情

# -*- coding: utf-8 -*-

import requests, base64, re
from PIL import Image
from io import BytesIO

def logon():
    loginUrl = 'http://############/login.do?method=enterbs'  #登陆提交地址
    imgUrl = 'http://############/form/digitalverify.jsp'     #验证码获取地址
    s = requests.session() #建立一个会话
    res = s.get(imgUrl, stream=True) #获取验证码图片
    im = Image.open(BytesIO(res.content))
    im.show() #显示验证码
    code = input() #人工输入正确的验证码

    #用户名、密码进行转码(根据网站要求)
    loginId = "############"
    password = "############"
    base64_loginId_utf_8 = base64.b64encode(loginId.encode('utf-8'))
    base64_password_utf_8 = base64.b64encode(password.encode('utf-8'))
    ID = re.findall(r'b\'(.*)\'', str(base64_loginId_utf_8)) #进过转码后会出现标志符号b',这里处理掉它
    PWD = re.findall(r'b\'(.*)\'', str(base64_password_utf_8))
    str_loginId_utf_8 = ID[0]
    str_password_utf_8 = PWD[0]

    #构建POST数据并提交
    postData = {'loginId': str_loginId_utf_8,
                'password': str_password_utf_8,
                'vericode': code}
    rs = s.post(loginUrl, postData)

    url = 'http://############/projectInfo.do?method=#######' #登陆成功后的展示地址
    res = s.get(url)

    print(res.text)

if __name__ == '__main__':
    logon()

Python3 爬虫 模拟登录验证码处理 在线验证码识别 阅读详情

相关推荐

python爬虫豆瓣网的模拟登录实现

这篇文章主要介绍了python爬虫豆瓣网的模拟登录实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧 思路 一、想要实现登录豆瓣关键点 分析真实post地址 ----寻找它的formdata,如下图,按浏览器的F12可以找到 实战操作 实现:模拟登录豆瓣,验证码处理,登录到个人主页就算是success 数据:没有抓取数据,此实...

python爬虫教程 4838

爬虫之模拟登录--验证码+cookies+session

目录验证码识别概念模拟登录cookies概念处理方法session会话cookies的存储与读取存储读取代码示例 验证码识别 概念 一种反爬机制。需要识别图片中的数据,用于模拟登录操作。 识别验证码图片的操作: 1、人工肉眼识别,不推荐 2、第三方自动识别 ① 云打码 () 流程: 1、将验证码图片进行本地下载 2、调用平台提供的示例代码进行图片数据识别 模拟登录 爬取基于某些用户的数据。 需求:对人人网进行模拟登录。 进行登录操作,经分析发现: 1、点击登录按钮会发起一个post请求 2、post请求中会

Xi_You_Zi的博客 3747

网站模拟登录总结

目录                                            网站模拟登录总结 一、环境 二、简介 三、模拟登录网站 1、拉勾网模拟登录 2、优快云模拟登录 3、微博模拟登录                                            网站模拟登录总结 一、环境     window7系统     python3语...

sinat_40557813的博客 1万+

Python爬虫如何处理验证码与登录

登录验证:许多网站要求用户登录后才能访问某些页面,因此爬虫也需要具备模拟用户登录的功能,提交正确的用户名和密码后才可以继续抓取登录后的数据。验证码:验证码通常用来防止自动化行为,比如识别出用户是否为真人。验证码常见的形式有图片验证码、滑动验证码、短信验证等。对于爬虫,处理验证码可能会比较复杂,因为它们通常要求图像识别或者第三方服务的协助。在 Python 爬虫中处理登录和验证码是常见的难题。图片验证码:可以使用 OCR 技术识别,也可以通过第三方平台自动识别。滑动验证码。

chusheng1840的博客 7401

Python爬虫之模拟知乎登录的方法教程

@本文来源于公众号:csdn2299,喜欢可以关注公众号 程序员学府 文章目录前言登录原理实战应用获取 xsrf获取验证码登录auto_login.py 示例代码 在爬虫过程中,有些页面在登录之前是被禁止抓取的,这个时候就需要模拟登陆了,下面这篇文章主要给大家介绍了利用Python爬虫模拟知乎登录的方法教程,文中介绍的非常详细,需要的朋友可以参考借鉴,下面来一起看看吧。 前言 对于经常写爬虫的大家都知道,有些页面在登录之前是被禁止抓取的,比如知乎的话题页面就要求用户登录才能访问,而 “登录” 离不开 HTT

python基础学习教程 3188

python3爬虫验证码识别——超级鹰打码平台的使用&实战:识别古诗文网登录页面中的验证码

一、验证码和爬虫之间的爱恨情仇? 反爬机制:验证码.识别验证码图片中的数据,用于模拟登陆操作。 二、识别验证码的操作: 人工肉眼识别。(不推荐) 第三方自动识别(推荐) - 超级鹰打码:https://www.chaojiying.com/ 超级鹰打码平台的使用流程: 1. 注册: 2. 登录: 查询该用户是否还有剩余的题分 创建一个软件:超级鹰首页>用户中心>软件ID>生成一个软件ID>录入软件名称>提交(软件id和秘钥) 下载示例代码:开发文档>

zep 7952

爬虫之登陆验证

运行爬虫抓取某些网站的时候,经常会碰到需要登陆验证(输入账号、密码)之后才能获取数据的情况。那么问题来了,如何完成登陆验证呢?下面以itunes为例大概总结两种方法。主要使用工具为python/java、selenium、phantomjs或firefox/chrome等浏览器. 一 python urllib2库的简单介绍 本人之前主要使用java进行外部数据获取,用的工具包httpclie

u011747443的专栏 3万+

DeepSeek绝了!3分钟生成PPT,专治“五彩斑斓的黑“!!(保姆教程)

DeepSeek绝了!3分钟生成PPT,专治"五彩斑斓的黑"!!(保姆教程)

yizhen91y的博客 4万+

python爬虫之模拟登录

python爬虫中模拟登录中的验证码识别以及cookie和代理的简单介绍

qimo__的博客 3276

开源多波束声呐数据集:从原始回波到AI识别的关键一步

本文探讨了开源多波束前视声呐数据集(UATD)在AI目标识别中的关键作用。通过分析原始回波数据与处理后数据的差异,揭示了开源数据集如何降低研究成本、提升实验可重复性,并加速技术迭代。文章还详细解析了UATD数据集的结构、实战应用技巧及从原始数据到AI模型的完整流程,为水下目标识别研究提供了宝贵参考。

weixin_28675839的博客 422

AD20 Channel-Offset Error 解决办法

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言AD20 PCB相同电路模块ROOM格式复用时出现 Channel-Offset Error 解决办法一、问题现象二、解决办法 前言 AD20 PCB相同电路模块ROOM格式复用时出现 Channel-Offset Error 解决办法 一、问题现象 我们经常在使用Room格式快速布局相同模块电路时出现以下问题, 二、解决办法 相同模块电路PCB布局复制的过程网上有很多,这里不再做赘述,步骤都差不多,只说问题根源; 1:.

m0_47201213的博客 7629

【Python网络爬虫案例】python爬虫之模拟登录

在进行数据采集时,有些网站需要进行登录才能获取到所需的数据。本文将介绍如何使用Python爬虫进行模拟登录,以便采集网站的数据。我们提供了完善的方案和代码示例,让你能够轻松操作并获取所需的数据。

左手の明天的博客 2875

手把手教你用STM32H743+FreeRTOS+LWIP搭建物联网网关(附完整工程)

本文详细介绍了如何使用STM32H743微控制器结合FreeRTOS实时操作系统和LWIP协议栈构建高性能物联网网关。内容涵盖硬件配置、FreeRTOS任务设计、LWIP协议栈优化及物联网协议集成,提供完整工程示例,助力开发者快速实现稳定可靠的网络通信枢纽。

weixin_42623010的博客 503

Python爬虫——模拟登录

模拟登录现在主要分为两种模式,一种是基于Session和Cookie的模拟登录,一种是基于JWT(JSON Web Token)的模拟登录。

Bruce_xiaowei的博客 6276

银河麒麟V10系统grub崩溃急救指南:从光盘救援到完整恢复(附常见错误排查)

本文详细介绍了银河麒麟V10系统grub崩溃的急救方法,从使用安装光盘进入救援环境到完整恢复系统的全流程。针对不同损坏程度(轻度、中度、严重)提供了分级恢复策略,包括grub2-install和grub2-mkconfig等关键命令的使用,并附有常见错误排查表,帮助用户快速解决引导问题。

weixin_30955617的博客 483

Swin Transformer 与 CNN 结合实现图像分类

Swin Transformer 与 CNN 结合实现图像分类。(含swin transformer 结构讲解,cnn网络搭建,代码)

这里是Mae。 5027

Python 模拟登录网页,或者编写爬虫时模拟登录的详细总结

在 **Network** 选项卡中查找登录请求的 URL,找到需要提交的表单字段(如用户名、密码等),并确认是否需要发送其他隐藏字段,如 `token` 或 `CSRF`(跨站请求伪造)防护码.- **维持会话状态**:网站通常通过 cookies 维持用户的会话状态,模拟登录后可以保持登录状态,以便进行后续的爬取操作,如访问登录后的页面、获取用户数据等.- **更新和维护**:网站的登录机制和页面结构可能会发生变化,定期检查和更新爬虫代码,以适应网站的更新和变化,确保爬虫的稳定性和有效性.

AI 前沿技术实战博客:LLM / Agent / AI 制药 / 生信四大栏目日更,硬核干货 + 可复现代码,看完就能上手 3661

改进后的yolov8导出进行部署到rk3588上时,导出为onnx格式报错aten::fft_fft2算子不支持导出...如何解决?

🏆本文收录于《全栈Bug调优(实战版)》专栏,主要记录项目实战过程中所遇到的Bug或因后果及提供真实有效的解决方案,希望能够助你一臂之力,帮你早日登顶实现财富自由🚀;同时,欢迎大家关注&&收藏&&订阅!持续更新中,up!up!up!! 备注:部分问题/疑难杂症搜集于互联网。

**My Coding Family** 1798

浅谈网络爬虫

浅谈网络爬虫 什么是网络爬虫? 爬虫能干什么 搜索引擎 抢票、刷票等自动化软件 部分破解软件 金融等行业数据挖掘、分析数据来源 其他 爬虫很简单 语言的选择 两种语言的小demo 爬虫也不简单 ip、浏览器头(User-Agent)、和cookie限制 需登录的验证码限制、参数限制 JavaScript渲染/ajax加密 爬虫知识储备路线 1.基础语法: 2.正则和爬虫相关库,以及浏览器F12...

bigsai 1万+

立项书8分钟定生死?手把手教你用ChatGPT辅助打造高水平申报书,让评审专家一看就想打高分!

宏大叙事、空话堆砌只会让评审绕晕,不如聚焦一个具体问题,拿出清晰的研究路径、扎实的设计方案,把“我想做什么、为什么做、打算怎么做”讲明白。对评审来说,关键不在你读了多少,而在你能否看清领域的共识、争议和空白,GPT的作用就在于帮你理清研究脉络,发现问题结构,聚焦那些还没被充分讨论的变量或方法,去提升综述的深度。之前要用到ProcessOn、Draw.io等工具画流程图,现在有了ai虽然方便了,但也需要多次调教,如果嫌麻烦,七哥给大家准备了课题申报常用的流程图,技术路线图,方便大家直接拿来编辑填空使用。

智能AI让学术科研更容易 291

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Python爬虫之selenium,有验证码模拟登录

在学习Selenium之前,通过request.get()或者.post(),很难获取网站所加载的动态数据,通过Selenium强大的自动化功能、多浏览器支持、跨平台支持等优点,让我轻松获取一些之前很难获取的数据,这次的案例也是结合之前的所学知识完成二.感兴趣的话还可以尝试以下其他的网站进行模拟自动登录,以后可以方便的进行各个软件的登录啦,Selenium真是一个强大的测试工具。

Tudective的博客 3742

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Python Requests库实现模拟登录全攻略

本文介绍了使用Python Requests库实现模拟登录的核心技术与实践。主要内容包括:1. 模拟登录的必要性,如获取需身份验证的网页内容;2. Cookie与Session机制的原理及差异,Cookie存储在客户端,Session在服务器端;3. 两种模拟登录方法:直接携带Cookie和使用Session对象维持会话;4. 通过豆瓣网站的实际案例,演示了分析登录URL、构造请求参数、创建会话和验证登录状态的完整流程。文章强调理解状态保持机制的重要性,并展示了Requests库在模拟登录中的高效应用。

2401_89720799的博客 2271

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

爬虫模拟登陆手机验证码_网络爬虫干货总结,这次比较全面!

我从五个方面介绍了利用 Python 进行网络爬虫开发的相关知识点和技巧:抓取解析存储反爬加速目录一、爬取爬取的目标可以大致分为两类:网页、APP对于网页,可以分为两种类别,即服务端渲染客户端渲染对于APP,可以分为四类,即普通接口加密参数接口加密内容接口非常规协议接口(一)网页爬取服务端渲染对于服务端渲染,用一些基本的HTTP请求库就可以实现爬取,如 urllib、urllib3、pycurl、...

weixin_39616880的博客 2228

Python爬虫和反爬虫的斗争

我们常接触的网络爬虫是百度、搜搜、谷歌(Google)等公司的搜索引擎,这 些搜索引擎通过互联网上的入口获取网页,实时存储并更新索引。搜索引擎的基础 就是网络爬虫,这些网...

Python大本营的博客 1万+

chatgpt赋能python:Python爬虫绕过验证码的技巧及实现方法

验证码是一种用于确认用户是否是人类的技术。它由各种形式的数字、字母、符号组合而成,要求用户识别并输入到相应的输入框中。当爬虫脚本遇到验证码时,常常会被阻挡在外无法继续爬取目标网站的数据。因此,破解验证码一直是爬虫技术开发中比较困难的部分。本文由chatgpt生成,文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型,只是展现它原本的实力。对于颠覆工作方式的ChatGPT,应该选择拥抱而不是抗拒,未来属于“会用”AI的人。

tulingtest的博客 2242

Python爬虫学习(十一)下载验证码图片

本文是继前面爬取登录教务系统时,遇到验证码登录的遗留问题探讨! 思路: 下载登录教务系统时的图片,打开读取,人工识别,手动写入再结合账户登录。 目录一、获取验证码图片二、带验证码图片的request模拟登录1、分析2、模拟登陆3、验证结果 一、获取验证码图片 进入 教务系统 找到验证码位置:http://jwgl.cqjtu.edu.cn/jsxsd/verifycode.servlet?...

cungudafa的博客 9046
上一篇: 球的体积公式推导
下一篇: Python爬虫学习笔记二:模拟登录(以API形式调用tesseract识别简单验证码),并打包成执行文件(exe)
TypeCool
博客等级 码龄22年 58粉丝 93原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值