为了visa面签预约学习python爬虫-DAY4

原创 已于 2024-02-28 06:56:57 修改 · 957 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #python #爬虫

于 2024-02-28 06:55:48 首次发布
本文介绍了在爬虫过程中处理验证码、利用cookie保持会话状态以及使用代理应对反爬策略的方法，包括session的使用、不同类型的代理及其匿名度。作者强调了爬虫中的复杂性，如信息定位、验证码识别和IP管理的重要性。
1.验证码

这里对验证码的处理主要是依靠第三方工具：云打码等，由于第三方工具需要付费，且我的目标网站登录时并不需要验证码，因此我并没有在这个地方花太多时间，先略过。

2.cookie

因为https/http协议的特性是无状态，服务器并不知道你的登录状态，但是用户不可能访问网站内每一个页面都需要登录，因此一些基本的信息如用户的登录信息等需要存储在cookie中。而cookie对象是存储、被携带在session对象中的。

爬虫我们需要在request模块中使用session对象：首先要创建session对象：session=requests.Session()，其次使用session对象进行模拟登录post请求，然后用session对目标页面进行get或post请求。可以理解为，使用session对象登录后，对应的cookie会被存储在session对象，而后的每一次请求都会自动带上对应的cookie

3.代理

使用代理是为了应对“封IP”这样的反爬机制

代理的相关网站：快代理     免费私密代理IP_IP代理_HTTP代理 - 快代理   、西祠代理、www.goubanjia.com，还有从gpt那里问到的Free lists of checked proxy servers online – Proxy-Tools.com（我下面的测试代码就是用了这里面的代理地址来进行模拟测试成功的，其他网站找到的免费站点不是超时就是400）

代理IP的匿名度：

-透明：服务器知道该次请求使用了代理

最低0.47元/天 解锁文章
为了visa面签预约学习python爬虫-DAY1
stan_ko的博客
02-17 3391
当你的请求看起来不像是来自一个正常用户的浏览行为时（比如，自动化脚本、某些特定的HTTP头部、高频率的请求等），安全服务可能会阻止这些请求并显示上述的消息。- **使用Selenium**：对于复杂的、需要与JavaScript交互的网站，Selenium 能够模拟真实的浏览器环境，执行登录和预约的动作就像真正的用户一样。1. **状态管理**：Cookies是网站用来在用户的浏览器上存储信息的一种方式，它们允许网站保存和回忆关于用户的信息，比如登录状态、用户偏好设置、购物车内容等。
为了visa面签预约学习python爬虫-DAY2
stan_ko的博客
02-18 1128
2. **换行符问题**：如果`<table>`标签跨越了多行，而正则表达式没有使用`re.DOTALL`标志，`.`字符将不匹配换行符，导致正则表达式无法匹配跨行的标签。这个示例中，`\s+`和`\s*`用于匹配一个或多个、零个或多个空白字符，使得正则表达式能更灵活地匹配HTML中的`<table>`标签，即使属性之间的空格数量不一。3. **HTML内容不完整或有误**：如果HTML内容不完整或者有语法错误，正则表达式可能也会因为无法找到一个正确闭合的`<table>`标签而失败。
tuixue.online-visa：https：tuixue.onlinevisa美国签证预约状态网站的实时显示预约美帝签证各签证处最初时间的爬虫
02-10
美国签证预约时间自动化爬取+推送通知 包含国内以及国外各种地区，目前包含： CGI系统：中国，柬埔寨，新加坡，韩国，越南，巴拿马，澳大利亚，日本，尼泊尔，泰国 AIS系统：英国，加拿大，阿联酋，厄瓜多尔，法国，塞尔维亚，土耳其，希腊，哥伦比亚，墨西哥 总览 整体逻辑为前端服务器定时向蠕虫服务器发送数据请求，拉取到其本地，更新数据库，推送通知。 爬虫服务器使用Django编译，代码位于文件夹下，CGI系统使用纯请求拉取数据，AIS系统由于有recaptcha2，使用请求和Selenium/ xdotool混合模式拉取数据（感谢 ） 前端服务器采用nginx部署，使用python和爬虫服务器进行交互（详见lite_visa.py），和用户交互使用静态html或php 前端服务器采用Nginx部署，使用FastAPI前进行分离，使用python和爬虫服务器进行交互（详见 ），使用mongo存储
为了visa面签预约学习python爬虫-DAY3
stan_ko的博客
02-22 933
**XPath和XSLT支持**：`lxml`提供了对XPath查询的原生支持，使得用户可以使用XPath来进行复杂的查询和数据抓取，还支持XSLT的转换。- **用途**：同样适用于网页数据抓取和处理，特别是当处理需要高性能处理或复杂XML文档时，`lxml`的`etree`模块是一个更好的选择。- **简介**：`lxml`是一个非常高性能的Python库，用于处理XML和HTML文档，其`etree`模块尤其强大，基于C语言编写。
python爬虫之请求（url）构造 —— 寻找参数来源以及中文编码
Kosmoo的博客
10-27 2万+
1. 环境 系统：win7 python：3.6.1 IDE：pycharm 平台：scrapy 2. 目标 按照下图中的下拉列表，构造搜索链接： 在“All”类目下，搜索关键字“phone mount”，请求连接为： https://www.amazon.com/s/ref=nb_sb_noss_2?url=search-alias%3Daps&field-keywords=phone+moun
Python 的 requests 库的用法
墨鱼菜鸡
07-11 594
Python爬虫利器一之Requests库的用法：http://cuiqingcai.com/2556.html Python利用Requests库写爬虫(一)：http://www.jianshu.com/p/e1f8b690b951 Python-第三方库requests详解：http://blog.youkuaiyun.com/shanzhizi/articl...
爬虫初窥day4：requests
weixin_30319097的博客
03-23 121
Requests 是使用Apache2 Licensed许可证的 HTTP 库。用 Python 编写，真正的为人类着想。 Python 标准库中的urllib2模块提供了你所需要的大多数 HTTP 功能，但是它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 在Python的世界里，事情不应该这...
关于《Python绝技：运用Python成为顶级黑客》的学习笔记
Mi1k7ea
06-10 4万+
本篇文章主要把《Python绝技：运用Python成为顶级黑客》中的代码敲一遍，学学Python安全相关的编程与思路，然后根据具体的情况修改一下代码。   第一章——入门 1、准备开发环境 安装第三方库： 安装Python-nmap包：   wget http://xael.org/norman/python/python-nmap/pythonnmap-0.2.4.tar.gz-O...
精选资源
Python VISA -- control GPIB, USB, Serial-开源
04-28
一个Python软件包，带有与“虚拟仪器软件体系结构” VISA库的绑定，以便通过GPIB，RS232或USB控制测量设备和测试设备。 注意：PyVisa的开发已移至github https://github.com/hgrecco/pyvisa。此页面仅具有历史意义！
构建个人学习与工作LLM应用系统的核心运行机制：一种人机协同系统“认知引擎”的架构原理
weixin_41939376的博客
12-28 834
摘要：本文提出构建"人机协同认知引擎"的方法论，旨在将临时性对话升级为可持续复利的认知生产力系统。核心架构包含六层功能：情境层（明确任务背景）、世界模型层（构建个人知识体系）、证据与记忆层（确保可追溯性）、推理与规划层（生成可执行计划）、行动与外部化层（输出实际成果）以及评估与学习层（持续优化）。
PySide6从0开始学习的笔记（十八） MVC（Model-View-Controller）模式的图形渲染体系
xulibo5828的博客
12-26 905
MVC 的核心是数据（Model）- 视图（View）- 控制器（Controller）QGraphicsItem（图元）= Model（模型）：图元是显示的基本单元，它可以是一个圆、一个多边形、一条直线，或者是一个图片，它承载着图形的核心数据与状态（比如坐标、形状、颜色、是否可交互、像素数据等），是 “要渲染的内容本身”，不关心自己如何被显示、在哪显示。QGraphicsView（视图）= View（视图）
个人用云计算学习笔记 --24 虚拟化、KVM 基础使用与热迁移实验、VMware ESXi笔记
iconball的博客
12-26 1097
本文系统介绍了虚拟化技术基础概念、发展历程和主流方案，重点分析了KVM虚拟化的使用方法和热迁移实验。主要内容包括：虚拟化定义及组件（物理机、虚拟机、Hypervisor）；技术演进时间线（1964年IBM大型机到2014年容器技术）；虚拟化类型比较（全/半/硬件辅助）；KVM图形界面和命令行操作指南；以及基于NFS共享存储的热迁移实验环境搭建与实施步骤。文章为读者提供了从虚拟化原理到实践操作的完整知识框架。
学习C#调用OpenXml操作word文档的基本用法（14：学习文档编号定义类）
gc_2299的博客
12-28 611
学习文档编号定义类NumberingDefinitionsPart的主要属性
Android C++ 学习笔记 2
zhuguanlin121的博客
12-28 809
template.cpp template2.cpp exception.cpp exception2.cpp exception3.cpp exception4.cpp exception5.cpp exception6.cpp exception7.cpp exception8.cpp 19th_smartpointer person.cpp person2.cpp person3.cpp person4.cpp person5.cpp person6.cpp person7.cpp person8.c
【AI学习-comfyUI学习-第二十五节-Shuffle洗牌模式布局+contronet其他应用结合-各个部分学习】
qq_22146161的博客
12-27 1234
最近，学习comfyUI，这也是AI的一部分，想将相关学习到的东西尽可能记录下来。不断学习摸索中。
优化分布式系统性能：热key识别与实战解决方案
热门推荐
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
12-28 10万+
热key问题在分布式缓存系统中是一个常见但具有挑战性的难题。有效地发现和处理热key不仅可以提升系统的性能和稳定性，还能显著改善用户体验。本文从热key的定义及其危害出发，深入探讨了热key产生的多种原因，并介绍了几种主流的热key发现解决方案。 通过人为预测，客户端监控，机器层面监控，Redis服务端Monitor以及热点发现系统等多种手段，可以及时识别并处理潜在的热点key。每种解决方案都有其独特的优势和局限性，应根据具体业务场景选择合适的策略进行实施。
【vLLM 学习】Reproduciblity
HyperAI超神经
12-30 159
源码 examples/offline_inference/reproduciblity.py。推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →vllm.hyper.ai/
【安卓学习之myt】git常用命令
任我飞的博客
12-30 505
环境变量 GIT_COMMITTER_DATE 和 GIT_AUTHOR_DATE:改变历史中的时间戳;请注意，修改提交日期可能会对版本历史造成混乱，因此请谨慎使用此命令，并确保只修改个人使用仓库的提交。–no-edit 参数来避免在修改提交时打开编辑器让你更改提交信息。保持原有的提交信息;PS:git commit --amend 命令用于修改最近一次的提交;另外，如果你想要修改的是最近的一次提交日期，也可以使用。PS:–date 参数来指定新的提交日期;-m 选项后面跟的是新的提交信息;
Vue3 学习 6
最新发布
2301_81234761的博客
12-30 280
1.作用：创建一个响应式数据，但只对顶层属性进行响应式处理3.特点：只跟踪引用值的变化，不关心值内部的属性变化1.作用：创建浅响应式对象，只会使对象的最顶层属性变成响应式的，对象内部的嵌套属性则不会变成响应式的3.特点：对象的顶层属性是响应式的，但嵌套对象的属性不是。
python-VISA
01-27
### Python PyVISA库使用指南 #### 安装PyVISA及其依赖项 为了能够利用PyVISA来操作测量设备，需先确保已安装Python环境。之后可通过`pip`工具轻松完成PyVISA及相关组件的安装： ```bash pip install pyvisa pip install pyvisa-py ``` 上述命令分别用于安装PyVISA核心包以及pyvisa-py作为替代性的纯Python VISA实现[^1]。 #### 配置与初始化 一旦安装完毕，便可以在程序中导入并配置PyVISA资源管理器实例。这一步骤对于后续连接至具体硬件至关重要： ```python import pyvisa rm = pyvisa.ResourceManager() print(rm.list_resources()) ``` 此段代码创建了一个ResourceManager对象，并打印当前计算机可访问的所有仪器列表[^3]。 #### 控制外部设备 假设目标是向地址为`GPIB0::22::INSTR`的特定仪器发送指令，则可以按照如下方式编写交互逻辑： ```python inst = rm.open_resource('GPIB0::22::INSTR') inst.write('*IDN?') # 发送查询身份识别字符串命令给仪器 response = inst.read() # 获取来自仪器的回答 print(response.strip()) # 输出不带多余空白符的结果 ``` 这段简单的例子展示了如何打开指定路径下的资源、执行写入操作并向该装置请求反馈信息[^4]。 #### 进阶应用案例 除了基本读/写功能外，PyVISA还支持更复杂的场景，比如批量处理多条命令或设置超时参数等高级特性。下面是一个稍微复杂一点的应用示范： ```python from time import sleep with rm.open_resource('USB0::0x1AB1::0x04CE::DS8A23456789::INSTR', open_timeout=5000) as scope: scope.clear() # 清除任何先前存在的错误队列 for i in range(5): scope.write(f':MEASure:FREQuency CHANnel{i+1}') freq = float(scope.query(':FETCH?')) print(f'Channel {i + 1} frequency is {freq:.2f} Hz') if not (1e3 <= freq <= 1e6): # 如果频率不在合理范围内则中断测试 break sleep(1) # 等待一秒再继续下一个通道 ``` 这里采用上下文管理器(`with`)语法简化了资源关闭过程；同时加入了循环结构和条件判断语句使整个流程更加灵活可控。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值