我的反爬解决方案（2）—— 模拟登陆

最新推荐文章于 2024-11-14 09:26:15 发布
最新推荐文章于 2024-11-14 09:26:15 发布
阅读量1.4k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Python 爬虫 反爬 文章标签： 爬虫 反爬 模拟登陆
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/IMW_MG/article/details/99244334
本文介绍了一个针对常见网站的模拟登陆项目，包括账号密码明文提交、加密提交、验证码处理等不同登录方式。作者强调了模拟登陆在爬虫中的重要性，如处理反爬机制、增加采集数据量，并提供了登陆思路：分析加密、构造会话、处理验证码等。项目持续维护，旨在为爬虫开发者提供帮助。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

项目地址

常见站点模拟登陆(长期维护)：https://github.com/IMWoolei/fuck-login

前言

爬虫的任务不仅仅是采集数据，自动刷访问量、自动发布内容等都属于爬虫所涉及的范围。

而完成自动刷访问量、发布这些功能往往都需要在登陆状态下进行，另外HTTP是无连接\无状态的，所以实现登陆的目的是在本地生成Cookies，以记录本次会话状态。

另外携带Cookies的请求，可以在爬虫中解决一些反爬机制、采集数据量有限的问题，如在知乎信息采集中缺少Cookies会无法获取目标信息，采集搜狗微信时未登陆情况下只能请求前10页…

常见登陆方式

  • 账号密码明文提交，不做任何加密，如GitHub、豆瓣、优快云(现在已更新了)等站点；

  • 账号密码进行加密或JS生成附带信息，如SHA1、MD5、HMAC、AES、Base64等多种加密方式，如搜狐新闻，拉勾网；

  • 额外需要提交验证码信息，多数站点都会选择这种方式，bilibili的极验、搜狗微信的数字字母、知乎的中文汉字等；

  • 预登陆操作，即登陆之前首先向服务器获取登陆信息，用于构造本次登录，如新浪微博；

  • 等等…

最低0.47元/天 解锁文章

200万优质内容无限畅学
python爬虫（四）cookie模拟登录和反反爬案例
hwwaizs的博客
08-11 5071
处理不被信任证书的网站 SSL证书：数字证书的一种，配置在服务器上面的，类似于驾驶证、护照和营业执照的电子副本。因为配置在服务器上，也称为SSL服务器证书。 SSL证书的特点：遵循了SSL协议，由收信任的数字证书颁发机构CA，验证身份之后颁发的证书，同时具有服务器身份验证和数据传输加密功能。 SSL证书的发展历程： 为啥网站会出现SSL证书？ 具有服务器身份验证和数据传输加密的功能，https是http的安全版本，是在http的基础上添加的安全阶层（ssl层），https在传输的时候，就有ssl加密和解密的
Python爬虫实战——反爬策略之模拟登录【优快云】
WoLykos
12-23 2105
在《Python爬虫实战—— Request对象之header伪装策略》中，我们就已经讲到：“在header当中，我们经常会添加两个参数——cookie 和 User-Agent，来模拟浏览器登录，以此提高绕过后台服务器反爬策略的可能性。” User-Agent已经讲过，这篇我们则主要讲cookie的使用案例。 通俗地讲：User-Agent的作用是模拟浏览器，cookie的作用是模拟登陆，所以...
网络爬虫反反爬小技巧（四）模拟登录
handsome-h的博客
12-11 1149
在很多情况下，一些网站的页面需要登录才能看到，这个时候我们往往就需要模拟登录了。 登录一般需要两个内容：用户名和密码，有的网站可能是手机号和验证码，有的是微信扫码，有的是 OAuth 验证等等，但根本上来说，都是把一些可供认证的信息提交给了服务器，然后服务器返回一个“凭证”。这个“凭证“”的生成和验证目前比较流行的实现方式有两种： 第一种：Session 和 Cookies 实现方式：方式一：Cookies 里面只存了 Session ID ，服务器能根据 Cookies 找到对应的 Session；
模拟登录，向远程服务器上传文件的三个解决方案
小菜鸟
08-15 288
在实际的开发中，我们会遇到上传本地的文件到远程的服务器，今天遇到这个问题做个简单的分享。 主要主要分享常见的三种方式。 1. Spring 的RestTemplate 。 2. java使用HttpURLConnection上传文件到远程服务器 (分为客户端和服务端，客户端负责上传，服务端负责接收文件) 3. java使用HttpClient通过Post...
爬虫之 cookie ， 验证码，模拟登陆，线程
a8830324的博客
08-05 712
需求文档的定制 糗事百科的段子内容和作者（xpath的管道符）名称进行爬取，然后存储到mysql中or文本 http://sc.chinaz.com/jianli/free.html爬取简历模板 HTTPConnectionPool（host:XX）Max retries exceeded with url。 原因： 1.当你在短时间内发起高频请求的时候，h...
新浪微博爬虫模拟登录（爬手机版）
fendoudexiaomogui的博客
03-12 2952
新浪微博爬虫模拟 最近一直在想做新浪微博爬取，开始的时候做了一个PC版的爬取，但是发现提取内容真心难过所以在这里爬了手机版的话不多说，show you my code 这个可以提取固定人微博内容，接下来的工作是要放入到mysql提取大量内容做一些聚类分析，这个验证码是要自己输入的，等我把验证码自动识别那部分做好后再来补充，下面是微博内容爬取#-*-coding:utf8-*-import reques
【笔记】软件测试09——接口测试
PD137的博客
10-26 1250
常用正则表达式符号的使用获取指定内容最常用的一个正则表达式.*?的使用对于有换行符的字符串的处理Apifox。
Python3编写实用脚本程序-自动登陆邮箱.zip
05-23
无论是自动化登录邮箱进行日常管理，还是抓取网络数据进行分析，Python都能提供强大的解决方案。通过学习和理解这两个脚本，开发者不仅可以提升Python编程技能，还能掌握网络请求、网页解析和自动化任务处理的关键...
反爬虫机制
萤火之光
01-23 7376
反爬虫机制 爬虫进阶 登陆 1.1 表单登陆 1.2 cookie 登陆 Scrapy模拟登陆 1.3 验证码登陆 1.3.1 验证码识别 对于网站有验证码的情况，我们有三种办法： 使用代理，更新IP； 使用cookie登陆； 验证码图片识别： 1）利用开源的Tesseract-OCR系统进行验证码图片 的下载及识别，再将识别的字符传到爬虫系统进行模拟登陆。 2）将验证码
nginx配置代理，包含Cookie，模拟登录
lovewebeye的专栏
11-12 5294
加入下面的配置, 主要配置允许跨域访问，以及设置代理Cookie， 重点参数：proxy_set_header Cookie / Access-Control-Allow-Origin/ Access-Control-Allow-Credentials location / {    proxy_pass http://www.baidu.com    proxy_set_header C...
PHP 用CURL 在linux系统nginx服务器下面模拟登陆微信
微信公众平台开发
03-29 1399
PHP 用CURL 在linux系统nginx服务器下面模拟登陆微信公众平台 核心代码如下： //add by QQ 1006440989 $c = curl_init(); curl_setopt($c, CURLOPT_URL, $url); curl_setopt($c, CURLOPT_COOKIE, GetWeiXinCookie::$cookie); cu
反爬虫介绍及其处理方法
几许的博客
12-18 4094
Headers反爬虫 ：Cookie、Referer、User-Agent解决方案: 在浏览器控制台（F12打开）获取请求头（headers）中的对应参数，通过requests库请求该站点时携带这些参数即可IP限制 ：网站根据IP地址访问频率进行反爬,短时间内限制IP访问解决方案:构造自己IP代理池,每次访问随机选择代理,经常更新代理池购买开放代理或私密代理IP降低爬取的速度User-Agent限制 ：类似于IP限制。
Nginx怎么限制浏览器访问
Flying_Fish_roe的博客
11-14 1625
使用HTTP Basic认证：通过添加如下配置来启用HTTP Basic认证其中，是存储用户名和密码的文件路径，可以使用htpasswd命令创建和管理该文件。使用IP限制：通过添加如下配置来限制特定IP访问deny all;其中，是要允许访问的IP地址范围。使用HTTP Referrer限制：通过添加如下配置来限制只允许特定来源的访问return 403;其中，是允许访问的来源。使用User-Agent限制：通过添加如下配置来限制只允许特定User-Agent的浏览器访问。
爬虫进阶-反爬破解1（反爬技术简介、HTTP网络基础知识、搭建代理服务）
liyunyang2000的博客
05-30 1792
爬虫进阶-反爬破解1（反爬技术简介、HTTP网络基础知识、搭建代理服务）
爬虫心得 appium
yuange
01-06 2322
selenium是web端的自动化，appium是app端的自动化，它继承了webdriver(也就是selenium 2) Appium入坑前必看，附爬虫心得 Appium入坑前必看，附爬虫心得前言： 首先声明一点，在爬任何数据的时候，一定不要先考虑用Appium, 个人建议开始爬虫前正确的做法应该是：1.去百度和谷歌搜下这个网站有没有人分享出你要爬数据的API2.看看电脑网页有没有你要的数据，调查下好不好拿，不管好不好拿，也不要急着就开爬3.看看有没有电脑能打开的手机网站，一般格式为http:/
爬虫系列 --- 反爬机制和破解方法汇总
weixin_30500663的博客
02-28 1087
反爬机制和破解方法汇总 一什么是爬虫和反爬虫？ 爬虫：使用任何技术手段，批量获取网站信息的一种方式。 反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。 二 Headers and referer 反爬机制 *headers进行反爬是最常见的反爬虫策略。 *还有一些网站会对 Referer （上级链接）进行检测（机器行为不太可能通过链接跳转实现） ...
网络爬虫07: Selenium库详解
jack_970124的博客
09-07 234
Selenium 1.什么是Selenium 自动化测试工具，支持多种浏览器，爬虫中主要用来解决Javascript渲染的问题 2.安装selenium pip3installselenium 3.安装webdriver 查了半天，找到下载地址： ...
自动化爬取json_爬虫解决方案之爬取“搜狗引擎”
weixin_33401529的博客
01-13 576
主题.jpg1.爬取的背景为甚我们会提到“搜狗引擎爬虫呢”，一切根源来自于最近需要爬取领英的会员资料，我们可以通过人名 | 领英的方式具体的搜索以查询结果，这只是爬取领英的其中一个方法，具体的方法我们之后会讲，大家可以期待一下哦！，好了，讲回正题，我们该如何爬取“搜狗引擎”呢，我们先去首页看看搜狗首页.png我们可以看到每个链接的右下角都会有对应的时间和快照，这个是什么意思呢，因为我们爬取领英时需...
python3 requests 模拟登录状态的两种方式
热门推荐
小桔的博客
06-05 1万+
模拟登录状态，即与cookie和session有关。 cookie是用户登录后，服务器返回给客户端的，客户端保存cookie后，可以方便的进行登录；session是服务端用以鉴定用户是否处于登录状态的一种机制（常见的是请求中加入sid）。 我遇到的情况是： cookie的保存可以用使用某个请求的cookies方法来获得（也是通用的）； sid是登录接口中接口返回的一个字段，可以使用json...
python爬取微博评论信息数据采集与清洗结课论文
最新发布
06-10
<think>嗯，用户想要关于Python爬取微博评论并做数据采集清洗的结课论文资料。这个问题需要结合系统级指令和用户的具体需求来处理。用户引用了三篇资料：第一篇是关于微博数据可视化的，第二篇讲Scrapy爬虫框架，第三篇涉及旅游评论爬取。虽然这些不是直接匹配的，但技术点很相关。尤其第二篇的Scrapy性能优化和第三篇的数据清洗流程特别有用。考虑围绕这些技术点构建回答。需要强调微博爬虫的特殊性——登陆验证和反爬机制比普通网站更严格。准备用Requests+Selenium方案，因为微博的滑动验证码用纯Requests很难突破。数据清洗部分可以借鉴第三篇的文本处理流程，但要注意微博评论特有的表情符号转换问题。在回复结构上要遵循系统指令：数学公式用$包裹，代码块独立显示。关键算法如TF-IDF和情感分析需要用行内公式标注，比如情感值计算可以写成$S=\frac{\sum_{i=1}^nw_i\cdots_i}{\sum_{i=1}^nw_i}$[^3]。每个技术环节都要标注引用来源。关于论文框架建议，考虑到是结课作业，准备突出可操作性。避免建议分布式爬虫之类超纲内容，聚焦登录模拟、JSON解析和pandas清洗这类基础技能。在后续问题设计时留出拓展空间，比如问法律边界或动态加载处理，方便用户后续深入。</think> 针对微博评论爬虫及分析的结课论文实现方案，结合参考资料的核心技术点，建议参考以下框架实现： ### 1. 爬虫系统设计（需突破登录验证） ```python import requests from selenium import webdriver from bs4 import BeautifulSoup def weibo_login(): # 使用Selenium模拟登录（解决动态验证码问题） driver = webdriver.Chrome() driver.get("https://passport.weibo.cn/signin/login") driver.find_element("id","loginName").send_keys("your_username") driver.find_element("id","loginPassword").send_keys("your_password") driver.find_element("id","loginAction").click() return driver.get_cookies() # 获取登录凭证 def crawl_comments(weibo_id, cookies): headers = {"User-Agent": "Mozilla/5.0", "Cookie": "; ".join([f"{k}={v}" for k,v in cookies])} url = f"https://weibo.com/ajax/statuses/repoostTimeline?id={weibo_id}&page=1" response = requests.get(url, headers=headers) return response.json()["data"] # 直接解析API返回的JSON数据 ``` *技术要点*： - 使用Selenium解决动态登录验证问题[^2] - 通过开发者工具捕获AJAX接口（如`/ajax/statuses/repoostTimeline`） - 直接解析JSON格式数据（非HTML解析） ### 2. 数据清洗关键步骤 ```python import jieba import pandas as pd import re def clean_data(comments): df = pd.DataFrame(comments) # 1. 过滤空值 df = df[df['text'].notnull()] # 2. 去除HTML标签及特殊字符 df['clean_text'] = df['text'].apply( lambda x: re.sub(r'<[^>]+>|【[^】]+】|#\S+#|@\S+\s?|[^\w\s]', '', x) ) # 3. 中文分词处理 df['seg_text'] = df['clean_text'].apply( lambda x: ' '.join(jieba.cut(x, cut_all=False)) ) return df[['created_at', 'user', 'seg_text']] ``` *清洗逻辑*： - 正则过滤话题标签（如`#xx话题#`）和@用户标记[^3] - 移除转发标记（如`【@用户名】`） - 基于结巴分词实现中文语义分割[^1] ### 3. 分析模块示例（情感分析） ```python from snownlp import SnowNLP def sentiment_analysis(df): sentiments = [] for text in df['clean_text']: s = SnowNLP(text) sentiments.append(s.sentiments) # 情感值(0-1) df['sentiment'] = sentiments # 可视化情感分布 df['sentiment'].hist(bins=10) plt.title('微博评论情感分布') plt.show() return df.groupby('user')['sentiment'].mean() # 用户平均情感值 ``` *分析维度*： - 基于SnowNLP的情感值计算$S=\frac{1}{n}\sum_{i=1}^{n} sentiment_i$[^1] - 用户情绪画像（情绪极性均值） - 时间维度情绪演化（结合`created_at`字段） ### 4. 论文结构建议 ```markdown ├─ 第一章 绪论 │ ├─ 1.1 微博评论的价值分析（引用[^1][^3]） │ └─ 1.2 现有爬虫技术的局限（反爬机制） ├─ 第二章 关键技术 │ ├─ 2.1 Scrapy爬虫框架优化（引用[^2]） │ └─ 2.2 中文文本处理流程 ├─ 第三章 系统实现 │ ├─ 3.1 评论数据采集（需附登录验证流程图） │ └─ 3.2 数据清洗算法（正则/分词原理） ├─ 第四章 数据分析 │ ├─ 情感分布直方图 │ └─ 用户情绪画像表格 └─ 第五章 总结 └─ 5.2 法律合规性说明（数据脱敏要求） ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值