mechanize模拟登录与爬取数据

最新推荐文章于 2024-08-23 20:18:37 发布

原创最新推荐文章于 2024-08-23 20:18:37 发布 · 275 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#操作系统

爬虫专栏收录该内容

2 篇文章

订阅专栏

本文介绍如何使用Mechanize gem模拟浏览器行为进行网站登录，包括安装Mechanize、设置User Agent、填充并提交表单等步骤。同时讨论了如何保存和加载Cookies以避免重复登录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

（1）mechanize
gem install mechanize
（2）模拟浏览器行为
require "mechanize"
agent = Mechanize.new
agent.user_agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"
# 获得一个page对象
page = agent.get("http:/xxxxxxx/")
form = page.forms[0]
username_field = form.field_with(:name="username")
username_field.value = "xxxxx"
password_field = form.field_with(:name=>"password")
password_field.value = "xxxxxxx"

#提交表单返回一个page
step2_page = agent.submit form
上面就能模拟登录

爬取登录网站的信息
（1）登录之后操作相关页面 current_page等等
（2）保存cookie到一个文件然后直接get登录后才能看到的页面
保存填充登录信息后的cookie，可以save，这样永久保存，以后就可以不用登录了
tmp_cookie1 = agent.cookie_jar
#访问一个新的地址即需要登录的地址之前需要把相应的cookie加载进去
agent.cookie_jar = tmp_cookie1

对于需要验证码的自己没用mechanize做过，用casperjs做过，应该可以自己直接浏览器登录获得他们的cookie然后像第二步一样的方式。也可以登录时获取

解析css使用nokogori