[python爬虫]selenium+PhantomJS模拟登陆

最新推荐文章于 2022-07-19 20:41:49 发布

努力小菜籽

最新推荐文章于 2022-07-19 20:41:49 发布

阅读量8.8k

点赞数

分类专栏： python 文章标签： python 爬虫

本文链接：https://blog.youkuaiyun.com/sinat_31360161/article/details/51436994

版权

本文介绍了如何利用selenium和PhantomJS进行模拟登录，以获取扇贝单词中特定分类下热门小组成员收藏最多的单词书。尽管这种方法较慢，但能有效避开后台通信。示例展示了获取雅思单词书推荐的过程，并指出由于仅基于雅思小组成员的收藏，结果可能不够精确，但仍有参考价值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

selenium+PhantomJS来做爬虫的话可以做到完全模拟浏览器的操作，就避开了很多后台的通信，过程会简单很多，很多web自动化测试也是用selenium来做的呢，但是这样的缺点就是慢，运行过程中体会很深刻。。。

今天做的依然是模拟登陆扇贝单词，获取某个分类下被热门小组中的成员们收藏次数最多的单词书，比如我需要雅思方面的单词书推荐，那么运行一下代码就可以获得最受欢迎的几本书啦。（扇贝单词虽然可以分类搜索单词书，但是貌似还没有按热门程度排序功能）

需要注意的是要把phantomjs.exe放在我们的代码同级目录下。其中涉及到一些selenium的基本操作，都是很简单的，比如通过class或者xpath找到网页中某个元素，向其中输入一些值，点击某个按键，总之就是完全模拟人在操作浏览器。

直接放上代码：

# -*- coding: utf-8 -*-
"""
Created on Mon May 16 16:38:00 2016

@author: DJ
"""

import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import time
from selenium import webdriver

driver =webdriver.PhantomJS(executable_path="phantomjs.exe")
driver.get("https://www.shanbay.com/accounts/login/")
elem_user = driver.find_element_by_xpath('//*[@id="id_usernam

最低0.47元/天解锁文章