selenium爬取某生活分类网站点击事件后弹出的信息

最新推荐文章于 2024-08-08 21:15:25 发布

原创最新推荐文章于 2024-08-08 21:15:25 发布 · 614 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#selenium

爬虫专栏收录该内容

39 篇文章

订阅专栏

本文介绍如何利用Selenium WebDriver实现自动化登录58同城网站，并执行后续操作如申请职位等。通过Python代码演示了设置浏览器、加载网页、输入账号密码、点击登录、保存和读取cookies的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from selenium import webdriver
import pickle


url='https://bj.58.com/zhuanye/37291869116169x.shtml?'
base_url='https://passport.58.com/login/'

browser=webdriver.Firefox()
browser.get(base_url)
browser.implicitly_wait(10)

#切换密码登录
submit1=browser.find_element_by_class_name('pwdlogin')
browser.execute_script("arguments[0].click();", submit1)
browser.implicitly_wait(20)

#切换到账号密码登录方式

#输入账号
submit2=browser.find_element_by_id('usernameUser').send_keys('******')
browser.implicitly_wait(20)

#输入密码
js = 'document.getElementById("passwordUser").style.display="block";'
browser.execute_script(js)
browser.implicitly_wait(20)
submit3=browser.find_element_by_id('passwordUser').send_keys('*******')
browser.implicitly_wait(20)

#点击登录
submit =browser.find_element_by_class_name('submit')
browser.execute_script("arguments[0].click();", submit)
browser.implicitly_wait(10)
#验证登录是否成功
try:
    browser.find_element_by_class_name('uc-uname')
except:
    print('登录失败')
#保存cookies
pickle.dump(browser.get_cookies(),open("cookies.pkl", "wb"))

#刷新浏览器
browser.refresh()
browser.implicitly_wait(20)

#读取cookies流
cookies = pickle.load(open("cookies.pkl", "rb"))
#构造cookies
for cookie in cookies:
    cookie_dict = {
      # domain火狐浏览器不用填写，谷歌要需要
     'name': cookie.get('name'),
     'value': cookie.get('value'),
     "expires": "",
     'path': '/',
     'httpOnly': False,
     'HostOnly': False,
     'Secure': False}
     #添加cookies
    browser.add_cookie(cookie_dict)

browser.implicitly_wait(20)
#登录目标页面
browser.get(url)#browser.implicitly_wait(20)
browser.implicitly_wait(20)
#点击申请
submit11 =browser.find_element_by_class_name('btn.btn-orange.btn-large.applyJobBtn')
browser.execute_script("arguments[0].click();", submit11)

#弹出的指示框架，选择‘关闭’
submit12 = browser.find_element_by_id('close-guide')
browser.execute_script("arguments[0].click();", submit12)

browser.implicitly_wait(3)
submit13 = browser.find_element_by_class_name('pos_operate_item.showPhoneBtn')
browser.execute_script("arguments[0].click();", submit13)

teacher_tel=browser.find_element_by_xpath('//div[@class="tan"]/p').get_attribute('textContent')
print(teacher_tel)