python使用selenium和chrome自动操作浏览器

本文介绍了一种使用Python的Selenium库抓取百度搜索结果及百度百科页面内容的方法。通过实例演示了如何初始化浏览器驱动、输入搜索关键词、点击搜索按钮、跳转到搜索结果中的指定链接并获取页面源码。
from selenium import webdriver
from time import sleep
from bs4 import BeautifulSoup
url = "http://www.baidu.com"

brower = webdriver.Chrome()
brower.get(url)
brower.find_element_by_id('kw').send_keys('name')
brower.find_element_by_id('su').click()
sleep(3)
#print(brower.page_source)
brower.find_element_by_link_text('name_百度百科').click()
sleep(3)
data = brower.page_source
soup = BeautifulSoup(data,'html.parser')
sleep(2)
d = soup.find('div','c-span18 c-span-last')
print(d.getText())
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值