Python爬虫-4 selenium

selenium

支持通过各种driver(FirfoxDriver,IternetExplorerDriver,OperaDriver,ChromeDriver)驱动真实浏览器完成测试。selenium也是支持无界面浏览器操作的。
使用selenium+chromedriver模拟浏览器行为获取数据
selenium相当于是一个机器人。可以模拟人类在浏览器上的一些行为,自动处理浏览器上的一些行为,比如点击,填充数据,删除cookie等。chromedriver是一个驱动Chrome浏览器的驱动程序,使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。以下列出了不同浏览器及其对应的driver:

安装

pip install selenium
chromedriver是需要去网上下载的,必须下载与自己浏览器版本一致的,版本高了我不知道行不行,但低了是肯定不行的这是下面是chromedriver下载地址,注意使用要有一个谷歌浏览器哦
http://npm.taobao.org/mirrors/chromedriver/
下载完成后,放到不需要权限的纯英文目录下就可以了,建议放在python环境中,也就是你python.exe所在的那个文件夹,这样就不用每次都添加了,但是过期了就要及时更新哦,也就是把新版本放进去,旧的删了

快速入门

from selenium import webdriver
# chromedriver的绝对路径
driver_path = '/Users/apple/soft/chromedriver' # 这里是你下载chromedriver.exe的绝对路径,相对路径也是可以的,但你要知道怎么写相对路径
# 初始化一个driver,并且指定chromedriver的路径
driver = webdriver.Chrome(executable_path=driver_path)

# 如果你将chromedriver.exe添加到了你的python环境中,上面的就可以简写成
# driver = webdriver.Chrome()

# 请求网页
driver.get("https://www.baidu.com/")
# 通过page_source获取网页源代码
print(driver.page_source)

定位元素

driver.close():关闭当前页面。
driver.quit():退出整个浏览器。
find_element_by_id:根据id来查找某个元素
	submitTag = driver.find_element_by_id('su')
	submitTag1 = driver.find_element(By.ID,'su')
find_element_by_class_name:根据类名查找元素
	submitTag = driver.find_element_by_class_name('su')
	submitTag1 = driver.find_element(By.CLASS_NAME,'su')
find_element_by_name:根据name属性的值来查找元素
	submitTag = driver.find_element_by_name('email')
	submitTag1 = driver.find_element(By.NAME,'email')
find_element_by_tag_name:根据标签名来查找元素
	submitTag = driver.find_element_by_tag_name('div')
	submitTag1 = driver.find_e
使用Selenium进行Python爬虫获取明星图片通常涉及以下几个步骤: 1. **安装依赖**: 首先需要安装Selenium库以及支持的浏览器驱动(如ChromeDriver、FirefoxDriver)。你可以通过pip安装它们: ``` pip install selenium webdriver_manager ``` 2. **导入必要的模块**: 导入`webdriver_manager`来管理浏览器驱动,`time`来控制网页加载时间,以及`os`来处理文件路径等。 3. **初始化浏览器**: 根据你要使用的浏览器,创建一个新的WebDriver实例。例如,如果选择Chrome浏览器: ```python from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome(ChromeDriverManager().install()) ``` 4. **打开网页**: 使用`get()`方法加载明星图片所在的URL: ```python url = "https://www.example.com/star-pictures" # 替换为实际明星图片页面 driver.get(url) ``` 5. **等待元素加载**: 确保图片加载完毕后再进行抓取,可以使用`time.sleep()`或`.implicitly_wait()`设置延迟: ```python time.sleep(3) # 等待3秒,假设默认延时足够,也可以调整这个值 ``` 6. **定位图片元素**: 使用`find_element_by_...`方法(如`By.XPATH`、`By.CSS_SELECTOR`等)找到图片的HTML元素。这里是一个XPath示例: ```python from selenium.webdriver.common.by import By image_element = driver.find_element(By.XPATH, '//img[contains(@src, "star")]') ``` 7. **下载图片**: 获取到图片元素后,可以通过`get_attribute('src')`得到图片链接,然后使用第三方库如`PIL`或`requests`下载图片。例如,使用`PIL`: ```python from PIL import Image img_url = image_element.get_attribute('src') response = requests.get(img_url) with open("star_image.jpg", 'wb') as f: f.write(response.content) ``` 8. **关闭浏览器**: 完成操作后记得关闭浏览器: ```python driver.quit() ``` 9. **异常处理**: 考虑加入try-except块处理可能遇到的网络错误、找不到元素等情况。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值