使用Selenium爬虫

之前就用requests包爬的,但爬的过程中出现了一些错误,导致我以为爬的太多ip被禁了,后来就想了其它的方法,用到了Selenium包。程序写出来之后发现还是有错误,后来排查发现是碰到了网页链接失效导致的问题。

不过Selenium爬虫是真的慢,但是感觉比requests包爬的要安心一点。下面就总结一下我最近学习的Selenium。

  1. Selenium讲解、安装以及Chrome浏览器配置,可结合下面两个链接参考
    python爬虫之selenium的使用
    selenium 安装与 chromedriver安装
    下载chromedriver.exe之后,我就将其放在python.exe同一个安装目录下就可以了,没有像上面说的这么麻烦要放在Chrome浏览器里再去配置path环境。

  2. 先搞个小栗子,模拟打开浏览器,输入内容、点击等。

import time
from selenium import webdriver

driver = webdriver.Chrome
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值