jia___qi的博客

selenium安装 安装： 1.Chrome浏览器 2.selenium框架：pip install selenium 3.驱动程序：下载 http://npm.taobao.org/mirrors/chromedriver/ 查看浏览器版本 选择对应的版本 编码流程： #首先需要将下载的chromedriver.exe放到代码文件夹下 #导包 from selenium import webdriver #调用chromedriver.exe

网页HTML上，有些数据是通过JS代码填充，所以如果直接使用爬虫，只会爬取到一个标签，并没有其中的元素。 requests模块和scrapy框架在发起请求爬取数据的过程中，不能执行JS代码。 selenium selenium是一个web端自动化测试框架，可以通过代码来控制浏览器，比如打开关闭，点击等行为。 作用：帮助抓取动态加载的数据，避免反爬 ...