jia___qi的博客

selenium安装安装：1.Chrome浏览器2.selenium框架：pip install selenium3.驱动程序：下载http://npm.taobao.org/mirrors/chromedriver/查看浏览器版本选择对应的版本 编码流程： #首先需要将下载的chromedriver.exe放到代码文件夹下 #导包 from selenium import webdriver #调用chromedriver.exe

网页HTML上，有些数据是通过JS代码填充，所以如果直接使用爬虫，只会爬取到一个标签，并没有其中的元素。requests模块和scrapy框架在发起请求爬取数据的过程中，不能执行JS代码。seleniumselenium是一个web端自动化测试框架，可以通过代码来控制浏览器，比如打开关闭，点击等行为。作用：帮助抓取动态加载的数据，避免反爬...