在用PhantomJS时,我遇到了这样的提示:
UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead
即Selenium以后的版本不再支持PhantomJS。
我选择用Headless Chrome来替代PhantomJS。
下载chromedriver,将其放置于“python.exe”所在的目录下。
按“WIN+R”打开“运行”窗口,输入“CMD”命令,按确定,打开命令提示符窗口。
然后,输入“python”并回车。接着,复制粘贴以下代码并运行。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
driver =webdriver.Chrome(chrome_options=chrome_options)
注:在以上代码后面再加两行下面的代码,可以爬取百度的网页源码:
driver.get('http://www.baidu.com')
driver.page_source
如果chromedriver和chrome版本不对应,那么依旧会显示浏览器界面或者发生其他错误。
下面是转载自huilan_same整理的chromedriver与chrome的对应关系表及chromedriver各版本下载链接:
https://blog.youkuaiyun.com/huilan_same/article/details/51896672