Python + Selenium 被反爬后的解决方法

背景：

需要去爬一个香港的电子元件供应商网站的库存数据，但使用PHP的get_file_content出现403，使用CURL则提示你的浏览器不支持JS和Cookie，被认定为robot了。 然后使用Python3+Selenium+ChromeDriver，在windows上成功爬到数据！

---

问题：

但是放到Linux上面运行时，因为linux无GUI，所以需要用到webdriver的option里的headless，结果又被识别为Robot了（也是提示你的浏览器不支持JS和Cookie）。。网上找了很多方法，都无法解决。

---

解决：

最后，不使用ChromeDriver，改为使用FirefoxDriver (geckodriver)，问题解决！成功可以使用headless在linux上爬到数据！

from selenium import webdriver
from selenium.webdriver.firefox