有些网站用selenium 访问, 经常进入页面后一直转圈,此时可以考虑 通过禁止css及图片的加载来加快访问速速
(前提是不用额外的点击, 否则禁止css有可能会导致无法正常点击元素)
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
def get_driver():
options = Options()
#禁止图片和css加载
prefs = {"profile.managed_default_content_settings.images": 2,'permissions.default.stylesheet':2}
options.add_experimental_option("prefs", prefs)
driver = webdriver.Chrome(chrome_options=chrome_options) # chrome已经添加到环境变量,所以这里不用指定路径 如果你没添加环境变量这里要指定chrome.exe 的路径哦
return driver
def get_html():
url = 'http://www.haoapp.mobi/app/store.html?page=1'
d = get_driver()
d.get(url)
res = d.page_source
print(res)
if __name__ == '__main__':
get_html()