selenium自动化实现获取网站内容

今天我想要从某些图片网站拿些图片，但发现某些网站动态渲染图片，并不能利用普通的requests来进行拿取内容，那我们该怎么办呢？
我们可以试用selenium为我们提供的浏览器自动化。浏览器自动化就是利用浏览器内核进行不可视化内容获取，简单来说就是直接拿到网站加载完成后的代码。
这里我们使用chrome和chromium。

from selenium import webserver

将浏览器配置进行注册

    chrome_options = webdriver.ChromeOptions()
    chrome_options.add_argument('--praxy-srever=http://171.12.313.34:9999')  # 设置代理ip
    chrome_options.add_argument('--user-agent=')  # 设置user-agent，可以设置成手机端的
    chrome_options.add_argument('--headless')  # 设置无页面模式
    driver = webdriver.Chrome(options=chrome_options)

利用函数get进行访问

driver.get(url)
print(driver.page_source) #获取到的内容会放到driver的属性page_source中

剩下在利用beautifulSoup进行裁剪获取到你想要获取到的内容就好了！