用selenium基本知识和流程

- selenium模块在爬虫中的使用
    - 概念：是一个基于浏览器自动化的模块。
    - 爬虫之间的关联：
        - 便捷的捕获到动态加载到的数据。（可见即可得）
        - 实现模拟登陆
    - 环境安装：pip install selenium
    - 基本使用：
        - 准备好某一款浏览器的驱动程序：http://chromedriver.storage.googleapis.com/index.html
            - 版本的映射关系：https://blog.youkuaiyun.com/huilan_same/article/details/51896672
        - 实例化某一款浏览器对象
    - 动作链：
        - 一系列连续的动作
        - 在实现标签定位时，如果发现定位的标签是存在于iframe标签之中的，则在定位时必须执行一个
        固定的操作：bro.switch_to.frame('id')
    - 无头浏览器的操作：无可视化界面的浏览器
        - PhantomJs:停止更新
        - 谷歌无头浏览器
    - 让selenium规避检测（先用window.navigator.webdriver判断，如果返回true，则需要规避检测）

先记录一下selenium的部分操作

#使用谷歌无头浏览器
from selenium import webdriver
from time import sleep
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

driver = webdriver.Chrome(r'chromedriver.exe',chrome_options=chrome_options)
driver.get('https://www.cnblogs.com/')
print(driver.page_source)

#如何规避selenium被检测
from selenium import webdriver
from selenium.webdriver import ChromeOptions
from time import sleep

option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])

driver = webdriver.Chrome(r'chromedriver.exe',options=option)
driver.get('https://www.taobao.com/')