Python爬虫-4 selenium

selenium

支持通过各种driver（FirfoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver）驱动真实浏览器完成测试。selenium也是支持无界面浏览器操作的。
使用selenium+chromedriver模拟浏览器行为获取数据
selenium相当于是一个机器人。可以模拟人类在浏览器上的一些行为，自动处理浏览器上的一些行为，比如点击，填充数据，删除cookie等。chromedriver是一个驱动Chrome浏览器的驱动程序，使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。以下列出了不同浏览器及其对应的driver：

安装

pip install selenium
chromedriver是需要去网上下载的，必须下载与自己浏览器版本一致的，版本高了我不知道行不行，但低了是肯定不行的这是下面是chromedriver下载地址，注意使用要有一个谷歌浏览器哦
http://npm.taobao.org/mirrors/chromedriver/
下载完成后，放到不需要权限的纯英文目录下就可以了，建议放在python环境中，也就是你python.exe所在的那个文件夹，这样就不用每次都添加了，但是过期了就要及时更新哦，也就是把新版本放进去，旧的删了

快速入门

from selenium import webdriver
# chromedriver的绝对路径
driver_path = '/Users/apple/soft/chromedriver' # 这里是你下载chromedriver.exe的绝对路径，相对路径也是可以的，但你要知道怎么写相对路径
# 初始化一个driver，并且指定chromedriver的路径
driver = webdriver.Chrome(executable_path=driver_path)

# 如果你将chromedriver.exe添加到了你的python环境中,上面的就可以简写成
# driver = webdriver.Chrome()

# 请求网页
driver.get("https://www.baidu.com/")
# 通过page_source获取网页源代码
print(driver.page_source)

定位元素

driver.close()：关闭当前页面。
driver.quit()：退出整个浏览器。
find_element_by_id：根据id来查找某个元素
	submitTag = driver.find_element_by_id('su')
	submitTag1 = driver.find_element(By.ID,'su')
find_element_by_class_name：根据类名查找元素
	submitTag = driver.find_element_by_class_name('su')
	submitTag1 = driver.find_element(By.CLASS_NAME,'su')
find_element_by_name：根据name属性的值来查找元素
	submitTag = driver.find_element_by_name('email')
	submitTag1 = driver.find_element(By.NAME,'email')
find_element_by_tag_name：根据标签名来查找元素
	submitTag = driver.find_element_by_tag_name('div')
	submitTag1 = driver.find_e