Selenium爬虫实践之爬取携程网北京旅游景点数据

昨天我发布了一篇名为Selenium在爬虫中的应用的文章，今天补充一下Selenium爬虫实践，话不多说直接上代码。

1.导包

首先导入所需要的库：

import html
import time
from lxml import html
from selenium import webdriver
from selenium.webdriver.common.by import By

 2.获取浏览器驱动

紧接着定义一个函数来获取浏览器驱动：

#获取浏览器驱动
def get_driver():
    option = webdriver.ChromeOptions()
    # 设置编码集
    option.add_argument('lang=zh_CN.UTF-8')
    driver = webdriver.Chrome(options=option)
    return driver

 3.自动登录的实现

接下来用Selenium实现自动化登录操作，这里提前把用户名和密码设置好，在网页对应的表单中通过element.send_keys("xxxxxx")方法输入用户名和密码。

这里定义一个实现自动登录操作的函数login，后续过程通过调用该函数可实现自动登录，通过find_element(By.XPATH)的方法定位到输入框，输入完账号密码后还需点击同意政策服务的选项按钮，这里的思想是一样的，操作完成后点击登录按钮即可登录。

def login(driver):
    driver.maximize_window()#最大化