selenium爬取TapTap评论

上一篇写的beautifulsoup和request爬取出的结果有误。首先，TapTap网页以JS格式解析，且评论并没有“下一页”，而是每次加载到底部就要进行等待重新加载。我们需要做的，是模仿浏览器的行为，所以这里我们用Selenium的方式爬取。

下载ChromeDriver

ChromeDriver作用是给Pyhton提供一个模拟浏览器，让Python能够运行一个模拟的浏览器进行网页访问 用selenium进行鼠标及键盘等操作获取到网页真正的源代码。

官方下载地址：https://sites.google.com/a/chromium.org/chromedriver/downloads

注意，一定要下载自己chrome浏览器对应版本的驱动，根据自己的电脑版本下载对应系统的文件

以Windows版本为例，将下载好的chromedriver_win64.zip解压得到一个exe文件，将其复制到Python安装目录下的Scripts文件夹即可

爬虫操作

首先导入所需库

import pandas as pd
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

滚动到底部的驱动